Самые старые замки, хотя это и не совсем верное название для такого рода строений, относятся к временам заката династии Мин (а это начало XVII века), когда настоящим бичем этих мест были орудовавшие с завидной регулярностью бандиты. Но династия пала и пришедшая ей на смку установила в регионе относительный порядок. Последующие 200 лет были для Кайпина достаточно мирным временем и население предпочитало жить в более привычных для себя условиях.
Мода на многоэтажные особняки вернулась в Кайпин в конце XIX – начале XX века, когда число таких построек достигло трех тысяч. Жить в дяолоу предпочитали зажиточные китайцы, возвращавшиеся на родину из-за океана и везшие с собой достаточное количество денег для того, чтобы неплохо обустроиться на земле предков. Эти, заработанные во время "золотой лихорадки" деньги, китайская диаспора предпочитала тратить у себя дома, вкладываясь в увеличение благополучия родных деревень.