Самые старые замки, хотя это и не совсем верное название для такого рода строений, относятся к временам заката династии Мин (а это начало XVII века), когда настоящим бичем этих мест были орудовавшие с завидной регулярностью бандиты. Но династия пала и пришедшая ей на смку установила в регионе относительный порядок. Последующие 200 лет были для Кайпина достаточно мирным временем и население предпочитало жить в более привычных для себя условиях.
Мода на многоэтажные особняки вернулась в Кайпин в конце XIX – начале XX века, когда число таких построек достигло трех тысяч. Жить в дяолоу предпочитали зажиточные китайцы, возвращавшиеся на родину из-за океана и везшие с собой достаточное количество денег для того, чтобы неплохо обустроиться на земле предков. Эти, заработанные во время "золотой лихорадки" деньги, китайская диаспора предпочитала тратить у себя дома, вкладываясь в увеличение благополучия родных деревень.
Приток состоятельных людей вновь обострил проблему с бандитами, для которых новоиспеченные нувориши были лакомым кусочком. В ответ на налеты бандитов жители начали строить укрепленные сооружения. Из 1833 сохранившихся до нашего времени дяолоу в период с 1900 по 1931 годы были построены 1648 башен или 90% от их общего количества. В это же время большинство деревень в регионе также были перестроены и дополнительно укреплены. В итоге всего за 30 лет обычный и ничем не примечательный сельский пейзаж Кайпина кардинально изменился.
Депрессия 30-х годов прошлого века и последовавшие за этим войны полностью приостановили застройку уезда. А после того, как в середине 40-х годов между Китаем и США и Канадой был отменен иммиграционный контроль, большинство китайцев приняли решение вернуться обратно в Северную Америку. Возникновение же в 1949 году Китайской Народной республики помогло расправиться с бандитизмом, и дяолоу полностью потеряли свое назначение.
Сейчас большинство подобных особняков пустуют, оставленные уехавшими из страны китайцами на попечение родственников. Часть из них, тем не менее, сохраняют первоначальную мебель и аксессуары и являются историческими памятниками, внесенными в список всемирного наследия ЮНЕСКО.