Города были построены и облагорожены берберами, прибывшими в Испанию в IX-X веках из Северной Африки в самом начале мавританского правления. Пока в Андалусии главенствовали мавры, берберским фермерам, мирно возделывавшим землю в долине, не о чем было волноваться. Но в конце XI века в Андалусии началась Реконкиста (процесс отвоевывания католиками земель, занятых маврами) и фермерам пришлось уйти в горы. Они селились на самых вершинах холмов, порой на месте существовавших там когда-то римских поселений, возводили там дома и стены, укрепляли уже существующие постройки.
Впрочем, это им не сильно помогло: католические войска в итоге одержали победу. Однако они не смогли полностью уничтожить тот мавританский дух, который приобрели города, в которых когда-то жили берберы – здесь по-прежнему главенствуют узкие вымощенные булыжником улицы; стены, больше похожие на стены какого-нибудь военного форта и небольшие выбеленные дома с характерными решетками из кованого железа. Несмотря на арабское влияние, в каждой из этих деревенек есть как минимум одна католическая церковь – как символ победы христианства на территории Андалусии.
Здания в городах белили по двум причинам: во-первых, из-за антибактериальных свойств известкового раствора, а, во-вторых, из-за того, что полностью белый город казался более социально однородным. Однако, никакой точной информации о том, что побелка была осуществлена до 1920 годов нет. Наоборот, проведенные исследования показали, что, не смотря на то, что некоторые здания действительно были покрашены до этого времени, часть красок была добавлена уже позже (в основном использовалась красная и желтая охра).
Цветными постройки оставались до тех пор, пока испанский диктатор Мигель Примо де Ривера не потребовал унифицировать все дома и сделать их исключительно белыми. Такими, какими они сейчас и являются.
