Унгрское поместье по-немецки называлось Лидене или Линденхоф и первые задокументированные сведения о нем датированы 1523 годом, когда оно отделилось от поместья Килтси. В 1629 году Ливония и этот участок Эстонии находился в шведском подчинении, и шведский король Густав II Адольф подарил это имущество Отто фон Унгерн-Штернбергу, который построил здесь красивое поместье. Оно прославилось своим барочным садом, который стал одним из красивейших во всей стране.
Когда наследник рода, юный граф Эвалд Адам Густав Паул Константин фон Унгерн-Штернберг в 19-м веке путешествовал по Германии, он влюбился в дочь владельца Мерзебургского замка. Конечно, граф сделал ей предложение, но девушка сказала, что ей так нравится отцовский замок, что она не хочет его покидать. Графу удалось уговорить свою избранницу, пообещав ей построить такой же, если она станет его женой. Девушка согласилась и переехала с ним в дом недалеко от Хаапсалу, в ожидании завершения строительства замка. Граф Эвалд торопился и в 1893 году началось масштабное строительство.
Через пару лет стены были возведены, крыша уложена. Замок отличался затейливой планировкой и множеством кровельных надстроек в стиле барокко. Для их строительства пригласили лучших эстонских мастеров и использовали местные материалы. Строительство обошлось в пять миллионов царских золотых рублей. У здания была запланирована башня, роскошный бальный зал, игровые комнаты, столовые, салоны, спальни и другие помещения. Внутренние работы заняли довольно много времени, но, когда они были почти завершены, графу сообщили, что его супруга умерла. Граф так больше и не женился, в 1908 году умер в Санкт-Петербурге, так и не пожив в новом доме. Его последним желанием было, чтобы его останки отвезли в Хаапсальский замок и оставили там на одну ночь. После этого его похоронили на острове Хийюмаа в родовой гробнице.
Поместье осталось без хозяина и уже во время Первой мировой войны стало разрушаться. Позже люди, которые искали здесь драгоценности и стройматериалы, нанесли зданию еще больший ущерб. После Второй мировой войны замок перешел во владения советских военных сил, поскольку недалеко находился небольшой аэродром. Это был трагический исход для поместья, поскольку в 1968 году управляющий аэродромом приказал использовать материалы руин замка для ремонта взлетной полосы. Почти треть замка была разрушена, остальное, к счастью, сохранилось до сих пор. Сейчас руины замка привели в порядок и рядом с ними установлен информационный стенд. Каждый желающий может обойти замок и заглянуть внутрь, а военный аэродром уже давно заброшен и сам рассыпался в труху.
Сохранились некоторые деревья в старинном саду, например, Петровский дуб. Говорят, что его собственноручно посадил Петр Первый, а другие утверждают, что он под ним обедал. Здесь же находится старинный арочный мост, который когда-то вел с Хаапсалу в поместье.
