Ансамбль "Золотой рыцарь" был установлен примерно в 1894-1895 годы на площади Бастея, между Бастионной горкой и Пороховой башней, возле нынешнего бульвара Аспазияс. Он стоял в месте, где в настоящее время находится треугольный газон — недалеко от поста полиции у въезда в Старую Ригу на улицу Смилшу. Такие данные Гомберг привел в своей заявке, переданной совету по памятникам.
Функционально ансамбль был декорацией артезианского колодца, выкопанного для улучшения снабжения города питьевой водой. Аналогичный колодец в то же время был откопан и на Ратушной площади. На Ратушной площади была установлена фигура Роланда, а на бульваре Бастея — колонна на постаменте с капителью. На колонну установили позолоченную скульптуру рыцаря в броне и с копьем. Она была изготовлена из цинка и имела в высоту 1,3 метра. Высота всего ансамбля составляла примерно пять метров, его опоясывала кованая решетка.
Ансамбль был снесен в тридцатые годы. Колонна пропала, а фигура рыцаря находится в Рижском музее истории и мореходства.