В 1943 году Херц-Зоммер с мужем и сыном из Праги была отправлена в концлагерь Терезиенштадт на территории Чехии. Узники этого концлагеря имели возможность выпускать журналы, проводить спектакли, выставки и концерты. Как вспоминала пианистка, именно это помогло ей пережить заключение. В Терезиенштадте находились до 140 тысяч евреев, из которых 33430 были убиты там же, а около 88 тысяч были перевезены в Освенцим и другие концлагеря.
Муж Херц-Зоммер был перемещен в концлагерь Дахау, где вскоре погиб, а она сама с сыном вернулась в Прагу после освобождения Терезиенштадта советскими войсками в мае 1945 года. На тот момент там оставалось не более 20 тысяч выживших заключенных. С 1949 года Херц-Зоммер жила в Израиле, а в 1986 году переехала в Лондон.