Отсчет участия латвийских спортсменов в Олимпиадах начинается с самых первых в истории зимних Игр — с 1924 года. Тогда во французский Шамони прибыли двое — конькобежец Альберт Румба и лыжник Роберт Плуме (он же стал и первым знаменосцем страны на Олимпиадах). Спустя четыре года Румба приехал и на следующие Игры в швейцарский Санкт-Мориц, оказавшись единственным латвийским олимпийцем. Но лучше он выступил в Шамони (наиболее высокий результат показал на дистанции 1500 м — 10-е место), тогда как в 1928 году довольствовался местами с 14-го по 16-е.
Следующие Игры в далеком американском Лейк-Плэсиде по финансовым соображениями были пропущены и только в 1936 году Латвия снова оказалась на зимней Олимпиаде в немецком Гармиш-Партенкирхене. Там латвийская команда была представлена аж 26 спортсменами. Почти половину — 11 человек — составляла хоккейная сборная, остальные вакансии распределились так: 5 лыжников, по 4 конькобежца и фигуриста, плюс 3 горнолыжника.