Алексей Герман родился 20 июля 1938 в Ленинграде. После окончания в 1960 году Ленинградского государственного института театра, музыки и кинематографии он в течение нескольких лет работал в театре.
В 1964 году Герман пришел на "Ленфильм", где его первой работой стал фильм "Рабочий поселок", в котором он был вторым режиссером.
Режиссерским дебютом Алексея Германа стала лента "Проверка на дорогах". Работа над лентой была завершена в 1971 году, однако на экраны ее выпустили лишь в 1985 году. За "Проверкой на дорогах" последовали "Двадцать дней без войны" (1974 год) и "Мой друг Иван Лапшин" (1984 год). Последняя завершенная Германом лента — "Хрусталев, машину!" — вышла на экраны в 1998 году.
Алексей Герман на протяжении многих лет работал над фильмом по произведению братьев Стругацких "Трудно быть богом", однако на экраны при его жизни эта лента так и не вышла.
Алексей Герман-старший был лауреатом многочисленных наград и премий. В частности, его работа "Мой друг Иван Лапшин" в 1987 году получила Госпремию РСФСР, а годом позднее "Проверка на дорогах" была удостоена Госпремии СССР.
В ноябре 2012 года Алексей Герман попал в больницу после падения. В конце декабря врачи провели ему операцию по удалению внутричерепных гематом, после чего он заболел воспалением легких. В конце января сообщалось, что режиссера удалось вылечить от пневмонии. Однако в середине февраля его супруга Светлана Кармалита сообщила "Интерфаксу" об ухудшении здоровья режиссера.
