Berger je rođen u Bad Išlu u Austriji 29. maja 1944. godine. On je 1964. radio kao statista u Rimu pre nego što ga je otkrio Viskonti, i kasnije postao njegov partner. Viskonti mu je dao prvu ulogu 1966. godine.
Berger je imao istaknute uloge u Viskontijevim filmovima "Sumrak bogova", "Ludvig", "Zatvoreni porodični krug", kao i u filmovima Vitorija De Sike "Vrti Finci-Kontinijevih", Masima Dalamana "Dorijan Grej" i kasnije u "Kumu III" Fransisa Forda Kopole.
U novembru 2019. godine objavio je kraj glumačke karijere.
Bergerov agent je rekao da je u potpunosti živeo prema svom motu "La dolče vita" i citirao Bergerovu izjavu od pre više godina: "Živeo sam tri života i na četiri jezika. Ni zbog čega se ne kajem".
