Людвіг Бергер народився в сім'ї банкіра єврейського походження Франца Бамбергера. Вивчав історію мистецтва і германістику в Мюнхені та Гейдельберзі. У 1914 році написав дисертацію на тему «Йоганн Конрад Зеєкац. Німецький художник вісімнадцятого століття» (Гейдельберг, 1916). Після початку війни пішов на фронт добровольцем, але був комісований через запалення окістя.
Бергер зайнявся театральною режисурою і 25 березня 1916 року поставив у міському театрі Майнца власну п'єсу «Садівниця кохання» за оперою Моцарта «Удавана садівниця». В подальші роки він працював у берлінських театрах з багатьма класичними творами, в основному, за Шекспіром.
Починаючи з 1920 року Людвіг Бергер активно працював у кіно. Визначальними для нього стали «Склянка води» і «Загублений черевик» (обидва 1923). Його перший звуковий фільм «Король волоцюг» був створений у 1930 році в США. Найвідомішим фільмом Бергера став мюзикл «Битва вальсів» (1933, за участю Ренати Мюллер, Ханни Вааг та Віллі Фріча).
У 1935 році Бергер емігрував через Францію і Нідерланди до Англії. Згодом він повернувся до Німеччини, де усамітнено жив в Шлангенбаді. Він намагався отримати замовлення з Парижа та Лондона, але зняв за кордоном лише кілька фільмів — «Три вальси» (1938) і «Багдадський злодій» (1940). Під час Французької компанії Бергер знаходився у Нідерландах і уникнув арешту, скориставшись фальшивими документами.
Після війни Людвіг Бергер багато подорожував і повернувся до Німеччини у 1947 році. Він працював у ФРН театральним режисером і постановником спектаклів на радіо, переважно за творами Шекспіра. Одночасно писав п'єси, прозові твори і працював над монографіями. Також добився успіхів у роботі над телевізійними спектаклями.
Похований на Головному кладовищі Майнца.
