Борге Розенбаум народився у Копенгагені, Данія. Батько його був альтистом у Королівському оркестрі Данії, матір була піаністкою. Борге почав вчитися грати на фортепіано у два роки, а вже у 8 років він дав свій перший сольний концерт. В 1918 році він отримав стипендію у Королівській Данській консерваторії.
У 1933 році він одружився із американкою Елсі Чілтон (Elsie Chilton). У цей же час розпочав активно їздити із виступами Європою, розказуючи антинациські жарти. У квітні 1940 року, коли Данія була окупована, у нього був концерт у Швеції. Борге вдалося втекти до Фінляндії, а потім до США на «USS American Legion». У США він опинився 28 серпня 1940, маючи при собі $20, при цьому $3 він мав сплатити на митниці. Під час окупації йому довелося ненадовго повернутися у Данію, щоб провідати матір, яка помирала. Для цього Борге переодягнувся моряком. Тут він почав виступати як Віктор Борге, а з 1941 року він недовго виступав на радіо у шоу-вар'єте «The Rudy Vallee Show», перейшовши до популярної програми «Kraft Music Hall» Бінга Кросбі.
1948 році він став громадянином США. Розлучившись із Елсі, Борге одружився із Сарабель Санною Скрапер (Sarabel Sanna Scraper) у 1953 році. Вони прожили разом до її смерті у вересні 2000 року. У них було п'ять дітей.
В 1992 році його було запрошено диригувати Королівським оркестром Данії.
Віктор Борге помер у Гринвічі, штат Коннектикут, США. Він помер у сні, через день після повернення із концерту у Данії.
