Навчався акторській майстерності у Берліні й Бонні. Завоював популярність, дебютувавши в ролі Кассіуса у виставі за п'єсою Шекспіра «Юлій Цезар» у 1909 році, з якою він об'їхав туром по Дюсельдорфу, Кілю та Ахену. У Ахені Клайн-Роґґе зустрів актрису і сценариста Теа фон Гарбоу; їх весілля відбулося у 1914 році. У 1915 році увійшов до трупи Нюрнберзького театру як актор і режисер. З 1918 по 1924 роки — актор Берлінського театру .
У 1919 році дебютував у кіно. Під час зйомок у експресіоністського фільму «Кабінет доктора Калігарі» у фон Гарбоу почався роман з Фріцем Лангом; у 1920 році вона розвелася з Рудольфом і вийшла заміж за Ланга. Незважаючи на розлучення, Теа і Рудольф разом працювали у фільмах Ланга «Втомлена Смерть», «Доктор Мабузе, гравець», «Нібелунги», «Метрополіс» і «Шпигуни». Їх останньою спільною роботою став фільм «Заповіт доктора Мабузе». Згодом Клайн-Роґґе зіграв у двох фільмах, які зрежисувала його колишня дружина.
З приходом до влади у Німеччині Гітлера у 1933 році і від'їздом Ланга з країни Кляйн-Роґґе знімається в основному в епізодичних ролях. У 1942 році міністр пропаганди і культури Геббельс забороняє акторові грати в кіно. У 1949 році Рудольф зробив останньою спробу повернутися в кінематограф (фільм «Hexen»).
Після розлучення з Теа фон Харбоу Кляйн-Роґґе був ще тричі одружений. Зі шведською акторкою Мері Джонсон, останньою дружиною, він прожив з 1932 року аж до своєї смерті.
