Джозеф Руттенберг народився 4 липня 1889 року в Санкт-Петербурзі в родині російських євреїв. Коли йому було чотири роки, його родина емігрувала в США, в Бостон. З юних років Джозеф працював фотожурналістом в газеті «The Boston Globe», але залишив цю роботу в 1915 році й влаштувався в Fox Film Corporation учнем кінооператора. Уже через два роки на екрани вийшов його перший німий фільм «Розфарбована Мадонна» (The Painted Madonna), який мав великий успіх. Наприкінці 1920-х років Джозеф перейшов на роботу в Paramount Pictures і переїхав в Нью-Йорк. З 1931 року став знімати звукові фільми. У 1934 році підписав контракт з Metro-Goldwyn-Mayer і перебрався до Голлівуду. У 1968 році зняв свій останній фільм і пішов на пенсію. Помер 1 травня 1983 року.
Протягом усього життя не залишав свого юнацького захоплення фоторепортажами, регулярно друкувався в American Cinematographer та інших виданнях.
Дружина — Роуз Руттенберг, дочка — Вірджинія.