Лі Марвін народився у Нью-Йорку у родині торгового менеджера Ламонта Волтмена Марвіна (Lamont Waltman Marvin) і його дружини Кортні Вашингтон Девідж (Courtenay Washington Davidge), що працювала стилістом та консультантом. Ламонт Марвін був прямим нащадком сера Меттью Марвіна (Matthew Marvin), який приїхав до Америки з району Great Bentley графства Ессекс 1635 року і був серед засновників Гартфорда (штат Коннектикут), а Кортні Девідж — знаменитого сімейства Вашингтонів.
У дитинстві Лі Марвін навчався грі на скрипці. Підлітком захоплювався полюванням: на оленів, пум, диких індичок та куріпок у лісах Еверглейдс, тоді ще не мали статусу заповідника". Його виключили з декількох шкіл за погану поведінку, поки він не опинився у католицькому коледжі у містечку Сент-Лео (Флорида).
