Жан-П'єр Грумбах народився 20 жовтня 1917 року у Парижі в сім'ї ельзаських євреїв. З дитячих років захоплювався кіномистецтвом, постійно відвідуючи кінотеатри та намагаючись знімати любительські фільми. Переходу до професійного кінематографу Жан-П'єру завадила Друга світова війна, під час якої він служив спочатку у складі британської армії, потім в лавах французьких визволителів. Саме в той час Жан-П'єр Грумбах взяв собі псевдонім Мельвіль як данину улюбленому письменникові Герману Мелвіллу, зберігши його надалі як артистичний. Повернувшись з фронту, подав заявку на ліцензію асистента режисера; діставши відмову, вирішив ставити фільми своїми засобами.
У 1945 Жан-П'єр Мельвіль створив власну фірму «Сосьєте Мельвиль продюксьон», виступаючи в різних іпостасях — від продюсера до монтажера. Вважається, що саме цей досвід малобюджетного кіно багато в чому передбачив відкриття французької «нової хвилі».
Помер Жан-П'єр Мельвіль 2 серпня 1973 року у Парижі від серцевого нападу під час обіду з другом — кінорежисером Філіпом Лабро, в ресторані готелю PLM Saint-Jacques. Похований на паризькому цвинтарі .
Відродження інтересу до творчості Мельвіля припало на 1990-і роки, коли його стали називати серед низки своїх кумирів такі режисери, як Квентін Тарантіно та Джон Ву.
