Жан-Поль Шарль Бельмондо народився в Неї-сюр-Сен, в заможній родині діячів мистецтв. Він був другим із трьох дітей Поля Бельмондо (1898—1982), відомого скульптора п'ємонтського та сицилійського походження, що народився в Алжирі, та Мадлен Рейно-Рішар (1901—1997), художниці, яка познайомилася з майбутнім чоловіком під час навчання у Національній школі образотворчих мистецтв у Парижі.
Свої ранні роки Жан-Поль провів на вулиці Вілла Сен-Жак у Парижі, потім 1938 року сім'я переїхала на вулицю Віктор-Консидант, тому що його батько мав неподалік студію в колишніх стайнях на авеню Денфер-Рошро, 77. У молодості він тривалий час займав двокімнатну квартиру в цьому ж будинку. За визнанням Жана-Поля, мистецтво складало його життя змалку. У майстерні батька з'являлися відомі художники, письменники, артисти Франції. Вони вели жваві дискусії про сучасний живопис та скульптуру, театр та кіно. Усю Другу світову війну та німецьку окупацію Жан-Поль разом з матір'ю жили у своєму сільському маєтку, де вони нічим не вирізнялися серед інших мешканців, як і всі переносили тягар воєнного часу: вистоювали у чергах за продуктами, економили на всьому та рятувались у підвалі від бомбардувань. Голова ж сім'ї, Поль Бельмондо, провів ці роки в Парижі, продовжуючи працювати у своїй майстерні.
Жан-Поль навчався у найкращих школах паризької буржуазії (Парафіяльна школа на вулиці Анрі-Барбюс, Ельзаська школа, з якої його швидко виключили, Школа Паскаля, Гімназіях Людовіка-ле-Грана, Анрі-IV та Монтеня), де він зарекомендував себе як учень, що не хоче вчитися й мав нестерпний характер. Жан-Поль був учасником всіляких витівок і бійок, в одній з яких йому перебили носа. У дуже юному віці він став захоплюватися спортом, їздою на велосипеді, футболом (у старших класах він був воротарем), потім боксом, яким довгий час займався як аматор, а в підлітковому віці недовго виступав як професіонал, здобувши чотири перемоги, чотири поразки і нічию. Надалі Бельмондо коментував свою пристрасть до боксу словами: «У 15 років, після того, як я почув по радіо про перемогу Марселя Сердана над Тоні Зейлом, у мене з'явилася лише одна ідея: боксувати. Але для боксу треба бути голодним та ненависним. Але я не був готовим до цього». Жан-Поль любив відвідувати театр, 1948 року він захопився новою презентацією п'єси «Вчені жінки» у виконанні акторки Деніз Женс, що тоді дебютувала на сцені «Будинку Мольєра». У віці шістнадцяти років він захворів на первинну стадію туберкульозу, через що батьки відправили його на лікування в Канталь в Алланші, де під час відпочинку на свіжому повітрі, він вирішив стати актором.
Повернувшись з Оверні, попри несприятливу думку актора Андре Брюно, який був членом театрального товариства французької комедії, Бельмондо вирішив стати актором. Він брав уроки акторської майстерності у Раймона Жирара, після чого дебютував як актор у 1950 році, даючи виставу «Спляча красуня» в лікарнях міста Парижа. Також протягом шести місяців Жирар допомагав йому готуватися до вступних іспитів у Національну консерваторію драматичного мистецтва, які він провалив, але був допущений як вільний слухач 1951 року. У січні 1952 року Бельмондо вирішив перездати вступний іспит, але знову провалив його. Лише у жовтні того року його нарешті прийняли. П'єр Дюкс, учнем якого став Бельмондо, казав про нього, «З твоєю зовнішністю не бути тобі героєм-коханцем. Ти ніколи не зможеш обійняти жінку, не викликавши гомеричного сміху у залі». Цей же професор консерваторії пророкував йому ролі другого плану. Навчаючись чотири роки, Бельмондо потоваришував й з іншими студентами, так званою «консерваторною бандою», що складалася із Жана Рошфора, Жана-П'єра Мар'єля, Бруно Кремера, П'єра Верньє та Мішеля Бона. Також він брав участь у театральних виставах під керівництвом Мішеля Галабрю. Разом із Гі Бодосом він виступав у кабаре на сільських площах та терасах кафе, виконуючи скетчі П'єра Дака та Франсіса Бланша.
Вчителі Бельмондо й надалі давали низьку оцінку його здібностям. 1956 року на випускному іспиті консерваторії Бельмондо виконав сцену із вистави «Кохання і фортепіано» Жоржа Фейдо. Публіка вітала його виступ, тоді як комісія на чолі з Марселем Ашаром поставила актору низький бал, через що він втратив можливість працювати у відомих театрах Франції, зокрема в «Комеді Франсез». Після цього, під час тріумфального виносу на руках своїми товаришами, Бельмондо у помсту показав своїм екзаменаторам непристойний жест рукою. Тоді актор та викладач консерваторії Анрі Роллан сказав йому: «Як викладач я тебе не схвалюю, але як людина говорю тобі „браво“!».