1932 року поступив на навчання до семінарії, де вивчав латину, давньогрецьку та німецьку мови, а також гру на фортепіано. Після окупації Франції нацистами під час Другої світової війни приєднався до руху Опору, в листопаді 1940 року був заарештований, але втік і 1942 року приєднався до партизанів.
1945 року покинув Францію та вирушив подорожувати світом, відвідав Бразилію, Чад, Чехословаччину, Болгарію та інші країни. Загалом подорож тривала дев'ять років, причому в зазначених країнах Буланже займався різними заняттями: зокрема, в Болгарії він був робітником на будівництві залізниць, в Бразилії працював на вівчарської фермі, а в Чаді був органістом та консультантом з економічних питань. 1957 року повернувся до Франції та зосередився на літературній праці. Свій перший роман опублікував 1958 року, а першу збірку оповідань — 1963. З 1970 року мешкає в Санлісі.
Наразі його творчий доробок складається з 15 збірок оповідань, 29 романів, 27 збірок віршів, 5 п'єс, 41 сценарію для фільму. Більшість його творів пов'язані з соціальними проблемами маленьких провінційних міст Франції. 1974 року був удостоєний Гонкурівської премії за роман Fouette, cocher!. 1971 року отримав премію Французької академії, 1979 року — премію принца Монако, а 1983 року — премію Гонкурівської академії.
