Серджо Леоне народився в родині одного з піонерів італійського кіно Роберто Роберті (Roberto Roberti) та актриси німого кінематографу Біче Валеріан, тож на знімальному майданчику бував ще в дитинстві. У школі його однокласником певний час був Енніо Морріконе, майбутній композитор, з яким Леоне тісно співпрацював. У 18 років Серджіо покинув навчання на юридичному факультеті університету, й пішов працювати в кіно.
Першою його роботою стала посада помічника режисера на зніманні «Викрадачів велосипедів» Вітторіо де Сіки. Потім він взявся писати сценарії до фільмів у стилі пеплум, тобто історичних драм на тему античної історії. Леоне працював помічником режисера у широкомасштабних постановках студії Чінечітта, спонсорованих американцями: «Кво вадіс», «Бен-Гур». Коли режисер фільму «Останні дні Помпеї» захворів, Леоне закінчив фільм. Як наслідок, йому довірили дебютувати із фільмом «Колос Родоський» (1961). На той час Леоне вже опанував уміння знімати малобюджетні фільми, які виглядали, як американські блокбастери.