Анджеліна Джолі Войт народилася в Лос-Анджелесі (США, штат Каліфорнія) в сім'ї відомого актора Джона Войта та франко-канадської акторки , успадкувавши кров кількох народів — словацького, німецького (від батька) та франко-канадського (від матері). Хрещеними Анджеліни стали знамениті актор і акторка Максиміліан Шелл і Жаклін Біссет. Має старшого брата Джеймса Гейвена (James Haven Voight). Середнє ім'я Жолі (Jolie), вимовлене на американський лад (Джолі) та взяте за псевдонім, французькою означає «красуня», «мила», «хороша».
Батько пішов з родини в 1976 році, коли Анджеліні був 1 рік, і мати з братом перевезла їх до Нью-Йорка. Роком пізніше Войт отримав «Оскар» за роль у фільмі «Повернення додому», а Бертран була змушена облишити мрії стати знаменитою акторкою, жертвуючи свій час вихованню дітей.
Мати часто водила Анджеліну та Джеймса у кіно, чим пробудила в доньки цікавість до акторської справи — саме цим, а не через успішну кар'єру батька, пояснювала Джолі в пресі свій вибір на користь кінематографу.
Коли Анджеліні виповнилося 11, сім'я знову переїхала до Лос-Анджелеса, де Джолі два роки провчилася в Театральному інституті Лі Страсберга, а також у Вищій школі Беверлі-Гіллз, де конкуренція з амбітним студентством похитнула її віру в себе. Джолі почувалася невдахою через нестандартний зовнішній вигляд, одяг із секонд-хенду та худорлявість, а також після невдач у спробах стати моделлю. Пізніше Джолі визнавала, що була в той час сильно пригніченою та нещасливою і, як наслідок, почала робити порізи та рани на тілі. В інтерв'ю «CNN» вона сказала: «Я колекціонувала ножі й завжди мала такі речі навколо себе. З якихось причин ритуал завдання ран самій собі та відчуття болю від цього, можливо, відчуття самої себе живою істотою, відчуття певного звільнення — були терапією для мене». У підлітковому віці Анджеліна носила виключно чорний одяг, фарбувала волосся в червоний і, за її словами, себе ненавиділа.
Стосунки з батьком залишилися складними. Джолі звинувачувала Войта за зради дружині та втечу з сім'ї. Попри це, спробувала відновити стосунки, запросивши батька на зйомки фільму «Лара Крофт — розкрадачка гробниць» (2001). Проте в процесі зйомок між ними відбулося кілька суперечок, після яких Джолі відмовилася згадувати про Войта як про батька. В середині 2002 року подала заяву на оформлення імені як «Анджеліна Джолі», без «Войт». У 2004 році в інтерв'ю журналу «Premiere» сказала, що не зацікавлена в продовженні стосунків із батьком, проте причини такого рішення досі не оприлюднюються.
Джон Войт понині жодного разу не зустрічався з дітьми Анджеліни; У 2002 році Войт заявив пресі, що в його дочки серйозні проблеми з психічним здоров'ям. На сімейні свята в зв'язку з народженням дочки Анджеліни та Бреда Піта — Шайло Нувель, його запрошено не було.
