Анджеліна Джолі Войт народилася 4 червня 1975 року в лікарні «Сідерс-Синай» (Лос-Анджелес, США) в сім'ї акторів Джона Войта та Маршелін Бертран. Її хрещені батьки — актори Жаклін Біссет і Максиміліан Шелл. Батькова лінія має німецьке та словацьке походження. Також Джолі стверджує, що має корінне (ірокезьке) походження по лінії франко-канадської матері, але її батько це заперечує.
Після розлучення з батьком 1976 року (яке офіційно оформили лише через два роки), мати з дітьми переїхала до Нью-Йорка та зосередилася на вихованні дітей, відмовившись від акторських амбіції. Бертран ростила дочку як католичку, але не вимагала ходити до церкви. У дитинстві Джолі часто дивилася фільми з матір'ю, що підштовхнуло її до акторської кар'єри, а не успішність батька. Коли їй було 6 років Бертран із її співмешканцем, режисером Біллом Дей, переїхали до Палісадеса, штат Нью-Йорк. У 7 років зіграла невелику роль у фільмі Войта «У пошуках виходу» (1982). У 11 років сім'я повернулася до Лос-Анджелеса. Тоді Джолі вирішила стати акторкою та вступила до Театрального інституту Лі Страсберга, де навчалася протягом двох років і брала участь у декількох театральних виставах.
Спочатку Джолі відвідувала середню школу Беверлі-Гіллз, де відчувала себе ізольованою від інших дітей зі заможних родин, бо її мати мала скромніший дохід. Її дражнили інші учні та цькували за надмірну худорлявість, носіння окулярів і брекетів. Перші спроби стати моделлю, за наполяганням матері, виявилися невдалими. Вона перевелася до альтернативної середньої школи Морено, де стала «панком-аутсайдером», носила повністю чорний одяг, практикувала мош і гралася з ножами зі своїм партнером-співмешканцем. Джолі покинула заняття зі акторської майстерності й прагнула стати директором похоронного бюро, відвідуючи домашні курси бальзамування. У 16 років розірвала стосунки, завершила середню школу, винайняла квартиру та повернулася до навчання в театрі. У 2004 році Джолі цей період згадувала так: «У глибині душі я все ще залишаюся — і завжди залишатимуся — просто панк-дитиною із татуюваннями».
У підлітковому віці їй було емоційно важко спілкуватися з іншими людьми, тому вона завдавала собі тілесних ушкоджень. Про це акторка говорила: «З якоїсь причини ритуал порізати себе та відчувати біль, можливо, відчувати себе живою, відчувати певне звільнення, стало для мене терапією.» Джолі також боролася з безсонням і розладом харчової поведінки. Вона не приховує, що вживала наркотики, а до 20 років перепробувала «майже всі можливі наркотики», зокрема героїн. Акторка страждала на депресію та двічі планувала покінчити життя — у 19 та 22 роки, коли намагалася найняти кілера, щоб убити її. У 24 роки пережила нервовий зрив й акторку госпіталізували на 72 години до психіатричного відділення Медичного центру Каліфорнійського університету в Лос-Анджелесі. Через два роки, після всиновлення першої дитини, психічний стан Джолі стабілізувався, пізніше заявивши: «Я знала, що, коли я присвятила себе Меддоксу, я більше ніколи не буду знов займатися саморуйнуванням».
Джолі має складні стосунки з батьком, відколи він покинув її мати з немовлям. За її словами, відтоді вони майже разом не проводили час, переважно лише перед пресою. Коли разом грали ролі у фільмі «Лара Крофт: Розкрадачка гробниць» (2001) ненадовго примирилися, але їхні стосунки знову погіршилися. Джолі звернулася до суду з проханням юридично прибрати своє прізвище Войт на користь середнього імені, яке вона вже давно використовувала як сценічний псевдонім. Її позов задовільнили 12 вересня 2002 року. В інтерв'ю на каналі «Access Hollywood» Войт заявив про їхнє відчуження та стверджував, що акторка має «серйозні психічні проблеми». Стосунки з ним розірвали й її мати та брат. Вони не розмовляли шість з половиною років, але почали відновлювати стосунки після смерті Бертрана від раку яєчника 27 січня 2007 року, а через три роки оголосили про своє примирення.
