Була єдиною дитиною в сім'ї Отто Людвіга Лангханке (2 жовтня 1871 — 3 лютого 1943) і Гелен Марі де Васкоселос (19 квітня 1881 — 18 грудня 1947). Її батько, німець, в 1891 іммігрував в США з Німеччини; мати народилася в Джексонвіллі і мала португальські та ірландські корені. Лангханке і де Васкоселос одружилися 3 серпня 1904 в Лайонсі (округ Райс, штат Канзас).
Батько був учителем середньої школи в Квінсі (штат Іллінойс), поки США не вступили в Першу світову війну. Пізніше він став дрібним фермером. Мати завжди хотіла бути акторкою. Астор навчалася вдома і в академії, грі на фортепіано вона вчилася у батька, який наполіг на щоденних заняттях. Ці уроки стали в пригоді їй в майбутньому, вона сама грала на піаніно у фільмах «Велика брехня» і «Зустрінь мене в Сент-Луїсі».
У 1919 Астор надіслала свою фотографію в журнал «Motion Picture Magazine» для участі в конкурсі краси і вийшла в півфінал. Коли Астор було 15 років, її сім'я переїхала в Чикаго, через батька, який став викладачем німецької мови в державній школі. Там Люсіль стала брати уроки драматичного мистецтва і брати участь в постановках аматорських театрів. Наступного року вона знову вислала свою фотографію в «Motion Picture Magazine» і цього разу стала фіналісткою, а потім зайняла друге місце в національному конкурсі краси. Щоб Астор стала акторкою, батько перевіз сім'ю в Нью-Йорк і з вересня 1920 по червень 1930 керував усіма справами дочки, пов'язаними з її кар'єрою.
Мангеттенський фотограф Чарльз Альбін побачив фотографію Астор і попросив дівчину позувати для нього. Ці фотографії Альбіна були помічені Гаррі Дюрантом з Famous Players-Lasky, і Мері Астор підписала шестимісячний контракт з «Paramount Pictures».