Народився в Бостоні штат Массачусетс у шотландсько-ірландській родині.
Син акторки Елізабет Арнольд Гопкінс По і актора Девіда По-молодшого. Середній з трьох дітей: старший брат — Вільям Генрі Леонард По, молодша сестра — Розалія По. Можливо, Едгара назвали на честь персонажа трагедії Вільяма Шекспіра «Король Лір», в якій у 1809 році грали батьки письменника
Його батько покинув сім'ю у 1810 році. Коли Едгару було лише два роки, його мати й батько майже одночасно померли від сухотів, залишивши трьох дітей. Едгара взяв до своєї сім'ї Джон Аллан, успішний шотландський купець з Ричмонда штат Вірджинія, який торгував тютюном, одягом, пшеницею, надгробними плитами та іншими товарами. Меншу дитину — шотландець Меккензі, а старшого хлопчика Вільяма взяв дід, генерал По. Друге (середнє) ім'я По, яке він прийняв на знак поваги до сім'ї Аллана (хоча ніколи не був формально всиновлений), часто (навіть в енциклопедіях) помилково подається як «Аллен» (насправді має бути саме «Аллан»).
Сім'я Алланів охрестила в 1812 році юного Едгара як вірного єпископальній церкві, і Джон Аллан одночасно розпещував і агресивно дисциплінував свого прийомного сина. Його названа мати любила хлопчика до самої своєї смерті. У віці п'яти-шести років Едгар умів читати, писати, малювати, декламувати вірші на розвагу гостей за обідом. Він був одягнений, як маленький принц, мав поні, на котрому їздив верхи, мав власних собак, які супроводжували його, і ліврейного грума; завжди мав у достатній кількості кишенькові гроші, і в дитячих іграх у нього завжди була якась улюблениця, яку він засипав подарунками. Він, його дружина Франческа Аллан і Едгар 1815 року здійснили подорож до Англії. Едгар недовго відвідував школу латинської граматики в рідному місті вітчима Ірвін (Шотландія). 1816 року сім'я переїхала до Лондона. Едгар навчався в школі-інтернаті в Челсі до літа 1817 року. Потім вступив до «Школи Маєтку превелебного Джона Бренсбі» (Reverend John Bransby's Manor House School) у Стоук Ньюінґтоні (тоді містечко за 6 кілометрів від Лондона).
1820 року Едгар разом з Алланами повернувся до Ричмонда. Тут у По з'явилися нові друзі, з якими він мандрував, у тому числі, й на човнах. У ньому рано прокинувся інтерес до пригод, пристрасть до всього незазнаного. Після повернення з Англії Едгара віддали до Англійської класичної школи, де дуже добре викладали англійську літературу, що стимулювало творчий талант Едгара. До 13-14 років його поетичні спроби набули зрілості. 1824 року По був лейтенантом почесної варти Ричмонда під час святкування приїзду до міста маркіза де Лафаєта. У березні 1825 року помер дядько Джона Аллана Вільям Гейт, який вважався одним із найбагатших мешканців Ричмонда і залишив Алланам кілька акрів землі. Спадок оцінювався в близько $750 000. Влітку 1825 року, Аллан відсвяткував збільшення своїх статків придбанням двоповерхового цегляного будинку, що мав назву «Молдавія». Можливо, По був заручений з Сарою Ельмірою Ройстер перш ніж у лютому 1826 року його прийняли до Університету Вірджинії, де він мав вивчати мови. Навчальний заклад був створений на ідеалах свого засновника, Томаса Джефферсона. Були встановлені жорсткі правила, щодо азартних ігор, коней, зброї, тютюну і алкоголю, але вони в більшості випадків ігнорувалися. Джефферсон впровадив систему студентського самоврядування, згідно з якою студенти могли самостійно обирати предмети і доповідати про всі порушення дисципліни на факультеті. Єдина в своєму роді система все ще знаходилася в повному безладі й в університеті був високий відсоток студентів, що самі покидали навчання. Під час свого перебування там По порвав із Сарою і постійно конфліктував із прийомним батьком через гральні борги. Едгар По заявив, що Джон Аллан надає йому недостатньо коштів для оплати занять та гуртожитку. Аллан вислав додаткові гроші, але й борги По збільшилися. Після року навчання Едгар По покинув університет, відчуваючи, що на нього ніхто не чекає у Ричмонді (особливо після того як його кохана Сара вийшла заміж за Александера Шелтона), він у квітні 1827 року вирушив до Бостона, по дорозі перебиваючись заробітками як клерк або журналіст, у якийсь момент почав використовувати псевдонім Анрі Ле Реннет. Вперше чітко й різко виявив себе основний конфлікт у житті Едгара Аллана По — конфлікт творчої, шляхетної особистості й грубого гендлярського утилітаризму, що все підпорядковує зиску. Те, що було сконцентровано в натурі та поводженні опікуна, незабаром стало для Едгара системою непохитних сил, що виражають провідні інтереси й тенденції американського суспільства.