Вуді Аллен народився і виріс у Нью-Йорку (квартал Мідвуд у Брукліні) в єврейській сім'ї. Його дід і баба були емігрантами, рідною мовою для них були німецька та їдиш. Його батьки народилися і виросли у кварталі Нижній Іст-Енд на Мангетені: мати Неті (8 вересня 1906—27 січня 2002) була бухгалтером у сімейному кондитерському магазині, а батько Мартін (25 грудня 1900—13 січня 2001) — офіціантом і гравером-ювеліром. У сім'ї була ще молодша сестра Летті (народилася 1943 р.). Дитинство Вуді Аллена не було щасливим: стосунки з батьками — особливо з суворою матір'ю — виявилися не найкращими.
Вуді з дитинства говорив на їдиші, відвідував єврейську школу-восьмирічку (Hebrew school), відтак — Публічну школу № 99, а потім — Мідвудську середню школу, де через рудий колір волосся його прозвали «Рудий» («Red»). Попри те, що у своїх фільмах актор грає людей фізично слабких і нетовариських, у школі він чудово грав у бейсбол і баскетбол та демонстрував учням різноманітні фокуси й картярські штучки і був завжди оточений товаришами. Саме у ті роки сім'я Коніґсберґів проживала у квартирі на Авеню «К», 1400, між вулицями Східна «14» та Східна «15».
:
Коли мене відправили в багатоконфесійний літній табір, мене там жорстоко відлупцьовували хлопці всіх рас і релігій.
Щоб заробляти гроші, він почав писати смішні дотепи для газет під псевдонімом «Вуді Аллен». Його перший жарт опубліковано в розділі для пліток; змістом жарту була гра слів, які дослівно звучали так: «Вуді Аллен каже, що обідав у ресторані, де всі ціни відносяться до категорії „В. Л. З.“ („Вище людської зарплати“)». А вже на шістнадцятому році життя його талант відкрив комік Мілт Кемен, який допоміг письменникові-початківцю влаштуватися у популярне шоу Сіда Сізара.
Закінчивши школу, Аллен вступає до Нью-Йоркського університету, в якому обирає курси комунікації та кінематографу: тут він не вирізнявся особливим бажанням учитися, провалив іспит з кінематографу, — і невдовзі був відрахований із числа студентів. Пізніше він якийсь час відвідував Нью-Йоркський міський коледж.
