Кестнер виріс у дрезденському районі Ойсере Нойштадт (Äußere Neustadt) на вулиці Кенігсбрюкерштрассе (Königsbrücker Straße). Недалеко від неї на першому поверсі вілли його дядька Франца Августина зараз розташовується Музей Еріха Кестнера. Батько Кестнера був шорником, а мати Іда працювала служницею, домробітницею і перукарем. Еріха пов'язували з матір'ю дуже тісні узи. Перебуваючи в Берліні і Лейпцигу, він щодня складав для своєї матері зворушливі листи та листівки. Ставлення до матері знайшло своє відображення і в творах Кестнера. Пізніше з'явилися чутки про те, що батьком Еріха був сімейний лікар Кестнер, єврей Еміль Ціммерманн (1864—1953). Однак ці чутки так і не знайшли свого підтвердження.
1913 року Еріх вступив на дрезденські вчительські курси, проте через три роки незадовго до їх закінчення перервав свою педагогічну освіту. Ці роки Кестнер описав у своїй книзі «Літаюча класна кімната». Спогади про дитячі роки письменник виклав в автобіографічному творі «Коли я був маленьким», який вийшов 1957 року. Дитинство Кестнера закінчилося з початком Першої світової війни. 1917 року Кестнер був мобілізований на військову службу і пройшов річне навчання в роті важкої артилерії. Тяжкості військового життя, суворі випробування і жорстокість, з якою він зіткнувся в цей час, зіграли свою роль у формуванні антимілітаристських поглядів молодого Кестнера. Свого кривдника, сержанта Вауріха, винного в захворюванні серця Кестнера, поет зобразив у своєму однойменному сатиричному вірші. Після Першої світової війни Кестнер здав всі іспити на відмінно і отримав «золоту стипендію» від муніципалітету Дрездена.
