Джексон-Коен народився в Лондоні. Його мати, Бетті Джексон, була модельєром, а його покійний батько, Девід Коен, також був діловим партнером матері. Його мати — англійка, протестантка. Його батько був з ортодоксальної єврейської родини, яка переїхала до Франції в 1950-х роках; Джексон-Коен заявив, що вони були єгипетського та туніського єврейського походження.
Джексон-Коен відвідував франкомовну школу і каже, що має легкий французький акцент.
Після закінчення школи Олівер почав займатися акторською майстерністю, потім почав мити вази для флориста, щоб фінансово підтримати себе між прослуховуваннями. Він відвідував Інститут театру та кіно Лі Страсберга в Нью-Йорку, оскільки не потрапив до театральної школи в Лондоні. Його метою було «пройти базовий рік, а потім знову подати заявку в Лондон», але залишив навчання через чотири місяці, оскільки йому запропонували роботу.
У 2017 році він заявив у дописі в Instagram, що у нього офіційно діагностовано посттравматичний стресовий розлад, спричинений сексуальним насильством у дитинстві.
