Народився в Кентербері, графство Кент, Велика Британія. Батьки назвали Орландо на честь англійського композитора 17 століття Орландо Гіббонса.
Його мати Соня займалася бізнесом, керувала школою мов для іноземних студентів, а також захоплювалася письменством. Батько, Гаррі Блум, єврей родом з ПАР, був професором права в Університеті Кента. Раніше він вів боротьбу проти апартеїду в ПАР, був одним з адвокатів Нельсона Мандели. Згодом Гаррі Блум написав кілька книг про расову сегрегацію в ПАР, за що переслідувався південноафриканським урядом й в 1963 році був змушений емігрувати до Великої Британії.
Коли Орландо було 4 роки, він втратив батька, і виховання хлопчика і його старшої сестри Саманти займалася мати та близький друг родини Блумів, Колін Стоун, призначений їхнім опікуном. Пізніше, коли Орландо було 13 років, мати відкрила йому, що насправді саме Стоун є його біологічним батьком.
Юний Орландо захоплювався конями й був непоганим наїзником, що згодом стало корисним в його майбутній кінокар'єрі. Навчання в школі давалося Орландо важко — він мав дислексію (погано запам'ятовував і плутав обриси букв), а тому часто ставав об'єктом глузувань однолітків. Попри це, він намагався вчитися щосили в школі Святого Ентмунда. Мати заохочувала його заняття мистецтвом, театром і фотографією.
