Народився і був вихований у селі Гвіздець, ЗУНР (за польським адміністративним поділом, Станиславівського воєводства Другої Речі Посполитої; нині Коломийський район Івано-Франківської області, Україна). Його батьком був Едвард Кавалерович, начальник поштового відділення вірменського походження , а його матір'ю була Зофія Клементувна. Кілька поколінь до цього прізвище звучало як Каваларян. Родина Кавалеровичів жила в полікультурній спільноті, що складалася з поляків, українців, росіян та вірмен.
По закінченні середньої школи його подальшу освіту перервала Друга світова війна. Під час радянської окупації він жив з родиною у Станиславові. Коли місто було окуповане німцями в 1941 році, він займався різною діяльністю. Спочатку працював у німецькому локомотивному депо, потім вантажником на станції у Станіславові та складником. У 1944 році, рятуючись від німців, що шукали його брата Вітольда, сім'я Кавалеровича переїхала до Кракова.
Після війни, коли польські східні території були включені до складу Радянського Союзу, родині Кавалеровича довелося залишитися в Кракові. У 1946—1949 роках навчався в Академії образотворчих мистецтв у Кракові (Akademia Sztuk Pięknych w Krakowie), під час навчання в 1946 році пройшов курс підготовки в Інституті кіно (Instytut Filmowy). Розпочав свою кінокар'єру асистентом режисера у фільмах «Заборонені пісні» (1946) Леонарда Бучковського, «Останній етап» (1947) Ванди Якубовської, «Сталеві серця» (1948) Станіслава Урбановича, «Повернення» (1947) Боживоя Земана та «Диявольська балка» (1949) Алда Вергана та Тадеуша Канського.