Народився 17 липня 1958 року в місті Шанхай. У п'ятирічному віці Вонг Карвай разом з матір'ю переїхав до Гонконгу. Його батько у той час був директором готелю. Після відїзду дружини й сина він мав владнати справи й вирушити навздогін, проте китайська культурна революція перешкодила цим планам, і батько на більше, ніж 10 років залишався в Китаї й не мав можливості возз'єднатися з родиною. Ця тривала розлука та мовна ізоляція Вонга Карвая, який спершу не розумів кантонського діалекту, очевидно, пояснюють часту для його фільмів тему розлучення. Заради засвоєння нової для нього кантонської мови Вонг Карвай разом з матір'ю годинами дивився фільми в кінотеатрах, що безперечно вплинуло на його майбутні професійні зацікавлення.
1980 року закінчив Гонконгський політехнічний університет за спеціальностю «графічний дизайн» та влаштувався на роботу в телекомпанії TVB на посаду сценариста. У період з 1982 до 1987 рік Карвай написав сценарії більш ніж до десяти фільмів.