Фішер народилася у Беверлі-Гіллз, Каліфорнія. Її батько, Едді Фішер — співак та актор єврейського походження, мати якого — Кейт Винокур народилася у місті Ямпіль Вінницької області; мати — актриса Деббі Рейнольдс. Коли Керрі було два роки, батьки розлучилися, після того як її батько покинув матір, завівши роман із Елізабет Тейлор. Едді Фішер одружився з Тейлор і вони прожили у шлюбі близько року. Наступного року після розлучення Деббі Рейнольдс вийшла заміж за Гаррі Карла.
Дитиною Керрі ховалася у книгах, за що отримала у сім'ї звання «книжкового черва». Свої ранні роки вона провела читаючи класичну літературу і пишучи поезію. Вона відвідувала школу в Беверлі Гіллз, поки у віці 15 років не дебютувала у бродвейській виставі «Ірен» (1973), головну роль у якій виконувала її мати. Вона так ніколи і не завершила середню школу. У 1973 році Керрі поступила у Центральну школу сценічної мови та драматичного мистецтва Лондона, у якій провчилася 18 місяців. У 1978 році її прийняли до Коледжу Сари Лоуренс, що у Йонкресі, але вона покинула його через зайнятість на зйомках «Зоряних війн».
У Керрі є молодший брат, Тодд, і дві сестри, Джоелі Фішер й Тріша Лі Фішер — також актриси.
