Джо Пеші народився 9 лютого 1943 року в Ньюарку, штат Нью-Джерсі, в сім'ї перукарки Мері й водія Анджело. У 5-річному віці вперше зіграв у театрі.
Першу вагому роль зіграв у 1976 році в низькобюджетному кримінальному фільмі «Колекціонер смертей», де також грав Френк Вінсент, який в майбутньому неодноразово співпрацював з Пеші. Після ролі брата боксера Джої ЛаМотти у фільмі Мартіна Скорсезе «Скажений бик» (1980) Пеші здобув премію BAFTA в категорії «найкращий новачок». За цю роль актор також був номінований на премію «Оскар». У 1984 році зіграв у фільмі режисера Серджо Леоне «Одного разу в Америці». 1990 року прославився на весь світ, зігравши гангстера Томмі ДеВіто у фільмі Мартіна Скорсезе «Славні хлопці». За роль ДеВіто актор здобув перший «Оскар».
Згодом Пеші з'являвся в таких відомих фільмах, як «Сам удома», «Сам удома 2: Загублений у Нью-Йорку», «Джон Ф. Кеннеді. Постріли в Далласі», «Смертельна зброя 2», «Бронкська історія» і «Казино».
З 1988 по 1992 рік Джо Пеші був одружений з Клаудією Мартою Харо. У них є дочка Тіффані. У липні 2007 року 64-річний актор зустрічався з 37-річною моделлю Енджі Еверхарт. Вони розірвали стосунки в серпні 2008 року.