Народився в родині бродвейських акторів. З дитинства любив малювати і мріяв стати художником, однак батьки хотіли щоб він пішов по їх стопах. Після закінчення школи почав працювати на мультиплікаційній студії «Fleischer Studios» художником-фазувальником. З раннього віку Джек усвідомлює, що приголомшливо вміє імітувати голоси інших людей. Через це у нього одного разу були великі проблеми: помилково вирішивши що дружина одного зі студійних босів вже поїхала додому Джек почав її перекривляти, що страшенно розлютило жінку.
Коли у 1935 році Білл Костелло, що тривалий час озвучував моряка Попая, залишив свою посаду режисер мультфільму випадково звернув увагу як Джек наспівував відому пісеньку цього персонажа і запропонував йому озвучити роль. Джек блискуче впорався з озвучкою — різницю між його голосом та голосом Костелло майже ніхто не помітив.
У 1938 році Джек разом зі студією переїздить до Маямі. 1944 року після викупу студії компанією Paramount Pictures він знову повертається до Нью-Йорка.
Крім моряка Попая, Джек озвучив безіч інших мультиплікаційних персонажів, зокрема кота Фелікса, Вімпі, племінників Попая, короля Ліліпутії у мультфільмі Мандри Гуллівера та ін. Завдяки високому від природи голосу Джек чудово озвучував героїв як чоловічої так і жіночої статі. Крім озвучки, Мерсер також бере активну участь у написанні сценарію до ряду епізодів про моряка Попая та пробував зніматись у кіно, але фільми з його участю, на відміну від мультфільмів, не були популярними серед глядачів.
У 1939 році Джек одружився з акторкою Марджи Гайнс, яка озвучувала подружку моряка Попая — Олів Оіл, однак у 1942 році вони розлучились.
Джек Мерсер помер у 1984 році через ускладнення пов'язані з раком шлунка.