Гаммер народився в Лос-Анджелесі, штат Каліфорнія. Його мати, Дрю Енн (дівоче прізвище — Моблі); батько, Майкл Арманд Гаммер, бізнесмен. Прадідусь Армі — Арманд Хаммер був американським нафтовим магнатом і філантропом єврейсько-українського походження: дідусь Арманда Гаммера — Яків Гаммер — народився у Херсоні (Україна) у родині кораблебудівельника.
Все своє дитинство Армі Гаммер провів у західній частині Лос-Анджелеса і на Кайманових островах.
З 2010 року одружений з журналісткою Елізабет Чемберс, є донька Гарпер (2014) і син Форд (2017).
