Армін Мюллер-Шталь народився 17 грудня 1930 року в Тільзіті (тепер м. Совєтськ (Калініградська область). Третій з п'яти дітей у сім'ї. Його мати виросла в Санкт-Петербурзі. Дідусь, балтійський німець, священик, був змушений вивезти родину з Росії на початку Першої світової війни, у 1914 році. Перші вісім років він прожив у Тільзіті. У 1938 році родина Мюллер-Шталь перебралася в Пренцлау. У 1934 році сім'я Мюллер-Шталь переселяється у Берлін. Тут Армін поступає в консерваторію і закінчує її з дипломом скрипаля. Сам Армін мало не загинув у 1945 році: за пару тижнів до кінця війни його ледь не застрелив радянський солдат. У той же день неподалік був розстріляний його батько, банківський службовець.
Але театр все ж перемагає, Армін вирішує стати актором, проте з акторських курсів його відраховують у зв'язку з відсутністю здібностей. У 1955 році закінчує акторські курси і його приймають в трупу Берлінському театрі Фольксбюне, а потім і у найвідоміший з німецьких театрів — Берлінського ансамблю, театру Бертольта Брехта.
За 35 років кар'єри в НДР Мюллер-Шталь став одним з найпопулярніших акторів країни. За роль у фільмі «П'ять патронних гільз» його хвалили Фідель Кастро і Ернесто Че Гевара. За створення переконливого образу офіцера штазі у фільмі «Невидиме забрало» Мюллер-Шталя удостоїли державної премії НДР.
У 1976 році влада НДР позбавляють громадянства барда Вольфа Бірмана. Армін Мюллер-Шталь підписує разом з іншими діячами мистецтва лист протесту. Після цього він не отримує жодної ролі. 1980 року Армін емігрує до Західного Берліна.
На Заході він прославився роллю, яку спочатку відмовлявся грати в нескінченному телесеріалі «Лікарня в Шварцвальді». Потім були ролі у фільмах значних режисерів: Райнера Вернера Фассбіндера, Анджея Вайди, Іштвана Сабо. Потім було запрошення до Голлівуду.
Армін Мюллер-Шталь мабуть, єдиний з німецьких акторів, кому вдалася воістину зоряна кар'єра не лише на батьківщині, а й за океаном. Одна з перших відомих його робіт в Голлівуді — роль у фільмі «Авалон». У цій картині він грає деспотичного батька єврейського сімейства. За фільм «Блиск» у 1996 році — номінований на «Оскара».