Народився в сім'ї письменників С. Михалкова і Н. Кончаловської, дочки художника П. Кончаловського (уродженця м. Слов'янськ, тепер Донецької області).
1952 року закінчив Центральну музичну школу. В 1957 закінчив Музичне училище при Московській консерваторії.
У 1957—1959 навчався в Московській державній консерваторії по класу фортепіано.
Після закінчення у 1965 режисерського факультету Всеросійського державного інституту кінематографії (майстерня М. Ромма) почав працювати режисером на «Мосфільмі». Того ж року дебютував фільмом «Перший вчитель» за однойменною повістю Чингіза Айтматова. В ролі головної героїні Алтинай зняв молоду балерину Наталію Арінбасарову, з якою потім одружився.
1972 року отримав звання лауреата Державної премії Казахської РСР після всесоюзного успіху фільму «Кінець отамана» за його сценарієм (про ліквідацію чекістами білого отамана Дутова, 30 млн глядачів за 1972 рік).
У 1980 отримав звання народного артиста РРФСР. У тому ж 1980 виїхав до Америки, в Голлівуд. Зняв там кілька фільмів. За деякі з них отримав нагороди. Наприклад, стрічку «Гомер і Едді» (у головних ролях Вупі Голдберг і Джеймс Белуші) нагороджували на МКФ у Сан-Себастьяні. Проте згодом режисер розчарувався в американському кіно і на початку 90-х повернувся на батьківщину.
2002 — академік Національної академії кінематографічних мистецтв і наук.
2005 — офіцер ордену Мистецтв і літератури Франції.
У 2005 заснував «Продюсерський Центр Андрія Кончаловського», який створює програми для провідних каналів російського телебачення — НТВ, РТР, «Культура», «Зірка», продюсує театральні постановки, здійснює книговидавничі проекти.
З 2010 член Громадської палати Російської Федерації.
2010 року отримав Орден Почесного легіону у Франції.
У 2013 році очолив кінопремію «Ніка».
На даний час мешкає з родиною як у Росії, так і за кордоном, залежно від того, де працює.