Виріс у Сталінграді, де закінчив залізничну школу. Навчався у школі № 5 (колишній чоловічій гімназії). Тут, на підмостках шкільної сцени, й помічено ознаки його акторської обдарованості. Був актором допоміжного складу Сталінградського драматичного театру. Навчався у Сталінградському медичному інституті. Рано залишився без матері. У 1944 році виїхав до Сталінграду його батько, син перебрався до нього. Деякий час вони жили разом, але батько незабаром помер.
У 1948 році вступив до московського Всесоюзного державного інституту кінематографії (майстерня Сергія Герасимова і Тамари Макарової), який закінчив у 1953 році. Московський зоряний період Рибникова, його одруження з актрисою, красунею Аллою Ларіоновою, їхню взаємну любов і коло спілкування на рівні світових зірок досить повно описано в безлічі столичних видань. Під час навчання дар майстерно наслідувати відомих людей і тяга до розіграшів одного разу мало не обійшлися Рибникову дорого — про цю історію розповів згодом у своєму фільмі «Яка чудова гра» (1995) Петро Тодоровський.
З 1953 року — актор Театру-студії кіноактора. Дебют у кіно пройшов майже непоміченим, це фільм «Команда з нашої вулиці», роль Дроздова. По-справжньому його акторський талант розкрився в режисерів Олександра Алова та Володимира Наумова в картині «Тривожна молодість» і у М. Швейцера в «Чужій рідні».
Справжня всесоюзна слава прийшла до артиста після стрічок «Весна на Зарічній вулиці» (1956), котру поставили Ф. Миронер і М. Хуцієв, і «Висота» (1957) режисера Олександра Зархі. У 1958 році Микола Рибников зафільмувався в картині Е. Рязанова «Дівчина без адреси» — хоча публіка гаряче прийняла фільм — він зайняв друге місце в прокаті, — критика (як і сам режисер) визнала його не дуже вдалим. Утім, у 1961 році актор погодився фільмуватися в комедії, коли режисер Юрій Чулюкін запросив його на головну роль лісоруба Іллі Ковригіна у фільмі «Дівчата». Ця картина мала величезний глядацький успіх і до цього дня залишається в числі найкращих комедій радянського кіно. Надалі Миколу Рибникова багато фільмували, на його ліку такі фільми, як «Їм підкоряється небо», «Війна і мир» (де він виконав роль Дениса Давидова), «Звільнення», «Хокеїсти». Великий успіх випав на долю картини «Сьоме небо» (1972), в якій Микола Рибников знявся зі своєю дружиною Аллою Ларіоновою.
Наприкінці 70-х і в 80-х роках актора запрошували фільмуватися чимраз рідше і здебільшого в епізодичних ролях. Найбільш запам'яталася роль Рибникова цього періоду — Кіндрат Петрович у стрічці «Вийти заміж за капітана» (1985).
Помер від серцевого нападу. Поховано в Москві на Троєкурівському кладовищі.
