За «утрату политической бдительности и ошибки при подборе кадров ГРУ, а также за грубые нарушения законности во время работы в органах НКВД – КГБ и злоупотребления, допущенные во время службы в Германии» в апреле 1965 года его исключили из КПСС. Еще раньше, когда он был начальником ГРУ, у него отобрали некоторые ордена, полученные во время службы в госбезопасности.
После отставки Серов прожил четверть века, наслаждаясь жизнью военного пенсионера.
Эдуард Хруцкий:
– Я много видел военных отставников, из них словно выпустили воздух. Они не знали, чем заняться и вообще как жить. Серов жил на даче, всегда был подтянут, летом ходил в военный санаторий «Архангельское» играть в теннис, зимой подолгу бегал на лыжах. Он не курил и мало пил. Машину перестал водить в восемьдесят один год. Он никогда не сожалел о том, что было, и в отличие от других погорельцев точно знал, что ничего не вернется. Жена говорила, что, выйдя в отставку, он стал веселее, словно у него тяжелый груз с плеч свалился…