1935年，安德罗波夫第一次结婚，妻子是与他同一个学校毕业的尼娜·伊万诺夫娜·延加雷切娃。他们共生了两个孩子，一个女儿，一个儿子。女儿叶夫根尼姬后来成了一名医生，而当儿子出生不久，安德罗波夫就离家到了彼得罗扎沃茨克，他没有带着家属，是一个人去的，从此他和妻子就过上了长期不在一起的不正常的夫妻生活。不久，他就因为和妻子的感情日益的淡泊而决定离婚。
离婚后，安德罗波夫很快就再次结婚，这次结婚也生了两个孩子。人们不清楚他在第一次婚姻生活中到底发生了什么事情，自从他离婚后，他就一直不愿意提过去的事，也不允许别人提起他不想听的事。
政治以外的生活
在苏联，著名人物的私生活是严加保密的，安德罗波夫当然也不例外。当他沿着党的台阶上升到总书记的职位时，人们对他的私生活始终是一无所知，这就引起了社会上对他的一些怪诞无稽的传闻，关于他的个人琐事、过了时的传说，以及常常是莫须有的小道消息此起彼伏。与此同时，一些莫斯科人自称他们了解这位前克格勃头目是一位真正的“私下的自由主义者”。其中，关于他的英文水平和他对美国东西的“酷爱”的谈论最多。