“符离之溃”之后，对赵昚的雄心给予重大打击，他开始在战与和之间摇摆不定。六月，赵昚让主和派代表汤思退复出。七月，任命汤思退为右相。同时，主战派大臣张焘、辛次膺和王十朋等相继出朝。八月，恢复张浚都督江淮军马的职务，并采纳汤思退的建议，派淮西安抚使干办公事卢仲贤前往金军大营议和。十一月，卢仲贤带来了议和条件：宋帝与金帝改为叔侄关系，宋朝归还备战的海、泗、唐、邓四州，归还降宋的金人，补纳绍兴末年以来的岁币(因海陵南侵，南宋停止了对金朝的岁币)。南宋方面对战和展开了激烈的争论，最终赵昚决定继续议和。十二月，陈伯康因病辞相，汤思退升为左相，张浚为右相。
隆兴二年（1164年）正月，金朝方面再次来函，但因为要价太高，口气太大，遭到了宋朝方面的拒绝。赵昚在主战派的鼓动下，将卢仲贤以擅许四州的罪名除名，编管郴州，改派胡昉出使金营，表示宋朝拒绝归还四州。和议就这样陷入僵局。在这种情况下，赵昚令张浚巡视两淮，全力备战，准备与金军决一雌雄。汤思退及其同党却攻击张浚“名曰守备，守未必备，名曰治兵，兵未必精”。赵昚最终于在四月召张浚入朝罢相。四个月后，张浚死在离京途中。至此，赵昚完全倒向了主和派一方。