鱼朝恩恃宠而骄之后,渐渐地开始目空一切,自以为天下非他莫属,朝廷的政事稍微有不如他意的,就会大发雷霆说:“天下的事还能有离得开我的吗?”李豫听说后非常不高兴。但是此时鱼朝恩手握禁兵,难以禁制,所以李豫一时也没有好办法来对付他,只能听之任之。
鱼朝恩的小儿子鱼令徽十五岁就在朝廷任职了,李豫亲自赐给他绿衣。没过多久,鱼令徽向父亲告状说自己的等级太低了,被别人看不起。鱼朝恩听了十分生气,马上上奏唐代宗李豫说:“陛下,老奴的小儿子鱼令徽官职太低,被别人欺负,请求皇上赐予他金腰带和紫服。”当时的紫服是文武官员三品以上才能穿戴的,但是鱼令徽的职位远远达不到。但是还没等皇上准奏,鱼朝恩就下令让人拿来了紫衣。鱼令徽接过紫衣立即向皇上谢恩,皇上嘴上说:“你穿上紫衣果然十分好看。”李豫心里十分不痛快,但表面上不敢与鱼朝恩对抗,所以只能强言欢笑。
没过多久,鱼朝恩把冲撞了儿子鱼令徽的官员贬到了岭南。此时,唐代宗李豫意识到,鱼朝恩的权势已经快要到“只知道有朝恩,不知道有天子”的地步了。因此,李豫对鱼朝恩产生了强烈的厌恶之情,虽然竭力掩饰,但有时候还是会表现出来。宰相元载发现唐代宗李豫对鱼朝恩心生恶感,便奏请将其除掉。李豫一时下不了决心,因为毕竟鱼朝恩军权在握、党羽众多,一旦事情没办成,后果将是难以预料的。元载却胸有成足地安慰李豫说:“陛下,您只要将此事全权交给我办理,一定能办妥。”于是李豫同意了,嘱咐元载一定要多加小心。