鱼朝恩恃宠而骄之后，渐渐地开始目空一切，自以为天下非他莫属，朝廷的政事稍微有不如他意的，就会大发雷霆说：“天下的事还能有离得开我的吗？”李豫听说后非常不高兴。但是此时鱼朝恩手握禁兵，难以禁制，所以李豫一时也没有好办法来对付他，只能听之任之。
鱼朝恩的小儿子鱼令徽十五岁就在朝廷任职了，李豫亲自赐给他绿衣。没过多久，鱼令徽向父亲告状说自己的等级太低了，被别人看不起。鱼朝恩听了十分生气，马上上奏唐代宗李豫说：“陛下，老奴的小儿子鱼令徽官职太低，被别人欺负，请求皇上赐予他金腰带和紫服。”当时的紫服是文武官员三品以上才能穿戴的，但是鱼令徽的职位远远达不到。但是还没等皇上准奏，鱼朝恩就下令让人拿来了紫衣。鱼令徽接过紫衣立即向皇上谢恩，皇上嘴上说：“你穿上紫衣果然十分好看。”李豫心里十分不痛快，但表面上不敢与鱼朝恩对抗，所以只能强言欢笑。
没过多久，鱼朝恩把冲撞了儿子鱼令徽的官员贬到了岭南。此时，唐代宗李豫意识到，鱼朝恩的权势已经快要到“只知道有朝恩，不知道有天子”的地步了。因此，李豫对鱼朝恩产生了强烈的厌恶之情，虽然竭力掩饰，但有时候还是会表现出来。宰相元载发现唐代宗李豫对鱼朝恩心生恶感，便奏请将其除掉。李豫一时下不了决心，因为毕竟鱼朝恩军权在握、党羽众多，一旦事情没办成，后果将是难以预料的。元载却胸有成足地安慰李豫说：“陛下，您只要将此事全权交给我办理，一定能办妥。”于是李豫同意了，嘱咐元载一定要多加小心。