说来也巧，当时海瑞的顶头上司居然是浙江总督胡宗宪，也是严嵩的同党。胡宗宪有一个不争气的儿子，仗着自己的父亲和严嵩是至交，年纪轻轻就不肯学好，居然学会了地痞那一套路，到处敲诈勒索，谁要是不肯听他的话，不肯乖乖拿出钱来，他就会暴打一顿。有一次，胡公子又带了一大批随从出去干坏事儿。天黑的时候刚好经过淳安，于是住在县内官驿里。因为驿馆本来就十分简陋，胡公子认为是这里的老板故意怠慢了他。没等驿馆老板张口解释，他就大喊着要砸了驿馆，驿馆的老板赶紧差人给海瑞报了信儿。海瑞早就听闻这位胡公子蛮横无理、招摇过境，十分厌烦他。
更过分的是，这位胡公子居然在驿馆闹翻了天，把所有驿吏吊起来暴打。他的所作所为让海瑞忍无可忍，当他听完差役的报告后，沉默了一会儿，然后故装镇静地说：“胡总督向来是个清廉的大臣。他曾经来驿馆就吩咐过，以后凡是官吏在此歇脚，跟普通人一样对待就行，不用特殊招待，千万不可铺张浪费。而据你们所说，现在来的那位公子，排场阔绰，态度十分骄横，怎么可能是胡大人的公子，你们肯定是认错人了吧？他最多也就是一个无所事事的富家公子，到本县来招摇撞骗的。”说完，海瑞就带了一大批差役赶到驿馆，好像真的要一探究竟。