1568年的隆庆二年，海瑞的夫人王氏猝然离世，这本就可疑，而在那之前仅11天，他的小妾韩氏还上吊自杀，这让海瑞的家庭生活蒙上了一层阴影。黄仁宇在《万历十五年》中记载，王夫人的死十分蹊跷。更早的是在1568年之前，海瑞的原配许氏因为生下两个女儿被休弃，第二位夫人潘氏过门还不到一个月也被赶出家门。第三任夫人王氏陪伴他时间最长，在他赴任淳安之前两年生下长子海中砥，到淳安那年又生下次子海中亮。 这位潘氏进门才一个多月就被逐出门外，史料里没有交代具体原因。海瑞甚至还在七十多岁的时候纳了邱氏为妾。据记载，邱氏曾为他生下一个儿子，可惜这孩子福薄，三岁时夭折了。比起这些私事的喧嚣，海瑞在官场上的刚正不阿更为人所知。 明代太师徐阶告老还乡后，他的第三子徐瑛仗着父亲的权势在乡里横行霸道。徐瑛霸占民田、鱼肉百姓还强占民女赵小兰。赵小兰的母亲洪阿兰冒死告状，可华亭县令王明友早已被徐阶收买，不仅不为百姓做主，反而杖毙了赵小兰的祖父。海瑞升任应天巡抚后微服出访，偶遇悲愤的洪阿兰并决定为民伸冤。 海瑞查清徐瑛、王明友的罪证后判处二人死罪，并下令徐阶退还所有霸占的民田。徐阶不甘心失势暗中买通太监与权贵诋毁海瑞。海瑞识破奸计后为防止夜长梦多毅然下令处斩徐瑛、王明友，随后交出巡抚大印慨然罢官归里。 嘉靖年间海瑞出任淳安县令就已显示出不媚权贵的品格。国公张志伯奉旨巡察各省却到处贪赃枉法搜刮民脂民膏。一日海瑞劝农归来时，张志伯的亲信张彪蛮横索要万两赊银作为“献礼”。海瑞断然拒绝并下令杖责张彪将其逐出县衙。张志伯闻讯亲自赶到淳安问罪。海瑞早已准备好沿途贪赃的罪证据理力争反而让张志伯狼狈不堪。 临行前张志伯故意刁难索要四百名纤夫拉纤。正值农忙时节海瑞不愿再扰害乡邻便亲自率领衙役为船队背纤。张志伯见海瑞深得民心唯恐激起民愤只得灰溜溜离去这就是“海瑞背纤”的故事。除了刚正不阿海瑞的家庭生活也充满争议。 据明代史料记载他一生娶妻三人另有小妾两人他的长子海中砥次子海中亮都是王氏所生而沈德符在《万历野获编·补遗》中记载了他的婚姻史他五岁的女儿因为接受男仆的一块饼被他指责是坏女子要求其饿死结果在绝食七天后离世这件事记载于姚叔祥的《见只编》中成为后世热议的话题。