而沈万三一人负责的城墙，占整个工程量的三分之一，他以一家之力，是怎样如期完成的?没有人知道。

　　今南京水西门外，有座赛虹桥，相传为沈万三儿媳所建。明人记载，沈万三建造数桥之后，很是得意，便在家中炫耀。谁知儿媳很不以为然，便用私房钱悄悄建了一座桥。该桥“工巧宏丽”，比公公所造之桥有过之而无不及，人们把它叫做“赛公桥”——儿媳尚且如此，可见沈家确实实力不凡。

　　沈万三处于事业巅峰时，他的弟弟沈贵(万四)已看到危机，曾写诗劝他说：“锦衣玉食非为福，檀板金樽亦可休。何事百年长久计，瓦罐载酒木绵花。”要他低调做人，从事耕织，但沈万三没有听从他弟弟的话，终于招来了灭顶之灾。

沈万三

　　沈氏家族的没落是个渐进的过程。第一次打击大约在洪武三年(1370)至六年(1373)。

　　朱元璋统一天下后，沈家的日子自然不好过。即便是沈万三已经不在人世，沈家也没人充军云南，但经过这番折腾，沈家的财富也蚀减过半了。

沈万三故居

　　再加上朱元璋建立明朝之初，对江南富民采取了严苛的政策，多次强制迁徙，并课以重赋，从此之后，沈家也就一蹶不振了。

　　第二次打击是在明洪武十九年(1386)的春天，沈万三的两个孙子(沈旺之子)沈至、沈庄先后入狱。《故沈伯熙(庄)墓志铭》记：“洪武十九年春，兄至以户役故，缧绁赴秋官，时伯熙亦获戾京师，适与兄同系狱，入则抱其兄痛泣曰：‘吾兄素羸，不堪事，今乃至于斯耶!’既而伯熙先出，遂得疾甚，药莫疗……卒于京。”

　　沈至入狱的原因是逃避赋役，沈庄入狱则可能是涉嫌“胡党”、逃避赋役而羁押至京，其事不小，连补带罚，再加上两兄弟最终都能出狱的上下打点，其数目也定在巨万以上。

　　大约在同年，沈万三的女婿陆仲和却在劫难逃，被扣上“胡党”的罪名满门抄斩。