关于这场会试题案，记载很多，说法不一。实际上这是统治阶级内斗争的结果。《明史—程政传》云：“或言政之狱，傅瀚夺其位，令昶奏之，事秘莫能明也。”但毫无疑问，这一事件对唐寅来说是极其严重的。从此唐寅绝意仕途。归家后纵酒浇愁，游历名山大川，决心以诗文书画终其一生。

唐寅三十六岁时选中城北桃坞，建了一优雅清闲的家园，度其清狂生活。桃坞原是宋人章庄简的别墅，但经风雨沧桑，早成一片废墟。不过这里景宜人，环境十分幽静，一曲清溪婉蜒过，溪边几株野桃衰柳，一丘土坡，很有几分山野之趣。第二年唐寅用卖画的钱建成了桃坞别墅。虽只几间茅屋，檐下却悬着雅致的室名“学圃堂”、“梦墨亭”、“蛱蝶斋，等匾额。唐寅一生酷桃，别墅取名“桃庵，”自号“桃庵主”并作《桃庵歌》：“桃仙人申晰，又折枝当酒钱。酒醒只在前坐，酒醉还须下眠。前后日复日，酒醉酒醒年复年…”日，园内开如锦，他邀请沈周、祝允明、文徵明等来此饮酒赋诗，挥毫作画，尽而散…“日般饮其中，客来便共饮，去不问，醉便颓寝。

明嘉靖二年（1523），54岁他健康状况更差，这年秋天，应好友邀请去东山王家—但见苏东坡真迹一词中有二句：“百年半，来日苦无多，”正好动唐寅心境，他一阵悲伤，告别回家后，从此卧病不起，不久结束了他凄凉的一生。死后葬在桃坞北。嘉靖年迁葬到横塘镇王家村。他逝世后由其亲友王、祝允明、文徵明等凑钱安排后事，祝允明写了千余字的墓志铭，由王手书，刻在石碑上。后世有关唐寅的生平事迹大多是从这墓志铭中得到的。

晋，后来还独立承担了重修唐寅墓的重任。据《苏州府志》，崇祯甲申三月十六，晋与同郡士人游至姑苏横塘王家村，因见一代才唐寅之墓荆棘荒芜，羊放逐墓

后又南行湖南，登岳楼，游湖。又南行登南岳衡山。再福建，漫游武夷诸名山和仙游县九鲤湖。唐寅由闽转浙，游雁山、天台山，又渡海去普陀，再沿富江、新安江上溯，抵达安徽，上黄山与九华山。此时唐寅中已罄，只得返回苏州。唐寅千里壮游，历时9个多月，踏遍名山大川，为后来作画增添了不少素材。

徐经到京城后多次拜访过程政，特别在他被钦定为主考官之后唐寅还请他为自己的一本诗集作序。这已在别人心中产生怀疑。这次又听程政在考场这样说，就给平时忌恨他的人抓到了把柄。一帮人纷纷启奏皇上，均称程政受贿题，若不严加追查，将有失天下读书人之心。孝宗皇帝信以为真，十分恼怒，立即下旨不准程政阅卷，凡由程政阅过的卷均由李东复阅，将程政、唐寅和徐经押大理寺狱，派专人审理。

唐寅仕途坎坷，晚境凄凉，以致后诗文几近散轶。明万历年间，常熟书商何君立仰慕唐伯虎的诗文和为人，不惜重金，征求片纸只字，为他搜集整理诗赋词章。将唐寅生前散较的近百首（篇）诗文阅后付梓，这就使唐寅有了第一个较完善的诗文集传世，一时洛纸贵。后来，江南著名的版藏书家。常熟书商晋也十分敬重唐寅才情为人，他在编录《明诗纪事》及《海虞古今文苑》时，又特地详细收录了唐寅生前诗文和较事，丰富和完善了唐伯虎诗文内容，为后代积累了生动的文化资料。

明正德九年（1514），他被明宗室宁王以重金征聘到南昌，后发现陷宁王政治谋之中，遂佯装疯癫，脱回归故里，后来宁王起兵反叛朝廷被平定，唐寅幸而逃脱了杀之祸，但也引起不少麻烦，从此思想渐趋消沉，转而信佛，自号“六如居士，”“六如”取自《金刚经》：“一切有为法，如梦幻泡影，如亦如电，应作如是观。”自治一方印章“逃禅仙吏。”

明弘治十三年（1500），唐寅离开苏州，坐船到达镇江，从镇江到扬州，游览瘦西湖、平山堂等名胜。然后又坐船沿长江过芜湖、九江，到庐山。庐山雄伟壮观的景象，给唐寅留下刻的印象。在他以后的绘画作品中被充分地反映了来。他又乘船溯江而上到了黄州，看到赤之战遗址。唐寅的《赤图》即依此所画。

徐经狱后经不起严刑拷打，招认他用一块金买通程政的亲随，窃取试题给唐寅。后刑、吏会审，徐经又推翻自己供词，说那是屈打成招。皇帝下旨“平反，”程政狱后，愤懑不平发痈而卒。唐寅狱后，被滴往浙江为小吏。唐寅耻不就任。

从南昌回家后因常年多病，不能经常作画，加上又不会持家，生活艰难，甚至常靠向好友祝枝山、文征明俩人借钱过日。其间有著名书法家王常来接济，并娶了唐寅唯一的女儿为儿媳，成了唐寅晚年最快乐的一件事。

返回苏州，家中非常清贫，妻大吵大闹，终于离他而去。他住在吴趋坊巷临街的一座小楼中，以丹青自娱，靠以卖文鬻画为生。他在一首诗中写：“不炼金丹不坐禅，不为商贾不耕田。闲来写幅丹青卖，不使人间造孽钱。”以表其淡名利、专事自由读书卖画生涯之志。