話說永樂既得瞭天下，又殺戮瞭一班異己之臣，遂封賞姚廣孝等一班佐命之臣，各各進爵，以酬其從前慫恿扶助之功。姚廣孝等既遭福貴，又各衣錦還鄉，報答有恩，以酬其塵埃拔識之力。後來姚廣孝終不蓄發娶妻。
一日，廣孝奉命賑濟蘇湖，往見其姊，姊拒之曰：“貴人何用至貧傢焉。”不復接納。廣孝乃易僧服往，姊堅不出。傢人勸之，不得已出，立於中堂。廣孝即連下拜，姊曰：“我安用你許多拜！曾見做和尚不瞭底是個好人！”遂還戶內，不復見。廣孝賑濟事畢，入朝復命，未幾而卒。此是後話，不題。
卻說建文一個仁主，同著二十二個忠臣，寄宿在神樂觀中，有如叢林之鳥，漏網之魚，好不淒淒惶惶。到瞭次日，打聽得燕王奪瞭大位，改元永樂，懸賞格追求效忠於建文之臣，殺戮瞭無數，建文與眾人，甚是心慌。建文道：“此地與帝城咫尺，豈容久住？可往雲南，依西平侯沐晟暫寄此身。或者地遠，無人蹤跡。”
史仲彬道：“沐西平駐紮地方雖遠，然受命分符，聲氣與朝廷相通，豈敢隱舊君而欺新主？況大傢聲勢，耳目眾多，非隱藏地也。”建文道：“汝所慮亦是。血沐晟既不可依，則此身將何所寄？”
程濟道：“師毋過慮，既已為僧，則東西南北皆吾傢也。隻合往要名勝，以作方外之緣。倘弟子中有傢素饒，而足供一夕者，即暫駐錫一夕，亦未為不可。”建文道：“汝言有理，吾心殊覺一寬。但居此郊壇之地，甚不隱僻，必速去方妙。”程濟道：“是。明日即當他往。”
到瞭次早，牛景先與史仲彬商量道：“師患足痛，豈能步行？必得一船，載之東去方妙。”遂同步至中和橋邊尋舡。原來這中和橋在通濟門外，是往丹陽的旱路，往來車馬頗多，河下船隻甚少。二人等瞭半晌，忽見一船遠遠而來。二人忙趨到岸邊，牛景先不等那舡搖到面前，便大聲叫道：“舡上駕長，可搖船來裝載。”舡上人回說道：“我儂舡自有事，不裝載個。”史仲彬聽見是同鄉聲音，忙打著鄉語道：“我是同鄉，可看著鄉情面上，來裝一裝，重重謝你。”叫還來完，隻見那舡忙靠近岸邊，跳上兩個人來道：“那裡不找尋老爺，卻在這裡！”仲彬再看時，方認得是自傢的傢人。因傢中聞知京中有變，不知消息，差來打探的。
仲彬與景先見舡來的甚巧，不勝之喜，因吩咐舡在橋邊，忙回觀報知，就請師下舡，且往仲彬傢暫住。師與眾弟子皆大喜，但恨二十二人不能同往，又未免惻惻。舡中原議定：葉、楊兩和尚，並程濟一道人，與師四人，仲彬船主，自應隨侍；其餘俱使散走，總期於月終，至吳江再晤。眾人聽瞭，各分路而去。
史仲彬暗暗載師與弟子，轉出大江，行瞭八日，方到吳江之黃溪。仲彬因請師入至大廳，盡率傢人出拜。恐正居不靜，遂奉師往於所居之西邊，一座清遠軒內。此軒一帶九間，前臨一池，後背一圃，樹木扶疏，花竹掩映，甚是清幽。師徒四人，同居於中，頗覺快暢。
過瞭三四日，舊約諸弟子，俱陸續到瞭，大傢相聚甚歡。牛景先道：“弟前日過丹陽時，曾撞著一個老僧，見我匆匆而走，因笑道：‘前程甚遠，何用急走，徐行則吉。’弟子想其言，深有意味，今欲棄去前名，改為‘徐行’，以應僧言，不知可乎？求師指示。”師點頭道：“改名甚好，可以漸消形跡。”
由此，馮漼改稱塞馬先生，宋和改稱雲門生，趙天泰此時穿著葛衣，因說道：“我即以衣為名，叫做葛衣翁罷。”大傢相聚一堂，雖傷流落，卻也歡喜。
建文道：“此地幽雅可居，又得眾弟子相從，吾即投老於此，何如？”仲彬道：“師若不棄，佈衣菜飯，弟子猶可上供。”程濟嘆道：“世事豈能由人料定！且住兩月再作區處。”建文聽瞭也不留意。
不期永樂即位之後，名列奸臣者，既已殺盡，及查各處在任諸臣，暗暗逃去者，共有四百六十三人。欲要拿來處分，卻又無大罪。到瞭八月，方降旨，著禮部行文各府州縣，將逃去諸臣，盡行削籍，不容復仕。有誥敕者，俱著追繳。
史仲彬是翰林侍讀，受有誥命，該當追繳。早有人報知仲彬，仲彬一時不知詳細，隻道是走漏消息，心甚慌張，忙通知建文。建文也自著忙，因問程濟道：“你前日說‘世事豈能由人’，今果然矣。莫非朝廷不能忘情於我，知我在此，故先追奪仲彬的誥命，以觀動靜，恐還有禍及我。”
程濟道：“禍事必無，師請放心。但既為僧，即如孤雲野鶴，原不宜久住人間。況此地離宮闕不過千裡，縱使朝廷忘情，亦不安也。”建文聽瞭道：“是。”即欲遠行。仲彬苦留道：“追奪仲彬誥命，未必為師，請暫寬一日，容再打聽。”建文隻得住下。
到瞭次日，隻見吳江縣丞，姓鞏名德，奉府裡文書，著他至仲彬傢追奪誥命。仲彬相見，問知來意，隻得捧出誥命繳上。鞏德收瞭，又道：“有人傳說，建文君在於君處，不知果有此事否？”仲彬聽瞭，假作吃驚道：“久聞建文君己火崩矣，如何得能在此！”鞏德便不再言，微笑而去。
仲彬送鞏德去後，忙走來對建文痛哭，將鞏德文言說瞭，又道：“本欲欲師久住，少盡犬馬之私，不意風聲樹影，漸漸追求到此，倘有不測，禍及於師，卻將奈何！”建文道：“事已至此，我明日即當遠行，但師弟相聚未久，又要分散，未免於心惻惻耳。”眾弟子聽瞭，俱各淚下。
仲彬因命置酒，師弟作別，飲瞭半夜。說到傷心，鄭洽不禁嘆息道：“臨天下當以仁義稱至治，今天下誰不稱仁慕義，乃不能保其位，此何意也！”梁良玉流涕答道：“曹瞞篡漢，司馬懿篡魏，反儼然承統，此又何意？總之天難問，理難窮耳。”程濟道：“得失乃天數，而篡自篡，仁義自仁義，千古原自分明，諸君何不察也？”郭節道：“這總難言，隻合聽之。且請問師此行，當往何地？不知何時方得再晤？”程濟道：“目今福星在滇中，弟子欲奉師至雲南。但雲南道遠，眾弟子難至，襄陽中道，可以再晤。來春三月，當約會於廖平傢，不知師意何如？”建文道：“所議甚善，即如此可也。”大傢議定，方各就寢。
到瞭次日，建文與兩個和尚、一個道人，竟往京口而去，其餘眾弟子各各分散。建文師弟四人，行藏不甚怪異，在路中雖無人物色，但心中終有此懼怯。及到瞭京中，不敢從金陵城外過去，恐有人認得，惹是招非。四人算計，竟買舟渡過瞭大江，望六合而來。
到得六合，天色晚瞭，要往大寺去住，又恐有人認得，隻得就借一個草店裡歇宿。此時師弟四人，寂寂寥寥，在一間破屋內吃瞭粗糲晚餐，臥瞭稻草床鋪，也說不得。到次早起來，離瞭草店，因想往楚，沿江南行。在路曉行夜宿，受過瞭許多風霜勞苦，方才到得襄陽。
你道建文為何要到襄陽，來見廖平？原來燕兵入城時，建文竟欲身殉社稷，卻念太子文奎年小，無處著落。偶值廖平入朝，知他忠義，遂悄悄將太子托付與他。廖平慨然受命，藏太子而出，差的當傢人送回襄陽，故建文要來看看太子。
及到襄陽，訪問廖平，不期廖平住的府前，正是眾人矚目之地。這日忽然三個和尚、一個道人突至其傢，廖平出迎，似驚似訝，默然不語，竟邀入後堂去瞭。早有人看在眼裡，此時京中有人傳說建文帝不曾死，已削發為僧，逃亡在外，朝廷遣人各處追求，一發動人之疑。故就有人來問廖平府傢人，說：“前日那三個和尚是何人？”
傢人報知廖平，廖平著驚，因暗暗與建文商議。建文道：“我此來，隻為要看看文奎。今已見他平安，我心已放下，既此地有人蹤跡，我即去矣。”廖平道：“師間關到此，坐席尚不曾溫，怎就離去？城中西北有一座西山，甚是幽僻，無人往來，我曾造個草庵在上，養兩個村僧照管。今屈師暫住於中，再打探消息。”
建文見廖平情意殷殷，隻得應允，乘夜移到西山去住。早有兩個府役，將前日見三個和尚、一個道人到廖侍郎傢，廖侍郎邀入後堂，不見出來，蹤跡可疑，恐是建文，悄悄報知知府。知府聽瞭著驚，遂打轎來見廖平，問道：“朝廷疑建文末死，出亡在外。部中行文書到各州縣挨查，此事幹系甚大，本府昨聞得府上有三個和尚、一個道人來相投，不知是老先生甚麼親眷？故本府特來請教。廖平聽瞭變色道：“老公祖此問甚奇，治生忝居司馬，豈不知法度？”有甚和尚道人，敢來投我？”知府道：“本府亦知無此事，因有人來報，不得不來請問。”廖平道：“既有報知此事，糊塗不得，到要屈老公祖暫住，可叫此人來人去一搜，看個有無，方見明白。”