遊肇，字伯始，高祖賜予的名字。遊肇幼年為中書學生，博通經史以及《蒼》、《雅》、《林》的學說。高祖初年，任內秘書侍禦中散。司州初建，任都官從事，轉任通直郎、秘閣令，遷任散騎侍郎、典命中大夫。皇帝車駕南伐，遊肇上表勸阻，高祖沒有接受其意見。不久遷任太子中庶子。
遊肇謙虛樸素、敦厚篤重、溫文爾雅。因為他的父親年老，請求解官服侍。高祖想讓他帶祿奉養，於是令他出任本州南安王元楨鎮北府長史，帶領魏郡太守。南安王死後，又為高陽王元雍鎮北府長史，太守官職仍舊。為政清簡，加以匡贊朝廷，歷輔二王，很有政績。數年之後，因為居父喪被解除官職。
景明末年，朝廷征召他為廷尉少卿，堅決推辭，於是授他為黃門侍郎。遷任散騎常侍，黃門侍郎仍舊。兼任侍中，任畿內大使，升善貶惡，賞罰分明。轉任太府卿，遷任尉卿，兼任禦史中尉，黃門侍郎官職仍舊。遊肇是位儒者，動存名教，直糾所舉，無不是傷風敗俗的事情。他持法寬仁公平，斷察獄訟務求矜憫仁恕。尚書令高肇，魏世宗的舅舅，聲勢之大，文武百官都十分忌怕，因遊肇名字與自己相同，想讓他改掉。遊肇以自己的名字是高祖所賜，堅決不改，高肇耿耿於懷。魏世宗聽說，稱贊遊肇的剛正耿直。
盧昶在朐山，遊肇上疏說：“朐山是彈丸之地，遠在偏僻的海邊，其地形非湖即山，老百姓連居住的地方都沒有，對我們不是急需之地，對於敵人來說卻是有利的地方。有利，所以必然會為他而拼死爭奪；非急，故不得已而戰。以不得已之眾打擊拼命之師，臣擔心會耽延歲月，所費很多。假令必得朐山，徒致交爭，最終還是難以全守，這正是所謂無益之田也。臣知敵人屢屢以宿豫請求交換朐山，臣愚蠢地認為這可以答應。朐山長久以來，危弊迭出，應該速速考慮對策。如果交換瞭，宿豫便不征自伏。握有這塊無用之地，恢復舊有河山，兵事即刻而解，利益很大。”魏世宗準備這樣做，不久盧昶就失敗瞭。
遷任侍中。蕭衍軍主徐玄明斬殺其青、冀二州刺史張稷的腦袋，以鬱洲內附朝廷，朝中商議派兵赴援。遊肇表奏說：“徐玄明表達瞭款誠之意，雖然說應去增援拯救，然而此事有利也有害，或怕舉而功多，或許因小而生禍患，可能出現的情況還說不定。現今六裡、朐山，地域接海，陂塘湖泊低下潮濕，人不可居。鬱洲又在海中，正是所謂雖獲石田，終無所用。如果不得到連口，六裡雖然克平，尚且不可據守，何況想要連兵，而去爭奪並不重要的地方。況且六裡對於敵人來說至為重要，離此又很遙遠。如用赴遠之兵，攻打逼近之敵，其勢力自然懸殊，不能克敵制勝。災害之年，百姓饑寒交迫，餓死的也不在少數。怎麼能在應該停息爭鬥的時候，興起幹戈之役呢？這樣的話，軍糧資運，無處取傍。為臣隻見其損，不見其益。而且新附之民，剛承皇魏教化，特別需要安寧慰貼，不應勞役他們。勞則怨生，怨生則會想到叛亂，叛亂則國傢不安定，不安是則必會動亂。如果是這樣，則戰事難以平息。事情輕重，不可小視。應該損彼小利，不使國傢受到大的損害。”魏世宗又不接受意見。
大將軍高肇征伐蜀地，遊肇諫奏說：“臣聽說：遠方的人不服統治，我們便修整文德以吸引他們。兵者兇器，不得已而後用。當今雖說是天下治平，但討論征戰則不可。為什麼呢？太行山東、關右，傷殘沒有恢復，連年水旱，百姓空虛，宜在安靜，不應勞役。然而往年開拓疆域，都因城主歸降，所以有征無戰。而今據城而降的，雖假官號，但真假難分，也許有怨於彼，不可全信。而且蜀地險隘，自古有此說法，鎮戍安泰，更無他圖，我們哪能憑著傳聞，便動用大軍。行動開始不謹慎，後悔都會來不及！征討蜀地計策，願等以後再議。”魏世宗又不接納。
肅宗即位，遷任中書令、光祿大夫，加金章紫綬，相州大中正。出為使持節，加散騎常侍、鎮東將軍、相州刺史，有很好的政績。征召為太常卿，遷任尚書右仆射，遊肇堅決推辭，帝下詔不許。遊肇對於官吏的事情，決斷不快。碰到什麼事情，他反復論敘，有什麼不清楚的地方，詢問再三，必定窮盡其理，然後方才下筆，即使寵幸顯貴幹涉，他也決不讓步。方正的操守，當時人都很佩服。等到領軍元叉廢黜靈太後，準備加害太傅、清河王元懌，於是召集公卿商議其事。當時群官無不失言順從，遊肇獨獨抗言認為不能這樣做，終於讓這事沒能進行下去。正光元年(520)八月，遊肇去世，享年六十九歲。帝詔給予東園秘器、朝服一套，贈帛七百匹。肅宗在朝堂舉哀。贈使持節、散騎常侍、驃騎大將軍、儀同三司、冀州刺史，謚稱文貞公。
遊肇外表寬柔，內心剛直，喜好經傳，手不釋書。治學《周易》、《毛詩》，尤其精通《三禮》。寫有《易集解》，撰《冠婚儀》、《白皀論》，並有詩賦表啟一共七十五篇，都流傳於世。謙虛廉潔，不好誇飾，曾經撰寫《儒鸉》，表達自己的志向。清貧寡欲，養傢糊口僅靠自己的俸祿。遊肇任廷尉時，魏世宗曾經私下指示遊肇，希望其筆下留情。遊肇執意不肯，說：“陛下自己能原諒自己，怎能讓為臣替你曲筆隱瞞呢！”其固執可見一斑。到瞭肅宗初年，近侍群官在世宗生病期間侍奉皇帝的，自侍中崔光以下全都加授封邑，當時遊肇被封為文安縣開國侯，食邑八百戶。遊肇獨說：“子襲父位，自古為常，因為這而獲得賞封，臣何以自安？”堅決推辭不受，議論的以此推崇他。