司馬遷出生於夏陽（今陜西韓城），父親司馬談曾任太史令。很小的時候，司馬遷就隨著父親來到長安，在父親的教導下讀書。司馬遷讀書非常認真，每一本書都要看好幾遍才放下，遇到看不懂的地方，他就刻苦鉆研，或者請教長輩，不弄清楚不罷休。
到瞭二十歲，單一的閱讀已經不能滿足司馬遷的求知欲瞭，他決定周遊全國，收集各地資料，進一步豐富自己的閱識。司馬遷去過浙江會稽郡，看到瞭傳說中大禹召集部落首領開會的地方；來到長沙，站在汨羅江邊緬懷愛國詩人屈原；在山東曲阜看到瞭孔子講學的遺址；又在沛縣百姓的述說中得到瞭很多關於漢高祖劉邦起義的事情。司馬遷遊歷瞭很多地方，認真記錄下每個地方的名人和發生過的重大事情，無形中，他的閱歷得到瞭增長，也獲得瞭不少書本上學不到的知識，這為他以後的寫作打下瞭堅實的基礎。
回到長安後，司馬遷被漢武帝封為郎中官，多次隨漢武帝外出巡遊，後來又被武帝派去出使雲南、貴州、四川等地，視察當地的民情，途中又收集瞭不少第一手資料。
公元前108年，父親司馬談去世，司馬遷便繼承瞭太史令的職位，這麼一來，司馬遷能接觸到的書籍越來越多，學到的知識也越來越多。經過多年的積累和收集，司馬遷決定把手中的資料整理編排，寫一部從黃帝時代開始，到漢武帝時期為止的史書。在此之前，他先要完成“太初歷”的制定。
公元前104年，司馬遷和天文學傢鄧平等人終於完成瞭“太初歷”。隨後他便馬不停蹄開始整理資料，編寫史書。
就在這個時候，一件事情改變瞭司馬遷的處境。
公元前99年，漢武帝派李廣利率領三萬人馬和匈奴作戰，結果被匈奴殺得片甲不留，將士們差不多都犧牲瞭，隻有李廣利死裡逃生。李廣的孫子李陵任軍中的騎都尉，當時也一同出征匈奴，漢軍主力被消滅後，李陵沒有回到長安，而是帶領著五千名步兵繼續和匈奴對峙。單於也調集瞭三萬騎兵，把李陵的騎兵團團圍住。令匈奴沒有想到的是，雖然李陵的騎兵人數不多，但憑借著出色的箭術和士兵們勇猛的作戰能力，竟也殺死瞭五六千名匈奴騎兵，單於不由得對李陵刮目相看，同時調集瞭更多的士兵來增援。單於原以為這下應該能夠把李陵打敗，料不到仍然是李陵占瞭上風，照這樣堅持下去的話，匈奴必定會大敗。可是李陵手下的一名將領出賣瞭他，這個將領把騎兵隊內部的情況全部告訴給單於，還說漢朝不會派兵來增援李陵。單於聽瞭後非常高興，連忙命人對弓箭進行改造，集中兵力攻打李陵。在匈奴猛烈的進攻下，李陵和騎兵隊寡不敵眾，廝殺到最後，隻剩下四百多士兵沖瞭出來，李陵則被匈奴活捉瞭。
被抓住沒多久，李陵就向匈奴投降瞭。這個消息傳到瞭長安，武帝和大臣都很吃驚，也很憤怒，大臣們紛紛譴責李陵貪生怕死，怎麼能向匈奴屈服。漢武帝聽著眾人的責罵聲，隨即問司馬遷對這件事情的看法。
司馬遷沉思瞭一會兒，對漢武帝說：“李陵打瞭敗仗不假，但他僅僅帶著五千人馬深入匈奴腹地，勇敢地和匈奴作戰，還殺死瞭很多匈奴人，雖然他現在被俘虜瞭，還投瞭降，不過他的功績是有目共睹的。李陵不是貪生怕死的人，他之所以選擇投降，而不是以死效忠國傢，一定有他的理由。我覺得他的投降是用來迷惑敵人的，他一定是想趁敵人不註意的時候再次反擊。”
武帝聽瞭這番話，覺得司馬遷表面上是在贊揚李陵，其實是諷刺李廣利不顧剩餘的軍隊，獨自一人逃回長安。要知道，李廣利是漢武帝最寵愛的一位妃子的哥哥。武帝認為司馬遷故意偏袒有罪之人，反對朝廷，下令把他關進大牢，案子交給廷尉審理。
當時漢朝有一個官吏名叫杜周，特別喜歡對犯人使用酷刑。司馬遷恰好落到他手裡，杜周便在司馬遷身上用盡瞭所有的酷刑，想讓司馬遷認罪，但是他的計謀沒有成功。不管身體遭受怎樣的痛苦，精神受到多麼嚴重的摧殘，司馬遷始終沒有為自己開脫一句話，隻是在心裡反復問著自己：“難道我說出自己的想法也錯瞭嗎？作為一個國傢的大臣，難道我不能把自己心中的真實想法說出來？”漢武帝聽到司馬遷不肯認罪，幹脆一直把他關在牢裡。過瞭一段時間，突然傳來瞭李陵帶領匈奴軍隊攻打漢軍的消息，雖然不知道消息是不是真的，不過漢武帝認定這個消息沒有錯。憤怒的武帝下旨殺死瞭李陵全傢，判司馬遷處以腐刑。腐刑是一種特別殘酷的刑罰，不但給受刑人造成難以磨滅的心理恐懼，被旁人恥笑，還會讓受刑人的祖先蒙羞。司馬遷心如死灰，身體殘廢瞭，官職也沒有瞭，還有什麼臉面見人呢？司馬遷想到瞭死，可是自己的理想還沒有完成，他又猶豫瞭。
周文王在關押期間寫出瞭《周易》；孔子周遊列國時被困在陳蔡，後來寫出瞭《春秋》；屈原在放逐途中寫出瞭《離騷》；左丘明在失明的情況下寫出瞭《國語》；孫臏被挖掉瞭膝蓋骨，仍然堅持寫出瞭《兵法》。一個人在經受磨難的時候，往往能釋放出異於平常的能力，完成偉大的創舉。想到這些，司馬遷更加堅定瞭完成史書的念頭，雖然現在的情況不利於自己，但隻要心中有信念，就不怕艱難險阻。
公元前96年，漢武帝改元太始，大赦天下，這時候司馬遷已經50歲瞭。出獄後的司馬遷重新被任命為中書令，很多人都不服氣，認為他倚老賣老。司馬遷一點兒也不在意別人惡意的言語，一心一意編寫史書。
公元前91年，司馬遷終於完成瞭《史記》的編寫和修改。
《史記》分為一百三十篇，包括十二本紀、十表、八書、三十世傢和四十列傳，共約五十二萬字，是後代瞭解史前到漢武帝時期歷史的重要途徑，被稱為“實錄、信史”，還被魯迅先生譽為“世傢之絕唱，無韻之《離騷》”，與後世的《資治通鑒》並稱為史學“雙壁”。
《史記》詳細記載瞭古代一些著名人物的生平事跡，以及重大的歷史事件。司馬遷對很多事情的看法和理解已經超越瞭當時社會的思想，例如他在記敘對農民起義領袖陳勝、吳廣的時候，就高度肯定瞭他們做出的貢獻，對其他被壓迫的社會下層人民也給予瞭深深的同情和嘆息。《史記》中的人物描寫和情節描述的語言生動活潑，塑造的人物形象鮮活。司馬遷也因此被後世尊稱為史遷、史聖，而且和司馬相如合稱為“西漢文章兩司馬”。