漢武帝元豐元年（前110年）司馬談去世，臨終曾對司馬遷說：“余死，汝必為太史；為太史，無忘吾所欲論著矣?！彼抉R遷俯首流涕，向父親表示：“小子不敏，請悉論先人所次舊聞，弗敢闕?！保ā短饭孕颉罚┤曛螅抉R遷承襲父職，任太史令，就在“金匱石室”閱讀皇家藏書，搜集歷史資料，準備撰寫一部通史。漢武帝太初元年（前104年），司馬遷與唐都、落下閎等共同定立了“太初歷”，該歷法改變了秦代使用的顓頊歷以十月為歲首的習慣，而改以正月為歲首，從而，為中國的農(nóng)耕社會奠定了其后兩千年來所尊奉的歷法基礎。之后司馬遷便潛心修史，專心寫作，開始了《史記》的寫作。

天漢二年（公元前99年），正當司馬遷全身心地撰寫史記之時，卻遇上了飛來橫禍，這就是李陵事件。

當時，李陵兵敗的消息傳到長安后，武帝本希望他能戰(zhàn)死，后聽說他卻投了降，憤怒萬分，滿朝文武官員察言觀色，趨炎附勢，幾天前還紛紛稱贊李陵的英勇，卻附和漢武帝，指責李陵的罪過。

漢武帝詢問太史令司馬遷的看法，司馬遷一方面安慰武帝，一方面也痛恨那些見風使舵的大臣，盡力為李陵辯護。

他認為李陵平時孝順母親，對朋友講信義，對人謙虛禮讓，對士兵有恩信，常常奮不顧身地急國家之所急，有國士的風范。

司馬遷痛恨那些只知道保全自己和家人的大臣，他們?nèi)缃褚娎盍瓿霰焕?，就一味地落井下石，夸大其罪名?/p>

司馬遷對漢武帝盛言：“李陵只率領五千步兵，深入匈奴，孤軍奮戰(zhàn)，殺傷了許多敵人，立下了赫赫功勞。在救兵不至、彈盡糧絕、走投無路的情況下，仍然奮勇殺敵。就是古代名將也不過如此。李陵自己雖陷于失敗之中，而他殺傷匈奴之多，也足以顯赫于天下了。他之所以不死，而是投降了匈奴，一定是想尋找適當?shù)臋C會再報答漢室”。

司馬遷的意思似乎是二師將軍李廣利沒有盡到他的責任。他的直言觸怒了漢武帝，漢武帝認為他是在為李陵辯護，諷刺勞師遠征、戰(zhàn)敗而歸的李廣利，于是下令將司馬遷打入大牢。

司馬遷在獄中，受盡酷吏的折磨，并受了宮刑（執(zhí)刑人用刀子剜掉受刑男子的睪丸，對受刑女子同樣是破壞其生殖機能。）。獄中生活使他對封建統(tǒng)治階級的本質(zhì)有了進一步的認識。他在獄中，曾一度想“引決自裁”，但一想到《史記》“草創(chuàng)未就”，便“就極刑而無慍色”（《報任安書》），決心“隱忍茍活”以完成自己的著述。他在《報任安書》中說：“蓋西伯拘而演《周易》；仲尼厄而作《春秋》；屈原放逐，乃賦《離騷》；左丘失明，厥有《國語》；孫子臏腳，《兵法》修列；不韋遷蜀，世傳《呂覽》；韓非囚秦，《說難》《孤憤》；《詩》三百篇，大抵圣賢發(fā)憤之所為作也。”司馬遷在“無以為人”的處境下，終于基本上完成了《史記》的寫作。

他以其“究天人之際，通古今之變，成一家之言”的史識創(chuàng)作了中國第一部紀傳體通史《史記》，原名《太史公書》，司馬遷死后才得以問世?！妒酚洝繁还J為是中國史書的典范，該書記載了從上古傳說中的黃帝時期，到漢武帝元狩元年，長達3000多年的歷史，是“二十五史”之首，被魯迅譽為“史家之絕唱，無韻之離騷”。

司馬遷的著作，除《史記》外，《漢書·藝文志》還著錄賦八篇，均已散失，唯《藝文類聚》卷30引征《悲士不遇賦》的片段和有名的《報任安書》（即《報任少卿書》）?！秷笕伟矔繁戆琢怂麨榱送瓿勺约旱闹龆鴽Q心忍辱含垢的痛苦心情，是研究司馬遷生平思想的重要資料，也是一篇飽含感情的杰出散文?！侗坎挥鲑x》也是晚年的作品，抒發(fā)了作者受腐刑后和不甘于“沒世無聞”的憤激情緒。