司马迁出生于夏阳（今陕西韩城），父亲司马谈曾任太史令。很小的时候，司马迁就随着父亲来到长安，在父亲的教导下读书。司马迁读书非常认真，每一本书都要看好几遍才放下，遇到看不懂的地方，他就刻苦钻研，或者请教长辈，不弄清楚不罢休。
到了二十岁，单一的阅读已经不能满足司马迁的求知欲了，他决定周游全国，收集各地资料，进一步丰富自己的阅识。司马迁去过浙江会稽郡，看到了传说中大禹召集部落首领开会的地方；来到长沙，站在汨罗江边缅怀爱国诗人屈原；在山东曲阜看到了孔子讲学的遗址；又在沛县百姓的述说中得到了很多关于汉高祖刘邦起义的事情。司马迁游历了很多地方，认真记录下每个地方的名人和发生过的重大事情，无形中，他的阅历得到了增长，也获得了不少书本上学不到的知识，这为他以后的写作打下了坚实的基础。
回到长安后，司马迁被汉武帝封为郎中官，多次随汉武帝外出巡游，后来又被武帝派去出使云南、贵州、四川等地，视察当地的民情，途中又收集了不少第一手资料。
公元前108年，父亲司马谈去世，司马迁便继承了太史令的职位，这么一来，司马迁能接触到的书籍越来越多，学到的知识也越来越多。经过多年的积累和收集，司马迁决定把手中的资料整理编排，写一部从黄帝时代开始，到汉武帝时期为止的史书。在此之前，他先要完成“太初历”的制定。
公元前104年，司马迁和天文学家邓平等人终于完成了“太初历”。随后他便马不停蹄开始整理资料，编写史书。
就在这个时候，一件事情改变了司马迁的处境。
公元前99年，汉武帝派李广利率领三万人马和匈奴作战，结果被匈奴杀得片甲不留，将士们差不多都牺牲了，只有李广利死里逃生。李广的孙子李陵任军中的骑都尉，当时也一同出征匈奴，汉军主力被消灭后，李陵没有回到长安，而是带领着五千名步兵继续和匈奴对峙。单于也调集了三万骑兵，把李陵的骑兵团团围住。令匈奴没有想到的是，虽然李陵的骑兵人数不多，但凭借着出色的箭术和士兵们勇猛的作战能力，竟也杀死了五六千名匈奴骑兵，单于不由得对李陵刮目相看，同时调集了更多的士兵来增援。单于原以为这下应该能够把李陵打败，料不到仍然是李陵占了上风，照这样坚持下去的话，匈奴必定会大败。可是李陵手下的一名将领出卖了他，这个将领把骑兵队内部的情况全部告诉给单于，还说汉朝不会派兵来增援李陵。单于听了后非常高兴，连忙命人对弓箭进行改造，集中兵力攻打李陵。在匈奴猛烈的进攻下，李陵和骑兵队寡不敌众，厮杀到最后，只剩下四百多士兵冲了出来，李陵则被匈奴活捉了。
被抓住没多久，李陵就向匈奴投降了。这个消息传到了长安，武帝和大臣都很吃惊，也很愤怒，大臣们纷纷谴责李陵贪生怕死，怎么能向匈奴屈服。汉武帝听着众人的责骂声，随即问司马迁对这件事情的看法。
司马迁沉思了一会儿，对汉武帝说：“李陵打了败仗不假，但他仅仅带着五千人马深入匈奴腹地，勇敢地和匈奴作战，还杀死了很多匈奴人，虽然他现在被俘虏了，还投了降，不过他的功绩是有目共睹的。李陵不是贪生怕死的人，他之所以选择投降，而不是以死效忠国家，一定有他的理由。我觉得他的投降是用来迷惑敌人的，他一定是想趁敌人不注意的时候再次反击。”
武帝听了这番话，觉得司马迁表面上是在赞扬李陵，其实是讽刺李广利不顾剩余的军队，独自一人逃回长安。要知道，李广利是汉武帝最宠爱的一位妃子的哥哥。武帝认为司马迁故意偏袒有罪之人，反对朝廷，下令把他关进大牢，案子交给廷尉审理。
当时汉朝有一个官吏名叫杜周，特别喜欢对犯人使用酷刑。司马迁恰好落到他手里，杜周便在司马迁身上用尽了所有的酷刑，想让司马迁认罪，但是他的计谋没有成功。不管身体遭受怎样的痛苦，精神受到多么严重的摧残，司马迁始终没有为自己开脱一句话，只是在心里反复问着自己：“难道我说出自己的想法也错了吗？作为一个国家的大臣，难道我不能把自己心中的真实想法说出来？”汉武帝听到司马迁不肯认罪，干脆一直把他关在牢里。过了一段时间，突然传来了李陵带领匈奴军队攻打汉军的消息，虽然不知道消息是不是真的，不过汉武帝认定这个消息没有错。愤怒的武帝下旨杀死了李陵全家，判司马迁处以腐刑。腐刑是一种特别残酷的刑罚，不但给受刑人造成难以磨灭的心理恐惧，被旁人耻笑，还会让受刑人的祖先蒙羞。司马迁心如死灰，身体残废了，官职也没有了，还有什么脸面见人呢？司马迁想到了死，可是自己的理想还没有完成，他又犹豫了。
周文王在关押期间写出了《周易》；孔子周游列国时被困在陈蔡，后来写出了《春秋》；屈原在放逐途中写出了《离骚》；左丘明在失明的情况下写出了《国语》；孙膑被挖掉了膝盖骨，仍然坚持写出了《兵法》。一个人在经受磨难的时候，往往能释放出异于平常的能力，完成伟大的创举。想到这些，司马迁更加坚定了完成史书的念头，虽然现在的情况不利于自己，但只要心中有信念，就不怕艰难险阻。
公元前96年，汉武帝改元太始，大赦天下，这时候司马迁已经50岁了。出狱后的司马迁重新被任命为中书令，很多人都不服气，认为他倚老卖老。司马迁一点儿也不在意别人恶意的言语，一心一意编写史书。
公元前91年，司马迁终于完成了《史记》的编写和修改。
《史记》分为一百三十篇，包括十二本纪、十表、八书、三十世家和四十列传，共约五十二万字，是后代了解史前到汉武帝时期历史的重要途径，被称为“实录、信史”，还被鲁迅先生誉为“世家之绝唱，无韵之《离骚》”，与后世的《资治通鉴》并称为史学“双壁”。
《史记》详细记载了古代一些著名人物的生平事迹，以及重大的历史事件。司马迁对很多事情的看法和理解已经超越了当时社会的思想，例如他在记叙对农民起义领袖陈胜、吴广的时候，就高度肯定了他们做出的贡献，对其他被压迫的社会下层人民也给予了深深的同情和叹息。《史记》中的人物描写和情节描述的语言生动活泼，塑造的人物形象鲜活。司马迁也因此被后世尊称为史迁、史圣，而且和司马相如合称为“西汉文章两司马”。