司马迁对这一任命，还是十分高兴的。这一职务与他立志继承祖业，不辱父命，实现平生抱负的思想最相吻合了。为了当一名称职的史官，他“绝宾客之知，忘家室之业，日夜思竭其不肖之材力，务尽心营职，以求亲媚于主上”（《报任安书》）。这种极想有所作为的得意心情，流露在他给一位朋友的信中。他劝朋友挚峻不要离世隐居，而应该跟他一样，登上政治舞台，施展自己的才华，建功立业。据严可均《全汉文》载，他在信中说：
“迁闻君子所贵手道者三：太上立德，其次立言，其次立功。伏维的陵（挚峻的字）村能绝人，高尚其志，以善厥身，冰清玉洁，不以细行荷累其名，固已贵矣；然来尽太上之所由也！愿先生少致意焉。”
然而他的朋友挚峻却是一位老于世故的人，宁愿当一辈子隐士也不肯出来，他在给司马迁的回信中说：
“峻闻古之君子，料能而行，度德而出，故悔吝去于身。利不可以虚受，名不可以苟得。汉兴以来，帝王之道，于斯始显，能者见利，不肖者自辱，亦其时也。《周易》‘大君有命，小人匆用’，徒欲偃仰从容，以游余齿耳。”
如此韬光养晦是事业心很强的司马迁所做不到的，朋友是朋友，但志向各异。
司马迁为太史令的这一年，正是他处于富有活力的时期。他每天“细史记石室金匮之书”，从浩瀚的断简残编里，“网罗天下放失旧闻”，为继承父亲的遗命做好准备工作。司马迁除了游刃于这些文化遗产之中以外，作为皇帝身边的官员，他还得经常陪同武帝到各地巡视。
开阔眼界，了解各地的风土人情有利于他的撰史工作。
研究方法，既是太史令的本职工作，也是撰史的一个重要方面的内容。汉兴以来，仍然沿用秦历，即《颛顼历》。
《颛顼历》很不精确，以致“朔晦月见，弦望满亏多非是”。司马迁为太史令，很留心这件事，便于元封七年（公元前104年），和大中大夫公孙卿、壶遂等人上书，建议改历，汉武帝认为改历符合统治阶级受命改制的思想，接受了司马迁等人的改历建议，诏令司马迁等人制订汉历。当时参加的人有三四十位，其中公孙卿、儿宽、壶遂、唐都、邓平、洛下闳等，都是有名的专家。当然，主持改历工作的主要是司马迁。司马迁自己也曾说：“余与壶遂定律历”（《韩长孺列传》）。改订后的历法称“太初历”。这是一部“晦、朔、弦、望皆最密，日月如合璧，五星如连珠”（《汉书·律历志》）的精密新历。这个新历一改《颛顼历》以冬十月为岁首的旧例，而改或以春正月为岁首，以建寅之月为正月，即所谓“夏正”。司马迁本是要学孔子的，孔子有“行夏之时”（《论语·卫灵公》）的话，《史记·夏本纪》中也有“孔子正夏时，学者多传《夏小正》”的说法，司马迁主持的这次改历，实现了孔子的理想。“太初历”奠定了现在阴历的基础，支配了中国人的时间观念达两千年以上。太初历对后世的影响之大，在汉代的重要性，就更不必说了。这正是司马迁写《天官书》和《历书》的实际根据和二书的价值所在。伴随历法的改订，武帝下令改元，即改元封七年为太初元年，紧接着的改革是“色尚黄，数用五，定官名，协音律”（《汉书·武帝纪》）。由历法的改订，促进了国家政治制度的改革，使汉王朝的面貌焕然一新。
司马迁立志撰写《史记》十分关心当代史，尤其是对汉武帝的文治武功，他十分崇拜，他在《自序》中说：
“汉兴以来，至明天子，获符瑞，封禅。改正朔，易服色。受命于穆青，泽流罔极，海外殊俗，重译款塞，请来献见者，不可胜道。臣下百官力诵圣德，犹不能宣尽其意。且士贤能而不用，有国者之耻；主上明圣而德不布闻，有司之过也。且余尝掌其官，废明圣盛德不载，灭功臣世家贤大夫之业不述，堕先人之言，罪莫大焉。”
可见他的著述是以汉兴以来的历史为重点。
司马迁为汉的强盛所陶醉，对汉武帝的辉煌业绩也充满了幻想。尽管太史令的工作十分繁忙，他还是夜以继日地赶写《史记》。到天汉二年（公元前99年），已经埋头写《史记》6年的司马迁，惨遭李陵之祸，面临着一场遭难。
天汉二年的夏五月，汉武帝对匈奴再次用兵，他派贰师将军李广利率3万大军，从酒泉（今甘肃酒泉县）出兵，击匈奴右贤王于天山。李陵因立功心切要求参战。
李陵是李广的长子。李陵在年轻的时候当侍中，司马迁在《报任安书》中说：“仆与李陵，俱居门下。”李陵“善骑射”而且谦和、仁爱，人缘极好，所以武帝很赏识他，“以为有李广之风”。他曾带领800骑兵，出居延（今甘肃西北境），深入匈奴2000余里，去探察过地形。回来后，便拜他为骑都尉，命他在酒泉、张掖（今甘肃张掖县西北）一带教练5000名壮士以防西北胡人。
这次当李广利出征匈奴，汉武帝便派他随同前往，专管辎重。有着乃祖之风的李陵，不愿屈居人下，便向武帝叩头请求，说他所练的兵，都是荆楚之地的奇才剑客，力能搏虎，射箭百发百中。他愿带领这些壮士独当一面，到单于山前，以分单于兵，这样就可以让匈奴不致专门对付李广利的大军了。武帝听后说：“将士难道还怕隶属什么人么？现在我发的兵多，分不出骑兵给你！”李陵说，他可以不用骑兵，愿以少击众，只带步兵5000人，就能去直捣单于的巢穴！武帝觉得李陵很有气魄，便答应了。武帝为万全计，又派驻居延的强弩都尉路博德率兵接应李陵。路博德从前曾是伏波将军，有过破南越（今天的两广）的大功，他也不肯屈做李陵的助手，便上奏武帝，说现在正是匈奴秋高马肥的时候，不可与之交战。
不如待到来春，他和李陵各带5000人，到浚稽山（山名，在今蒙古人民共和国喀尔喀境内）去夹击匈奴，一定会大获全胜。谁知武帝看了奏书后勃然大怒，以为李陵自己后悔了，故意托路博德上书的。当时，匈奴兵已人西河（今内蒙古鄂尔多斯左翼前旗），武帝当即命令路博德将兵去西河，截断钩营之道，同时命令李陵在九月里出发，到达东浚稽山南龙勒河上，观察匈奴兵动向，如不见动静，即先回到受降城（今内蒙古乌拉特旗北），休养士卒。
李陵遵命带领步卒5000人，从居延向北进军，行了30多天，到达浚稽山，一面安营扎寨，一面将所经过的山川地形都画好，令部下陈步乐回去向武帝报告。
武帝听陈步乐说李陵的土卒都愿效死疆场，特别高兴，连陈步乐也因此拜了郎官。
李陵不久就被3万单于骑兵所包围。李陵带领士卒在营外设阵，让前列的人都拿了朝盾，后行的人都拿了弓弩，下令道：“闻鼓声而纵，闻金声而止。”敌兵见李陵的兵并不多，便紧围上来。于是李陵命他的步兵千弩齐发，匈奴骑兵大都应弦而倒，其余的急忙抱头鼠窜，逃到山上去了。汉军乘胜追击，又杀了数千敌人。单于大惊，急调8万余骑兵围攻李陵。李陵率队且战且走，一路向南撤退。待退到山谷里时，因为连战的结果，士卒中箭受伤的人很多。李陵整编了军队，整顿了军纪，明日再战，又斩杀了3000多敌人。
李陵引兵继续向南撤退，想沿到龙城的故道回师。
经过四五天的急行军，走到一个长满芦苇的沼泽地带，敌人便在上风里放起火来，李陵为自救计，也令军中放火，预先烧掉周围的草木，以免烧伤自己。接着继续南行，便到了南山下。单于早已占据了山上，命他的儿子带兵进攻李陵。汉军在树林间与匈奴骑兵展开肉搏战，又杀敌数千人。李陵又命令士卒发连弩（一种可连发数矢的弩）射击单于，单于只好下山逃走。
正当单于怀疑汉军有伏兵接应李陵，不敢再向南追赶，准备撤兵的时候，李陵部下有一个负责刺探军情的军官管敢，因为受到校尉的侮辱而怀恨在心，便投降了匈奴。他告诉单于说，李陵军并无后援，箭也快用完了，只有李陵和跟随他的校尉韩延年各率800人为前锋，分别以黄旗和白旗为标志，只要用精锐骑兵出击他们，就可立即攻破。单于听后大喜，即刻命令骑兵进攻李陵，一面攻击一面高叫：“李陵、韩延年快降！”把李陵军的退路挡住，四面围攻，李陵被困在山谷中，敌人居高临下，箭如雨下。李陵率军冒死突围，往南撤退，在汉军还没有到达鞮汗山的时候，150万枝箭早已用光了。
这时还有3000多人，李陵命令士兵把军车毁掉，用车辐作武器。他们退到一处峡谷，单于追了上来，堵住了谷口，向谷中投掷石块，汉军士卒死伤更多，没法再走了。夜晚，李陵穿了便衣，单独走出营寨来。叫左右都不要跟随他，他说大丈夫应当一个人去把单于擒来。去了好久才回来，叹息说：“兵是败了，只有死了！”部下对他说：“将军威震匈奴，现在不过是时运不济罢了，以后总可以归还，像浞野侯赵破奴为敌人获，后来逃回，天子不仍是对他很好么？”李陵答道：“你叫我不死，这是不配称一个壮士的！”于是他把全部旌旗都斩断了，把所有珍贵的东西都埋在地下，叹道：“假若再多几十支箭，就一定可以突围了！现在连作战的东西也没有了，挨到天明，便恐怕只有受缚就擒了！现在不如作鸟兽散，有跑得脱的，还可以给天子报个信儿。”于是让士卒每人带上二升干饭，一片冰，设法逃跑，约会逃到遮虏障（即居延城）等待集合。待到夜半，李陵令击鼓出发，可是鼓敲不响了。李陵和韩延年都上了马，跟随的壮士仅十余人。后边追兵却有好几千。韩延年战死了，李陵看到这种情况，说：“无面目见天子。”就投降了。突围的士卒都分散逃跑，有400多人逃回了边塞。
李陵战败的地方，隔边塞不过100多里，边塞上立刻把李陵投降的消息传报到京城。武帝本来的意思是希望李陵不成功便成仁，于是把他的母亲和妻子召了来。
武帝后来听说李陵投降了，便勃然大怒。先是责问日前回来报信的陈步乐，陈步乐吓得自杀了。又问其他群臣，其他群臣也吓得没有一个敢说李陵的好话的。
李陵因寡不敌众，才致全军溃败，不得已而投降匈奴的。但李广利率3万骑兵，而且也未遇到匈奴的主力，可是由于他根本不是个将才，指挥不力，被匈奴打得大败。好大喜功的武帝，面临两路出击的失败，食不甘味，情绪极坏。于是，一些阿谀苟合之徒讳言贰师将军之惨败，却诿过于李陵。对此，正直的司马迁是有看法的。
所以，当武帝召问他的时候，司马迁便直言陈述了自己对李陵投降的看法。他在后来写的《报任安书》中，曾对自己当时的思想做了具体的叙述。他认为李陵“其为人自奇士，事亲孝，与土信，临财廉，取予义，分别有让，恭俭下人，常思奋不顾身以徇国家之急。其素所畜积也，仆以为有国士之风”。他还不遗余力地为李陵辩护说：
夫人臣出万死不顾一生之计，赴公家之难，斯已奇矣。今举事壹不当，而全躯保妻子之臣随而媒孽其短，仆诚私心痛之。且李陵提步卒不满五千，深践戎马之地，足历王庭，垂饵虎口，横挑强胡，印亿万之师，与单于连战十余日，所杀过当。虏救死扶伤不给，旃裘之君长咸震怖，乃悉征左右贤王，举引弓之民，一国共攻而围之。转斗千里，矢尽道穷。救兵不至，士卒死伤如积。
然李陵一呼****，士无不起，躬流涕，沫血饮泣，张空弮，冒白刃，北首争死敌。陵未没时，使有来报，汉公卿王侯皆奉筋上寿。后数日，陵败书闻，主上为之食不甘味，听朝不怡。大臣忧惧，不知所出。仆窃不自料其卑贱，见主上惨凄怛悼，诚欲效其款款之愚。以为李陵素与士大夫绝甘分少，能得人之死力，虽古名将不过也。
身虽陷败，彼观其意，且欲得其当而报汉。事已无可奈何，其所摧败，功亦足以暴于天下。（《汉书·司马迁传》）司马迁所说的主要意思是，李陵已经给敌人以致命的打击，其所杀敌人超过自己的能力，赫赫战功足以宣示天下。此外，从他的品德、操行来看，他是在出于无奈的情况下才投降的，是为了等待机会以便将来再报答朝廷。武帝并未理解司马迁的“拳拳之忠”，反而认为他的话不仅是为李陵开脱罪责，而且疑心他是有意在贬低、讽刺这一次无功而还的李广利——武帝所爱的李夫人之兄贰师将军。因此，武帝大怒，便以诬罔主上的罪名，叛处司马迁的死刑，囚于大牢。
按照汉代法律规定，犯死罪的人可以交50万钱赎死，或以腐刑免死。司马迁的家境并不富裕，无钱赎死。
他的职位不高，得不到达官贵人为他疏通。过去的一些亲朋好友深怕受连累，不愿为他去求情。他只好“独与法吏为伍，深幽囹圄之中”（《汉书·司马迁传》）。
司马迁入狱的第二年，天汉三年（公元前98年），武帝对李陵一事悔悟过来了，他说应该让李陵先出塞，以后再叫路博德去接应就好了，可免这员老将生奸弄诈。
于是一面赏赐逃回的李陵部下，一面又派因杅将军公孙敖深入匈奴迎接李陵。谁料公孙敖无功而还，只捉到一个俘虏，并从俘虏口里得知，李陵在为单于练兵，准备与汉军对敌。汉武帝听到这个消息，益发怒不可遏，立刻把李陵的母亲、弟弟、妻子杀了。司马迁就是在这时受了腐刑。但俘虏的话纯属讹传，真正为单于练兵的不是李陵而是李绪，李陵无故受了一次不白之冤。
