山穷水尽之时，幸得晋朝幽州刺史段匹?派人来邀。穷极无路，刘琨只得前往蓟城，依附段匹?。
段匹?一直很敬崇刘琨，两人相见，相约共扶晋室，尽忠朝廷，并结为兄弟。同时，两人又一起上表远在建康的司马睿，拥戴他为皇帝。
段匹?，东部鲜卑人，“种类劲健，世为大人”，其父务勿尘就是王浚嫁女与之的那位鲜卑首领。务勿尘被晋朝封为大单于时，段匹?也受封为左贤王，率众帮助晋朝征讨匈奴刘氏。务勿尘病死后，段匹?的哥哥疾陆眷在叔父涉复辰拥立下承袭大单于封号。
刘曜攻打洛阳时，王浚派疾陆眷等人与晋军一起攻打襄国的石勒。段匹?的堂弟段末杯追击石勒被俘，石勒不仅没杀他，反而送还于疾陆眷。为此，东部鲜卑与羯胡结盟，双方不再战斗，晋将也不能阻止。
段匹?一直不赞成兄长与石勒休战的作法，并尊刘琨为大都督，遣兵准备攻击石勒。大惧之下，石勒派人厚赂段匹?堂弟段末杯。段末杯既想报石勒先前不杀之恩，又想乘段匹?在外征战侵夺他的地盘，便向疾陆眷和涉复辰二人进言，认为他们以单于兄长和叔父之尊，不应该听从段匹?。他又讲，即使讨伐石勒，一旦有所成功，大功也归于段匹?一人，对疾陆眷单于没有什么好处。此计果然奏效，东部鲜卑主力引军而还。
段匹?孤掌难鸣，只得回军。不久，疾陆眷单于病死。段匹?闻讯，率军赶回为哥哥奔丧，段末杯声言他是要回来篡位，半路设伏追击，段匹?败走。
段末杯趁杀掉堂叔涉复辰及其子弟二百多人，自立为单于。
因此，刘琨依附段匹?之时，这位鲜卑人自己也处于多难之秋。惺惺相惜，两人关系开始处得很不错。
当初，段匹?在奔兄丧时，刘琨的儿子刘群也和他一起。段末杯大败段匹?，段匹?逃走，刘群被俘。段末杯抓住刘群后，“厚礼之”，答应推戴刘琨为幽州刺史，结盟共击段匹?。刘群年青无识，写信给父亲刘琨，并派密使送信。半路，段末杯派来为刘群送信的人被段匹?手下抓获，搜出密信。
对此，刘琨一无所知。忽然受到段匹?“邀请”，刘琨便欣然前往。两人坐定，段匹?拿出刘群的密信，对刘琨说：“我也没有怀疑您参与此事，特意把真情告知您。”
刘琨览信过后，神情凝重。良久，他推心置腹地说：“我与您结盟，志在恢复晋室，以雪国家沦亡之耻。即使我儿子的书信送至我处，也不会因一子之故辜负您！”段匹?不断点头。他一直钦敬刘琨的操节，知道其所言发自内心，便想听任刘琨还其所属部伍。
其间，段匹?的弟弟段叔军把兄长唤至厅外，劝道：
“我们本来就是胡夷外族，现在能让晋人畏服，正是我们人多势重的原因。如今，我们家族内部骨肉相残，正是晋人良图之期。如果有人奉戴刘琨从中起事，恐怕我们家族会尽被屠灭！”
段匹?闻言，深觉有理，于是他下令把刘琨软禁起来。
消息传出，刘琨长子刘遵害怕也被囚杀，与刘琨僚属一起闭门自守。由于兵少，段匹?兵将很快攻下营垒，执捕众人。
“（刘）琨既忠于晋室，素有重望，被拘经日，远近愤叹”。连被段匹?任命的代郡太守和刘琨任命的雁门太守也都一起密谋计议，准备联召军兵，袭击段匹?，救出刘琨。不久，两个太守谋泄被杀。段匹?虽杀掉数人，自己也内心惶恐。
刘琨自被拘禁，“自知必死，神色怡如也。为五言诗赠其别驾卢谌”。此诗，即是文章开首那首《重赠卢谌》。
东晋朝廷方面，权臣王敦派人密告段匹?，让他杀掉刘琨。段匹?外迫于王敦，又内惧属下造反，就声称皇上诏旨，下令诛杀刘琨。
刘琨听说王敦来使，就已预料自己的命运，他对儿子刘遵说：“处仲（王敦字处仲）使来而不告我，是杀我也。死生有命，但恨仇耻不雪，无以下见二亲耳”。大英雄言及此，泪下如雨。
段匹?遣兵士闯入，缢杀刘琨，时年四十八。同时遇害的，还有刘琨的子侄四人。由于当时晋廷还要依仗段匹?抵拒石勒，没有立即为刘琨正名举哀。
两年多后，晋廷才下令赠刘琨为侍中、太尉，谥曰愍。南宋大诗人陆游与民族英雄文天祥都有佳诗赞美刘琨。
买醉村场半夜归，西山照月落柴扉。刘琨死后无奇士，独听荒鸡泪满衣。
《夜归偶怀》陆游
寥阳殿上步黄金，一落颠崖地狱深，苏武窖中偏喜卧，刘琨囚里不妨吟。生前已见夜叉面，死去只因菩萨心。万里风沙知已尽，谁人会得广陵音。
《已卯十月一日有感而赋》文天祥
段匹?杀掉刘琨后，其属下汉人、胡人多奔散。杀刘琨是段匹?一生最大败笔，但这个鲜卑人一直忠于晋室。不久，他与晋臣邵续合力，进攻段末杯。石勒大将石虎乘段氏兄弟互攻之际，乘间掩袭，最终把段匹?包围于蓟城。
段匹?本想突围逃生，单骑归朝，被人劝阻。最后，眼见救援无望，段匹?身穿晋朝朝服，手持晋节，率从人出见围攻他的石虎，正色凛然道：“我受国恩，志在灭汝。不幸族内自乱，以至于此。既不能死，也不会奉汝为主。”石虎与段氏鲜卑一族从前常打交道，二人还曾结拜为兄弟。石虎虽残暴成性，对段匹?仍十分尊敬，“起而拜之”。
段匹?被执送襄国后，被石勒软禁，常常也被石勒“请出”参加赵国的“朝会”。段匹?总是一身晋朝朝服，手持晋节，从不向石勒下拜。以石勒、石虎之暴，竟也一时不敢对段匹?下手，可见这位鲜卑大人的威武和人格魅力绝非常人可比。
石勒忍耐一年多，见始终无法降服这位辽西鲜卑，又怕其族人趁机拥之东山再起，便加以谋乱罪名，派人杀掉了段匹?。
《晋书》对段匹?的评价非常中肯：
“段匹?本自遐方，而系心朝廷，始则尽忠国难，终乃抗节虏庭，自苏子卿以来，一人而已。越石（刘琨）之见诛段氏，实以威名；匹?之取戮世龙（石勒），亦由众望。福祸之应，何其速哉！《诗》云：‘无言不酬，无德不报’此之谓也。”
（附）关河大志闻鸡起舞——祖逖的恢复大志
“闻鸡起舞”、“中流击楫”，是中国人耳熟能详的典故。但真正了解这两个典故主人公祖逖事迹之人，却又廖廖无几。
祖逖，字士稚，范阳遵人（今河北涞水）。祖家世为北州大姓，“世吏二千石”。
祖逖年少丧父，兄弟六人，共同撑持家业。青少年时代，祖逖“生性豁荡，不修仪检，年十四五犹未知书，诸兄每忧之。然轻财好侠，慷慨有节尚。每至田舍，辄称兄意，散谷帛以周贫乏，乡党宗族以是重之。后乃博览书记，该涉古今，往来京师，见者谓（祖）逖有赞世之才”。
晋武帝太康年间（公元290年左右），二十四、五岁的祖逖与刘琨一起任司州主簿，两人英雄相惜，谈诗饮酒，共为豪爽喜侠之士。“情好绸缪，共被同寝。（无厘头之辈看见此处，肯定会遐想连翩，忖度二人是“同志”。其实，古代大丈夫志气相投，常常相谈通宵，抵足而眠）。中夜闻荒鸡鸣，蹴琨曰：‘此非恶声也’，因起舞”。由于二人皆是不羁骑士，常常夜中坐起，纵论世事，“相谓曰：‘若四海鼎沸，豪杰并起，吾与足下当相避于中原耳”。由此，可以看出祖逖已经预见国中将有兵灾变起之日。
“八王之乱”后，晋室沦丧。公元311年（怀帝永嘉五年），洛阳陷落。祖逖率亲族乡党数百家避乱于淮泗（今江苏徐淮地区）。一路之上，祖逖躬自步行，把自己的车马让给老弱疾病的人，衣粮药物施予有急之人。逃亡途中多遇盗贼险阻，祖逖应付裕如，显示出极强的组织、领导才能，被同行诸人推率为“行主”。抵达四泗时（今徐州市），当时的琅玡王司马睿任命他为徐州刺史。不久，祖逖又被征为军谘祭酒，在京口（今江苏镇江）屯驻。（行主，是坞壁首领的称呼之一。又称坞主，营长等。坞壁组织是中国历史上****时代百姓为自身生命和财产安全，相聚于山林险地，凭险依势，形成一种相对独立的宗社流民自治组织。坞壁在王?末年大****时代已经出现，但西晋末及东晋十六国时期，由于世道混乱，坞壁最为繁盛。“永嘉之乱，百姓流亡，所在屯聚”。坞壁的规模，大小不一，从几百家到几千家。首领多由乡里威信高的大族豪强担任，宗族是坞壁的核心构成，而各地流民则构成坞壁的基层组织。因而“招纳流亡”也成为坞壁的一大特色。此外，在门阀士族把持朝政的南北朝，坞壁也是民间下层豪强一显身手的惟一表演空间，在这样一种且战且耕的组织内部，只有靠义气、信誉、公正以及坞壁主的个人魅力来进行管理和沟通，宗法与恩义是坞壁赖以生存、发展的两大支柱。当然，坞壁日后也成为南北朝政局不稳的重要因素，地方豪强中也有不少人演变为****的潜在因子和新一轮门阀的候选人。）
作为一时人杰，祖逖常怀恢复之志。晋愍帝继位后，下诏命远在江东的司马睿率兵赴洛阳来勒王。司马睿当时致力于确保江南一隅不失，根本无意（也确实没有足够力量）进行北伐。祖逖上表，慷慨陈词，司马睿就顺手推舟做人情，给祖逖虚封一个豫州刺史的衔号，象征性地拨调千人粮饷、三千匹布帛以充军费，让他自己想办法招募兵士。至于甲胃弓矢、士卒粮马，琅玡王再没有任何支持。
大英雄祖逖本来完全可以在江南依附司马睿，求田问舍享清福。至此，他毅然出发，率先前和他一起南渡的宗族部曲百余家，从京口北渡长江。行至中流，祖逖拨剑而起，眼望茫茫大江，敲击着船楫说：“祖逖不能清中原而复济者，有如大江！”辞色壮烈，众皆感奋。
渡江之后，祖逖屯驻江阴，冶造兵器，招募兵卒。拥有两千多名武装后的士卒后，祖逖开始北进。
当时，长江以北地区属于大乱过后的三不管地区，各处流民和当地住民纷纷建立坞堡武装，自封刺史、太守，看谁力量大就依附谁，完全乱了“王法”。祖逖纵横捭阖，击败击降坞主张平、樊稚等人。太丘之战胜利后，祖逖攻克谯城。后来，蓬陂坞主陈川叛归石勒，并引来大魔头石虎的五万羯族精兵，祖逖出战，与赵兵相持。
公元319年（东晋元帝太兴二年），祖逖与后赵兵在浚仪相持。晋兵屯兵东台，后赵兵屯据西台，双方紧张相持四十天，粮草都到了精光的境地。
祖逖派人用布囊盛满砂土，假装是食用的大米，派千余人运至晋兵据守的东台；然后，他又派数人挑着真正的大米（也是用同样的布袋盛装），佯作劳累坏了躺在道旁喘气歇息。西台的后赵兵望见，马上派精兵来袭，担夫都依据计谋，假装惊惧状弃担而逃。后赵将打开袋子，见里面全是上好的大米，推断晋军粮食充足，“以为（祖）逖士众丰饱，甚惧”。古代人打仗，拼得就是粮草，见敌方粮多士饱，自然心中泄气。
石勒遣大将以千头壮驴运粮，支持浚仪城西台的后赵兵。祖逖在汴水设伏，尽得其粮。后赵兵无粮，不支退走。此后，祖逖军将凭据封丘、雍丘，多次出兵邀打石勒的后赵军，使石勒的力量在河南一地迅速萎缩。
与此同时，祖逖还调和河南诸晋将和坞堡头目之间的矛盾，示以祸福，最终使这些人都听从他的节度。对于河南一带的坞堡堡主，祖逖对他们送质子于后赵的权宜之计也之示理解，灵活处理政治纷争，不仅常对他们施以德惠，还不时遣小股军队假装击扰这些坞堡，让后赵方面想当然的认为这些坞堡地主是忠于自己的队伍。
感激之余，坞堡堡主常常向祖逖暗通消息，把后赵军队的行军意图和路线一一提前报告。
“（祖）逖爱人下士，虽疏交贱隶，皆恩礼遇之，由是黄河以南尽为晋土”。河南父老乡亲感悦祖逖的恩仁德政，作歌咏叹其美。刘琨也对此位老友的文治武功很有感慨，在与亲旧的书信中感赞祖逖。东晋朝廷进祖逖为镇西将军。
由于有祖逖在，号称攻无不取、战无不胜的羯胡石勒再也不敢侵入河南之地，并派人在成皋县修茸祖逖母亲的坟墓。
石勒还写亲笔信给祖逖，要求“通使交市”。祖逖虽不回信，但却听任军民与河北的羯胡互市，交换各自所需，“收利十倍，于是公私丰赡，士马日滋”。
正当祖逖想“推锋越河、扫清冀朔”之际，东晋朝廷对他拥兵一方产生了疑忌，派江南士族出身的文人戴渊为都督，出镇合肥，以牵制祖逖。
前人栽树，后人乘凉，祖逖心中非常不舒服。当时，东晋朝中王敦与刘隗交恶，互相攻讦。祖逖深知内难一起，北伐大业会因之搁浅。忧愤如此，他仍然加紧一切军事准备工作，带病指挥营建武牢坚城。
公元321年10月，天文有变，“妖星见于豫州之分”。古人迷信，病入膏肓的祖逖也识天文，夜中他仰视星空，叹息道：“此星是应在我身！本想进军平定河北，而天欲杀我，这是对国家不利的征兆呵”。几天后，满怀遗憾，祖逖病亡，时年五十六。
宋人胡曾有首咏史诗，表达了对祖逖病亡的历史遗憾：“策马行行到豫州，祖生寂寞水空流。当时更有三年寿，石勒寻为阶下囚”。
******也有《七律?洪都》一篇叹美：“到得洪都又一年，祖生击楫至今传。闻鸡久听南天雨，立马曾挥北地鞭”。
祖逖死后，东晋朝中久怀逆乱的王敦大喜过望，他先前一直忌惮祖逖不敢有异谋，“至是始得肆意焉”。(《世说新语》中曾记载，“王大将军始欲下都更分树置，先遣参军告朝廷，讽旨时贤。祖车骑（祖逖）尚未镇寿春，嗔目厉声语使人曰：「卿语阿黑：何敢不逊！摧摄面去，须臾不尔，我将三千兵，槊
脚令上！」王闻之而止。）东晋派祖逖之弟祖约代替其兄统领其众，但节节失败，被祖逖收复的河南大片土地最终被后赵所攻陷。
史臣把刘琨与祖逖同编一传，并在赞语中有非常中肯的评价：
“刘琨年少之时，本无高节异操，终日走马贾谧门下，博饮石崇金谷园中，谈笑于司马伦幕府，实为轻佻幸进之徒！祖逖青年初期，义气散谷周济贫乏，半夜闻鸡昂然起舞，潜思中原烽火燎原，贪幸天下兵灾多艰，疑其本意，确乃贪乱乐祸之辈！然而，一俟国家有难，皇室沦亡，此二人各运奇才，并腾英气，疾风劲草，节操磊磊，捐身赴义，死所不辞，身虽丧亡，但成就万世千秋英名！”
