当初，汉武帝开辟河西四郡，阻断了羌人与匈奴联系的通道，并驱逐羌人各部，不让他们居住在湟中地区。汉宣帝即位后，派光禄大夫义渠安国视察羌人各部。先零羌首领向义渠安国请求将牧区迁往湟中地区，义渠安国未经朝廷许可便自作主张，答应了他们的请求。先零羌强入湟中地区后，与其他羌人部落解除仇恨，缔结联盟。为了加强控制，汉朝廷决定分化他们的联盟，再次派遣义渠安国前往巡视并区分善恶。义渠安国到达羌中，召集先零部落首领三十余人，以桀骜狡猾之名将其全部诛杀，又纵兵袭击先零部落，激起羌人反叛。
汉宣帝就羌人反叛一事与年逾七十的老将赵充国商量，询问担任平叛将领的合适人选。赵充国认为最合适的人选非己莫属，汉宣帝嘉许其言，任命赵充国为将。汉宣帝询问赵充国应当派遣多少人马，赵充国回答说：“百闻不如一见。战争难以遥测，应当率先实地考察。臣先驰往金城，考察之后再将作战方略上告朝廷。”汉宣帝听后大喜，知道已经得到合适人选，便调军随赵充国前往金城。
赵充国为人沉着勇敢，且深有谋略。天汉二年（公元前99年），赵充国随贰师将军李广利奉武帝之命出征匈奴，得胜返回途中遭到匈奴重兵包围，汉军绝粮数日。赵充国带领壮士百余人突围，李广利率大军紧紧跟随，终于突围而出。此战中，赵充国身受创伤二十多处。李广利上奏朝廷，汉武帝亲自接见赵充国，并查看其身上创口，赞叹不已，拜为中郎。汉昭帝时，迁中郎将、水衡都尉。之后和匈奴作战，生擒西祁王归来，升为护羌校尉、后将军。公元前74年，因随大将军霍光拥立汉宣帝，被封为营平侯。
赵充国到达金城，集结一万骑兵强渡黄河。因为担心遭到羌兵阻击，先派人趁夜色偷渡，在对岸设立营帐。羌人见到汉军营帐，不敢阻击，所有汉军得以安全渡过黄河。赵充国用兵老成稳重，非常重视向远处派出侦察兵，行军时必定做好战斗戒备，休息时则必坚固营垒，战斗前必定会制订好作战计划。他爱护士卒，到达西部都尉府后，每天犒劳将士，所以将士们都愿意为他效力。
得知赵充国为将，羌人大为惊恐，各个部落的首领互相责备说：“我早就告诉你不要谋反，现在汉朝天子派赵将军率军前来，赵将军已经八九十岁，善于用兵。现在我们想一战而死，免得这样惶恐度日，可以吗？”于是羌人向汉军发起挑战，但是赵充国坚守不出。
这时候，汉宣帝已征集军队六万人。酒泉太守辛武贤上奏建议率先出击羌人，用武力予以震慑。汉宣帝将辛武贤的奏章交给赵充国，并询问他的看法。赵充国认为辛武贤的计策不妥当，此次羌人反叛，以先零部落为首，其他部落只是胁从。所以对待羌族各部，应当根据主谋与胁从的不同情况区别对待，严惩主谋者，宽恕胁从者，然后选择熟悉羌俗的良吏抚慰羌民，这才是上策。汉宣帝将赵充国的看法告诉群臣，让他们议论此事。朝臣们与赵充国的意见完全相反，他们一致认为先零部落兵马强盛，又有其他羌族部落作为羽翼，如果不率先剪除这些附庸部落，就无法打击先零。
于是汉宣帝没有采用赵充国的意见，命辛武贤为破羌将军，许延寿为强弩将军，率军攻打羌部，同时责备赵充国迟迟不肯用兵，令其配合辛武贤作战。赵充国坚持己见，再次上书说：“此次主犯是先零，而不是其他羌部。如果放着先零不管，先去攻击其他羌部，放掉有罪的，诛杀无辜的，这不是明智的做法。先零最担心的就是汉朝大军一到，其他部落会违背盟约。如果我们先进攻其他羌部，先零就会出兵相救，这等于帮助先零巩固他们的联盟。果真如此，那么这次平叛就会付出极大的代价。如果先打击先零，其他羌部则无须劳烦一兵一卒就会臣服。”汉宣帝认为此计甚为妥当，便采纳了。
赵充国率兵至先零地区，先零因为屯兵已久，所以戒备松懈，忽然看见汉军到来，大为惊恐，丢弃车马辎重，落荒而逃，企图渡过湟水。因为道路狭窄，赵充国下令缓慢驱赶。有人建议说逐利宜速不宜迟，赵充国回答说：“已到穷途末路的敌寇，不能逼迫得太紧。缓慢驱赶，他们就只顾着逃跑；如果逼迫得太紧，他们就会反过头来殊死一搏。”果然，羌人溺水而死者数百人，汉军纳降及斩首五百余人，俘获各种牲畜十万余头。汉军到达其他羌人部落，秋毫无犯。羌人部落得知后，非常高兴，相信汉军不会攻击他们，所以陆续前来投降。果如赵充国所说，平定其他羌部，没有劳烦一兵一卒。
投降的羌兵已经上万，赵充国料定先零羌必定败亡，便打算撤除骑兵，屯田以待其因自身疲惫而败亡。奏章还未发出，就收到汉宣帝的诏令，与破羌将军辛武贤、强弩将军许延寿合兵进攻先零。赵充国上书朝廷，陈述留兵屯田的十二大便利，认为以逸待劳则胜利在望。如果轻举妄动，那么敌患就不只是羌人，因为还要防备匈奴和乌桓。汉宣帝采纳了其建议，让赵充国负责屯田事务。
赵充国每次上奏，汉宣帝都会让大臣们讨论他的计策。最初，认为赵充国意见正确的人只有十分之三，后来增加到十分之五，最后增至十分之八，这都是因为他的计策逐渐收到实效的缘故。
赵充国去世后，被谥为壮侯。一年后，汉宣帝因为匈奴归降，回忆往昔对汉朝有功之臣，乃令人画十一名功臣图像置于未央宫的麒麟阁中，赵充国便是其中之一。
先零羌：是古代羌人部落之一，是诸多羌人部落中较为强大的一支，很多羌人发动的叛乱都以先零羌为主要力量。
麒麟阁：汉武帝建于未央宫中，主要用于典藏历代资料和历史文件。甘露三年（公元前51年），汉宣帝因为匈奴归降，回忆往昔对汉朝有功之臣，于是令人画十一名功臣图像置于麒麟阁。这十一人分别是霍光、张安世、韩增、赵充国、魏相、丙吉、杜延年、刘德、梁丘贺、萧望之、苏武。
