元鼎六年（公元前111年）冬，楼船将军杨仆进入南越地，攻陷寻（犭匧）、石门，挫败越军前锋部队。之后，留下数万人待伏波将军路博德赶到后一同进发，其余军队由楼船将军率领，先行进抵番禺。南越王建德、丞相吕嘉据城固守。楼船将军屯兵城东南，伏波将军屯兵城西北。
傍晚，楼船将军大败南越军，纵火烧城。伏波将军则设置营垒以招容投降者，之后将那些投降的人放回，为的是再去招降别人。楼船将军奋力攻烧，大批敌人被赶入伏波将军营垒中投降。
第二天清晨，城中其余守军也全部投降。南越王建德、丞相吕嘉趁深夜逃到海上，伏波将军派兵紧紧追赶，越王建德被校尉司马苏弘抓获，吕嘉则被越郎都稽抓获。当时戈船将军、下濑将军的军队和驰义侯所征发的夜郎兵尚未到达，而南越已被平定。汉朝在其地设置儋耳（今海南儋州）、珠崖（今广东琼山）、南海（今广东广州）、苍梧（今广西梧州）、郁林（今广西桂平）、合浦（今广东合浦），以及交趾、九真、日南（此三郡在今越南北部与中部地区）九郡，由中央政府直接统治。汉军班师回朝，汉武帝加封伏波将军食邑，又封楼船将军杨仆为将梁侯，苏弘为海常侯，都稽为临蔡侯。南越自从赵佗称王开始到灭亡，经历了五代，一共九十三年。
当初，东越王余善上书，请求率兵八千跟从楼船将军杨仆进击吕嘉。军队行至揭阳，东越王以风大浪急为由，将军队停留不前，并且暗中派人出使南越。等到汉军攻克番禺，仍不引兵前来。杨仆上书请求顺便率兵进攻东越，汉武帝因士兵疲倦而没有准许，令各校尉屯兵在豫章、梅岭待命。东越王余善听说楼船将军杨仆已经上书汉帝讨伐东越，汉军又在边地屯兵，于是发兵反叛，阻截汉军，封东越将军驺力等人为吞汉将军，进兵白沙、武林、梅岭，杀汉朝三校尉。当时，汉派大农张成、原山州侯刘齿统率驻屯军队，但他们见东越兵来势汹汹，不敢出击，临阵退避。后二人都因畏懦被处死。东越王余善自称“武帝”。
汉武帝想再派杨仆率兵征伐东越，但看到杨仆因为有功而表现出骄傲，便下诏书责备他说：你的功劳只是先攻破石门、寻陕而已，实际上并没有斩将夺旗之功，有什么值得骄傲的呢？先前攻破番禺城，你捕捉归降的人当俘虏，把死人挖出来冒充是战场斩杀，是一错。
令赵建德、吕嘉得到东越的外援，是二错。将士们连年暴露于蛮荒之地，你不但不顾念他们的争战辛劳，反而请求乘坐驿车巡行边塞，乘机回家，怀揣金、银印信，垂下三条绶带，向乡里炫耀，是三错。你眷恋妻妾，误了回营日期，却以道路不好走为借口，是四错。问你蜀郡的刀价，你假装不知道，以欺瞒手段冒犯君主，是五错。你接受了去兰池宫的诏书而不去，第二天也不对此事加以解释。如果是你的部下，问他话不回答，命令他也不服从，该当何罪？在外面怀有这种心肠，天下还有谁会相信你呢？如今东越军队已深入我国边境，你是否能率领部队补救你的过失呢？杨仆惶恐地表示：我愿拼死效力来赎罪！武帝于是命楼船将军杨仆出兵武林，横海将军韩说出兵句章，中尉王温舒出兵梅岭，归义越侯二人为戈船、下濑将军，出兵若邪、白沙，几路大军联合攻打东越。
汉武帝元封元年（公元前110年）冬十月，汉军进入东越境内，东越平素已有兵驻守要塞地区，此时又派徇北将军驻守武林。杨仆军中战士钱塘人辕终古在阵前斩杀东越徇北将军。原东越衍侯吴阳率本地士兵七百人倒戈于汉阳，反攻东越军。东越建成侯敖与越繇王居股联合杀掉东越王余善，他的部下也全部归降汉朝，东越被平定。武帝封辕终古为御儿侯，吴阳为卯石侯，居股为东成侯，敖为开陵侯；又封横海将军韩说为按道侯，横海校尉刘福为缭萤侯，东越降将多军为无锡侯。武帝因闽地形势险阻，当地越人反复无常，恐为后世留下祸患，下诏命令各将军将当地的越人都迁到江准地区与汉人杂居在一起，从此闽侯之地便成了一片废墟。
