经过一年多的休整，西汉军队补充完整，汉武帝准备征讨南越。
吕嘉杀死赵兴之后，立赵婴齐和南越人妻子所生的长子赵建德为新的南越王，并派人告知了南越国的诸侯苍梧王赵光及南越国属下的各郡县官员。这时韩千秋的军队进入南越国境内，攻下几个边境城镇。随后，南越人佯装不抵抗，并供给饮食，让韩千秋的军队顺利前进，在走到离番禺40里的地方，南越突然发兵进攻韩千秋的军队，把他们全部消灭。吕嘉又让人把汉朝使者的符节用木匣装好，并附上一封假装向汉朝谢罪的信，置于汉越边境上，同时派兵在南越边境的各个要塞严加防守。汉武帝得知后，非常震怒，他一方面抚恤战死者的亲属，一方面下达了出兵南越国的诏书。
汉武帝调遣罪人和江淮以南的水兵共10万人，兵分五路进攻南越。第一路任命路博德为伏波将军，率兵从桂阳沿湟水直下。第二路任命主爵都尉杨仆为楼船将军，从豫章郡过横浦关沿浈水直下。第三路和第四路任命两个归降汉朝的南越人郑严和田甲分别为戈船将军和下厉将军，率兵从零陵出发，然后郑严的军队沿漓水直下，田甲的军队则直抵苍梧。第五路以驰义侯何遗利用巴蜀的罪人和夜郎的军队，直下牂柯江。但西南夷国家多不愿出兵，甚至且兰的君主还公然反抗，杀死了汉朝使者和犍为郡太守。五路军队的最终目标皆为南越国的都城番禺。与此同时，东越王余善也向汉武帝上书请战，并派兵8000人协助杨仆进攻南越国，但东越王的军队行至揭阳时，便借口遇上风浪而不再前进，还暗中派使者向南越国报信。
杨仆率领精兵，抢先攻下寻峡，然后攻破番禺城北的石门，缴获了南越国的战船和粮食，乘机向南推进，挫败南越国的先头部队，率领数万大军等候路博德的军队。路博德率领被赦的罪人，路途遥远，与杨仆会师时才到了一千多人，于是一同进军。杨仆率军队在前边，一直攻到番禺，赵建德和吕嘉都在城中固守。杨仆选择有利的地形，将军队驻扎在番禺的东南面，天黑之后，杨仆率兵攻进番禺城，放火烧城。而路博德则在城西北驻军，派使者招降南越人，南越人久闻路博德的威名，于是纷纷投奔路博德的旗下，黎明时分，城中的南越国守军大部分已向路博德投降。吕嘉和赵建德见形势不妙，在天亮之前率领几百名部下出逃，乘船沿海往西而去。路博德在询问了投降的南越人之后，才知吕嘉和赵建德的去向，并派兵追捕他们。最后，赵建德被路博德的校尉司马苏弘擒获，而吕嘉被原南越国郎孙都擒获。
吕嘉和