宋军占领贺州后，本来能够长驱直进，但西面的富州(今广西昭平)、昭州(今广西平乐西北)、桂州(今广西桂林)和东面的连州(今广东连县)、韶州(今广东昭关西南)、英州(今广东英德)、雄州(今广东南雄)等州都有南汉守军把守，时刻威胁自己的侧后。
潘美为了解除后顾之忧，并调动南汉的主力西上，以便使东部空虚，遂亲督战船，扬言要沿贺水顺流东下，直取广州。刘钬闻讯忧心如焚，却又无计可施，只得起用被罢免多年的老将潘崇彻，加封他为内太师、马步军都统等官职，让他率兵五万进屯贺江口(今广东村开西北),以阻宋军。潘崇彻本是南汉尚存唯一的能战之将，所率军队战斗力也较强。刘钬急时抱佛脚，想让潘崇彻为他卖命，哪知潘崇彻却不买这个账，他被解除兵权多年，心中对刘钬愤恨难平，因此在进驻贺江口后，按兵不动，观望不前。潘美见潘崇彻拥兵自保，便挥师西上，南汉昭州、桂州守将得知宋军来攻，弃城而逃，宋军兵不血刃，便轻而易举地占领了这两州。十月下旬，宋军又连战皆捷，相继攻克昭、富、桂等州，从而解除了后顾之忧。十一月，潘美迅速转兵东向，攻克连州。刘钬在宋军大举进攻下，愚蠢地认为宋军的意图不过是为了夺取湖南十四州，如今其目的已经达到，不会南下了，因此未再加强守备。潘美则乘虚东进，于十二月直逼韶州。