面对北齐咄咄逼人的气势，陈霸先采纳了韦载的建议，先派周铁虎夜袭胡墅，烧毁北齐船只千余艘，断绝敌人粮道；然后派人在大航（今南京镇淮桥东）修缮侯景故垒，派兵据守，保障与东部联系的运输线。齐军也在仓门、水南设栅栏据守。过了几天，陈霸先亲自率领精骑，大败徐嗣徽。徐留下柳达摩守石头城，与任约去采石迎接北齐援军。
十二月，侯安都率水军攻破徐嗣徽栅栏，俘获数百人。陈霸先又在治城架起浮桥，渡河攻北齐仓门、水南两栅，大败齐军。徐、任二人引北齐水陆兵马一万余人想进驻石头城，被陈霸先派兵所阻，只得驻于江宁浦口。不久，陈霸先派侯安都率水军对徐、任驻军进行了猛烈攻击，迫使徐、任败逃。这样，石头城只留柳达摩一人孤守。陈霸先召集水陆各军，四面围住石头城。最终因城内无水，柳达摩只得派人向陈霸先求和，但是要求陈霸先送其儿子作为人质。建康朝臣急欲讲和，陈霸先无奈只得同意。
打退北齐的大规模进犯之后，陈霸先相继讨灭了东扬州刺史张彪、江宁令陈忠嗣、黄门侍郎曹郎和岭南的萧勃等反叛势力。
公元556年三月，北齐不顾讲和之信，派大都督萧轨与徐、任合兵10万，进军梁山。陈霸先早有防备，侯安都、周铁虎都在此驻军，因此齐军遭到惨败，退往芜湖。陈霸先又调定州刺史沈泰前往梁山协助侯安都守御。不久，陈霸先亲自到梁山巡视。安都侯趁着北齐不敢进逼的机会，率精骑袭击了齐行台司司马恭，大获全胜，得数万俘虏。齐军心怯，于是就致书梁朝，称只要交还萧渊明就退兵。陈霸先答应了，但是没过几天，萧渊明就“疽发背”死了。得知这一消息后，萧轨感到被侮辱了，第二天就发兵走旱路，直逼建康。陈霸先立即召还梁山各军，在建康做好防御准备。由此，空前激烈的建康保卫战打响了。