朝廷让刘怀慎率军入境的旨意颁至，胡藩已先行得到杨安玄的命令，与冯冲率领兵马先行离开临沂城，将阳城、东安等占领的琅琊郡城池都让出，退到北冀州东莞郡东莞城(今山东临沂市沂水、莒县北部一带)中。

刘怀慎得知雍军退走，命人进入临沂、阳都(今山东沂南县砖埠镇一带)、东安(今临沂市沂水县、沂源县一带)，前去接收的兵马回禀，胡藩撤走时将府库中的钱粮布帛搬运一空，愿意随同雍军撤走的官吏百姓也随之离开。

刘怀慎命人从彭城调运粮食到来，他预想到雍军虽然让开道路，但不一定会让自己顺利到达广固城，进入北冀州恐怕凶多吉少。雍公一再上疏强调北冀州境内匪患丛生，恐怕就是想学微山湖的水匪一样，借盗匪之名对付自己。

刘裕从建康发来急信，命刘怀慎先驻于琅琊郡开阳城，修筑好进广固城沿途的城垒，徐徐入北冀州。

当年刘裕伐(南)燕时，从下邳开始沿途修筑城垒，时过四年多，这些城垒多数荒弃倒塌。刘怀慎命人修复好琅琊郡内的城垒，接着派出役夫进入东莞郡修复城垒，结果第二天便遇到了盗贼，护卫的兵马被逐散，役夫掳走，城垒捣毁。

刘怀慎大怒，以北冀州刺史的身份下令，严令别驾胡藩和司马郭清尽快扫平境内匪患，从东莞城到广固城，每隔二十里便要筑起一处城垒。

胡藩回文，三月正是农忙之时，不好征役，等七月秋收之后的再说。

刘怀慎向朝廷上疏，以怠慢军机为由撤换胡藩和郭清，刘裕被朝廷授以“都督中外诸军事”，以朝廷的名义将胡藩、郭清撤职。

杨安玄怒不可遏，命胡藩严阵以待。等新任别驾朱平带着千余兵马入境前往广固城，行至半途被盗贼劫杀。

盗贼杀死朱平之后，并没有消失，而是继续南下，将东安、阳城一线修筑的城垒尽皆捣毁，掳走驻守的官兵。