528年，十月，山东。
葛荣已死，河北暂时安定下来，尔朱荣可以腾出手来处理其他问题了。
这时候，南边又传来一个不好的消息，投奔梁朝的北海王元颢在梁武帝萧衍的支持下，正在准备领兵北上。元颢借口元子攸是尔朱荣立的傀儡皇帝，不能服众，自己要重振元氏的社稷，从尔朱荣手里把北魏的天下夺回来。
尔朱荣没当回事。元颢不过是一个落魄王爷，能掀起多大风浪。现在手头的麻烦事已经够多了，他还排不上号。
河北已定，下一步自然是顺势南下打山东，元颢那边先放一放再说。
现在山东主要是邢杲和羊侃在折腾。邢杲有十几万人，羊侃只有三万，后者看起来好处理一些。
尔朱荣决定先搞定羊侃，再对付邢杲。
这时羊侃已经围攻兖州州城三个多月了，奈何羊敦守城实在厉害，一直没有打下来。
羊侃没有放弃，他的部队都是本地人，不缺衣食，因此也没有必要跟邢杲一样到别的地方去野掠。他现在只想打下兖州，作为自己的根据地和投奔南梁的政治资本。
但现在形势已经发生了很大的变化。之前北魏的主力都在对付葛荣，没时间管他。滏口之战后，河北的叛军主力已被全歼，山东自然就成为尔朱荣的下一个集火目标。
这次尔朱荣没有亲自出马，而是任命尚书左仆射于晖为东南道行台，率领各路官军前去征讨。
于晖出身河南于氏，跟于谨同族。于晖很早就交好尔朱荣，他的儿子于长孺迎娶了尔朱荣的闺女，所以两人算是儿女亲家。于晖原来官任河南尹，因为跟尔朱荣的关系，不仅躲过了河阴之变，还升任尚书左仆射。
对尔朱荣来说，于晖算是信得过的人，所以除了自己没过去之外，把手下的精锐都派过去协助于晖。这次时间比较充裕，于晖集齐了数十万部队，加上贺拔岳、高欢等尔朱荣麾下的将领，可谓声势浩大。尔朱荣还不放心，又派徐兖行台崔孝芬、大都督刁宣等人率兵增援。
于晖领着数十万大军遮天蔽日杀奔兖州。
徐纥一看不好，北魏派这么多人过来，羊侃再厉害也没戏。好汉不吃眼前亏，他跟羊侃说敌军太多，咱们人少，这么打不划算。要不哥们你先顶着，我去给南梁送信让他们赶紧派援军过来。羊侃觉得也是这么个理，点头同意。结果徐纥转身一溜烟就跑了，自此之后不知所踪。
徐纥刚走，于晖等人就兵临城下，将羊侃的部队前前后后围了十几重，风雨不透水泄不通。
里面是还没打下来的兖州州城，外面是于晖的大军，羊侃的部队成了三明治里的夹心，形势非常不利。
但羊侃对自己和部众的战斗力非常有信心，觉得只要坚持一下，等南梁援军过来，里应外合肯定可以干掉北魏的部队拿下兖州，于是毅然帅众据守，不肯放弃兖州。
但等到箭都快用没了，还是没有援军的消息。
实际上，梁武帝萧衍得知羊侃起兵之后，就立刻派大将羊鸦仁和王弁率军北上应接。羊鸦仁也是泰山羊氏的子弟，几年前刚率领自家兄弟从北魏投降南梁，被封为广晋县侯。萧衍派同宗兄弟去接应羊侃，也是为了让羊侃安心。
但南梁的援军遭到了北魏镇东将军、东南道都督杨昱的顽强阻击，最终未能成功北上。
援军迟迟不到，兖州州城又打不下来，到了十一月中旬的时候，羊侃军中粮矢殆尽，他知道不能再硬撑了，最终咬了咬牙只好认输，决定放弃兖州直接突围去南梁。
羊侃的战斗力的确非常强悍，跟着他的士兵也愿意为他效死力，在他的暴力冲锋面前，北魏大军十几重防线跟纸糊的一样，很快就被撕开一个缺口。于晖哪里见过如此神勇之人，防守有些大意，此刻见羊侃的部队已经突围而出，只好命令部队在后面穷追不舍。
羊侃帅众且战且走，苦战一日一夜之后终于摆脱追兵到达渣口。此处已是南梁属地，到这里就安全了，羊侃清点了一下，身边还有部众一万多人，战马两千多匹。此时虽已脱险，但当天晚上士卒却竟夜悲歌，羊侃知道很多士卒都是北方人，故土难离，能送自己到这里已经很够意思，不能再要求更多了。
于是羊侃把大家召集起来说，感谢诸位能送我至此，大家怀念故土的心情我也很理解。后面的事情我不强求，大家自己决定，愿意投奔南梁的继续跟我走，愿意回家的我们就此告别吧。
众人洒泪分别，羊侃兄弟五人以及一部分愿意追随他的士卒继续南下，前往建康投奔了南梁。
羊侃的叛乱平定之后，山东现在只剩下邢杲了。
这几个月里，邢杲的势力发展得不错，他再次拒绝了北魏的招安，在潍水附近击败了李叔仁的部队，顺势向西挺进，一直打到齐州的治所历城。
李叔仁也习惯了，反正打不过，直接回朝复命。
十二月底，于晖的大军休整完毕，接替李叔仁去攻打邢杲。
于晖带领的差不多是北魏全国的精锐，而且刚刚击败羊侃，士气正旺，对平定邢杲也是志在必得。
结果就在这个节骨眼上，河北地区战火复燃，葛荣的余党韩楼收拢旧部，在幽州再次举旗造反。
由于北魏的大部队都跟着于晖在山东平叛，河北一带兵力空虚，尔朱荣担心韩楼快速做大，赶紧任命贺拔胜为大都督，到定州中山镇守。
贺拔胜手里其实并没有多少兵，但他的名头实在太响了，尤其是在六镇镇民心中简直神一样的存在。韩楼听闻贺拔胜坐镇中山，先胆怯三分，直接放弃了南下的想法。
虽然韩楼的叛乱被封在了幽州一带，但对于晖的部队却产生了莫名其妙的影响。
正月初二的时候，于晖手下的都督彭乐突然率领二千多骑兵，离开大部队北上幽州投奔了韩楼。
彭乐是泾州安定郡人，骁勇善战，武力值非常高，但脑回路比较简单，属于典型的武夫形象。他早期追随杜洛周造反，后来觉得杜洛周不能成事，于是又转投尔朱荣。他在滏口之战中表现出色，深得尔朱荣赏识。这次山东平叛，彭乐作为都督协助于晖出征。但他跟于晖合作得很不爽，经常生闷气。彭乐跟韩楼有旧，听闻韩楼在北边造反了，头脑一热就率领麾下兄弟前去投奔。
齐州到幽州七八百里的路程，中间隔着沧州冀州瀛州，要跨过黄河清河拒马河等多条大河，彭乐这次叛逃可谓跋山涉水翻山越岭颇为不容易。
韩楼见彭乐率军前来投奔，非常高兴，加封彭乐为北平王。
这不是彭乐的第一次反水，也不是最后一次。
彭乐虽然带走的人不多，但影响非常恶劣。大敌当前，居然有都督级别的高级将领叛逃，后面的仗还怎么打？于晖御军不严难以服众的罪名是洗不掉了。
尔朱荣也觉得问题严重，彭乐乃当世猛将，怎么没来由就造反了？他开始怀疑于晖的领军统帅能力，于是命令于晖先别去打邢杲了，回来把问题解释清楚再说。
邢杲本来还有点紧张，没想到于晖居然退兵了，莫名其妙躲过一劫。
但躲得过初一，躲不过十五，该来的总是会来。尔朱荣不可能容忍邢杲在山东一带继续捣乱。
于晖暂时留在洛阳反省，不适合再领兵出去了。而其他将领要么资历不够，要么尔朱荣不放心。没办法，只好请大哥元天穆出场了。
尔朱荣对元大哥还是非常信任的。
三月，北魏改派上党王元天穆替代于晖，统帅大军去征讨邢杲。
其实是否要先去讨伐邢杲，北魏内部还没达成一致。因为此时，那个尔朱荣没太在意的北海王元颢，已经在梁武帝萧衍的支持下偷袭占领了北魏的铚城，以此为根据地，开始大张旗鼓地准备北上夺取帝位了。
两面受敌，先打邢杲还是先打元颢？
尔朱荣派人去打探了一下元颢的军力，结果回报说好像七八千人的样子，最多不超过一万人。
尔朱荣气哭了。元颢带着这点儿人要打回洛阳争夺帝位，这不是在开玩笑么？
不理他，先搞定邢杲再说。
不过尔朱荣还留了个心眼，毕竟元颢这次是在南梁政府支持下北上的，南人多诈，万一这是个减灶之计，趁我不备的时候突然加兵偷袭就不好玩了。
于是尔朱荣任命济阴王元晖业为行台尚书，负责盯住元颢，又派都督丘大千领兵七万镇守睢阳，卡住元颢军队北上的路线。
不用打赢，能挡一段时间行了，等北魏大军搞定邢杲之后就赶过来收拾元颢。
四月，元天穆部队集结完毕，浩浩荡荡开到齐州讨伐邢杲。
邢杲这时还在济南一带，他听闻元天穆大军压境，知道北魏政府这次玩真的了。他还不死心，打算抵抗一下，结果旬月之间，屡战屡败，根本没有招架的能力。
四月二十日，元天穆大军在济南彻底围歼了邢杲的叛军，活捉邢杲。
邢杲一见大势已去，也不再硬气了，低头请求投降。现在投降为时已晚。邢杲被押送到洛阳，跟葛荣一样被斩于都市。
自此，山东地区的叛乱已被彻底扫平。
元天穆打算按计划挥师南下去对付元颢。
但元天穆万万没想到，就在他去讨伐邢杲这短短一个月内，元颢的部队在北魏的河南地区开启了平推模式，长驱直入无人可挡，已经快杀到首都洛阳了。
创造这个神话的，不是元颢自己，而是一个弱不禁风的南朝儒将和他麾下七千白袍将士。