乾时之战以后，大获全胜的齐军在鲍叔牙的带领下进入鲁国，直逼曲阜。这让鲁庄公惊慌不已。然而出乎他的意料，齐军前来，并不是要攻灭鲁国，而是索取人质。鲍叔牙给鲁庄公写了一封信，其中希望鲁国处死公子纠，并将召忽和管仲送回齐国。虚惊一场的鲁庄公面对着齐军大兵压境，并未多想，便将公子纠杀死，召忽闻听此事，也自杀成仁。而管仲则被鲁庄公抓起来，派人押送至齐国。
其实，鲁庄公又一次上了齐国的当。鲍叔牙和管仲交情莫逆，怎么会加害于他呢这个主意其实是鲍叔牙的建议，当齐桓公打算拜他为相的时候，鲍叔牙毅然决然地以能力不足为理由推辞了，他明白只有经天纬地之才、济世匡时之略的管仲才能辅佐雄才大略的齐桓公成就霸业。于是他建议齐桓公拜管仲为相。
原本齐桓公还在为管仲的一箭之仇耿耿于怀，但在鲍叔牙的一再推荐下，他对管仲的才能也起了兴趣。便借口要手刃管仲报仇，将其从鲁国要了回来。管仲是个绝顶聪明的人，他自然明白鲍叔牙的一番苦心。经过三天的斋戒、沐浴、更衣之后，齐桓公亲临驿馆，恭恭敬敬地将管仲请到宫中问政，而管仲自然顺水推舟，决定为齐桓公效力。
不过，年轻气盛的齐桓公一开始并未完全听从管仲的建议。由于鲁国之前一直与齐国不睦，之后又支持公子纠继位，齐桓公对鲁国可谓深恶痛绝。虽然在乾时之战中获得了胜利，但齐桓公并不满足于自卫反击的成果。于是，他不顾管仲的再三劝阻，于第二年发动了对鲁国的战争。
应该说，刚刚从乾时之战中恢复过来的鲁国，此时确实不是齐国的对手。倘若再次失败，大有可能从此一蹶不振，从此沦为齐国附庸。然而，鲁国的一个下级贵族曹刿却改变了这一切，他知道以鲁庄公的军事能力并不足以指挥鲁国获胜，便自告奋勇前往参战。
曹刿同鲁庄公曾有一段非常有名的对话，被记载在《左传》中，原文如下：
问：“何以战”公曰：“衣食所安，弗敢专也，必以分人。”对曰：“小惠未徧，民弗从也。”公曰：“牺牲玉帛，弗敢加也，必以信。”对曰：“小信未孚，神弗福也。”公曰：“小大之狱，虽不能察，必以情。”对曰：“忠之属也，可以一战。战则请从。”
曹刿否定了鲁庄公靠小恩小惠收买人心和求神拜佛祈求神灵庇护的做法，而是建议鲁庄公公正、公平、公开地对待下属，只有这样才能提振全军的士气。
齐鲁两军在长勺（今山东曲阜东北）摆开了战场。按照春秋时期的作战方法，双方先擂鼓激发士气，然后出兵交战。齐国仗着人多势众，率先擂鼓，发起了攻击。鲁庄公正打算擂鼓迎战，却被曹刿阻止；见鲁军不应战，齐军只好再次擂鼓，曹刿依然不理不睬；就在齐军擂第三通鼓的时候，鲁军忽然鼓声大作，两军交战，齐军居然被杀得大败。在这场战争中，曹刿后发制人，利用“一鼓作气，再而衰，三而竭”的道理，击溃了强于自己的齐军。后世称之为“长勺之战”，这也是中国军事史上以弱胜强的着名战例。
鲁国本来在齐国的压制下日渐衰退，但长勺之战却让鲁国国势重振。受到这一战役的刺激，当年鲁国就趁势进攻宋国，企图再次提高鲁国的地位和声望。这给了齐桓公另一个进攻鲁国的机会。原本长勺之战的失败并没有让齐桓公死心，于是他再次联合了同鲁国不睦的宋国，共同进攻齐国。
鲁庄公原本打算坚守不出，但公子偃却认为可以分而治之，各个击破。相比起军容严整、战力较强的齐国，宋军破绽百出。可以先击破宋军，齐军自然就会退兵了。鲁庄公并没有听从公子偃的建议，但后者却并不打算奉命。为了壮大气势，公子偃在马匹上蒙了虎皮，偷偷率军从南门出城攻打宋军，鲁庄公得知后也率主力随后接应。宋军果然不是鼓起士气的鲁军的对手，被鲁军在乘丘打得大败。齐国见此情况，只得退兵。第二年宋国为了报仇，再度兴兵攻鲁，可惜有齐国帮助的宋国尚且不能战胜鲁国，如今单独出兵，自然更不是敌手。两军在酂地交战，鲁国先排好阵形，并趁宋军尚未列阵完毕时就发动攻击，再次将宋军击溃。
宋国没来由地被卷进了齐鲁的纠纷中，又连战连败，由此也引发了宋国的另一场内乱。原来在乘丘之战中，宋国的猛将南宫长万被鲁庄公以金仆姑箭射中，活捉了去，后来在宋国的再三恳求下才被释放回国。在迎接南宫长万时，宋闵公随口说道：因为南宫沦落为鲁国的囚犯，所以以后不会再尊敬南宫了。这本来是个无心的玩笑，没想到却因此断送了宋闵公的一条性命。
南宫长万被鲁国羞辱，本来就心怀愤懑，被国君如此嘲讽，自然怀恨在心，于是决定造反。周僖王元年（公元前682年），南宫长万发动叛乱，先在蒙泽杀死了宋闵公，又在东宫附近杀死了太宰华督，并立公子游为国君。宋国的公子们纷纷出奔曹国，并迅速组织起一支军队试图打退南宫长万。萧叔大心以及公室其他族人向曹国借兵，杀回宋国，先杀了南宫长万的族人南宫牛，又进入都城杀死了公子游，另立逃亡到亳地的公子御为国君，是为宋桓公。南宫长万及其另一员手下猛获仓皇出逃到陈国和卫国。宋国随即与陈、卫交涉，希望将这两人送回。卫国一开始还想庇护猛获，但在大夫石祁子的劝说下还是将猛获交了出来。而陈国在宋国许下的财礼的诱惑下，也乐得做个顺水人情，便将南宫长万灌醉，用牛皮裹紧送回了宋国。最终这二位都被处死。
经过这场内乱，宋国再次衰弱下去，无力与周边诸国抗衡。同时，齐桓公也意识到以齐国现在的国力还无法称霸诸侯，于是他将注意力转向国内，在管仲的主持下开始了政治经济体系的改革。
和鲁国的争斗没有占到任何的便宜，这对于执政伊始的齐桓公无疑是当头一棒。但齐桓公不愧是一代明君，他并没有因为暂时的挫折而畏缩不前，反而明智地认识到对于刚刚从内乱中平复的齐国，想要争霸，还是要从内政做起。于是他任命管仲为卿，在齐国掀起了一场全面的改革。
随着平王东迁和周王室地位的下降，宗法制在事实上已经土崩瓦解，那么以宗法制度为核心的户籍管理制度也需要相应的改革。春秋时期，各个诸侯国都有国（国都以内）、野（国都以外）之分。管仲将国都以内地区划分为21乡，分别为工、商和士居住，其中工乡3，商乡3，士乡15，士乡由齐桓公和高子、国子两家贵族各管五乡。乡（2000家）下有连（200家）、里（50家）、轨（5家）。
从属关系为：五家为轨，十轨为里，四里为连，十连为乡，分别由轨长、里司、连长、乡良人（或乡大夫）管理。国都以外地区为5属（区），为农民居地。属（9000家）下有县（9000家）、乡（3000家）、卒（300家）、邑（30家）。从属关系为：30家为邑，长官称为邑有司；10邑为卒，长官称卒帅；10卒为乡，长官称乡帅，3乡为县，长官称县帅，10县为属，长官称属大夫和属正长，由朝廷的五大夫直接管理。
管仲推行的这一制度称为“参果伍鄙”制度，它废除了分封制度下的贵族采邑，而代之以一种类似于后世郡县制的体制。不仅是一种日常行政管理的基本架构，有利于人员管理和赋税征收，它还直接与兵役制度结合起来，在齐国的争霸战争中起到了重要作用。由于“参果伍鄙”制度使用了轨、里、连、乡这种层层管理的体制，很容易在战时转化为军事建制。
根据管仲的设计，国都下属的二十一乡中，除去工商六乡外，尚有十五士乡。每家都出一名壮丁参军，一轨五家，便有五名兵士；以此类推，一里五十家，出五十名兵士；一连二百家，出二百名兵士；一乡二千户，出二千名兵士，五乡一万户，出一万名兵士，一万名兵士编为一军，十五士乡共有三万户，则共有三万名兵士，可编为三个军，平时作为行政长官的轨长、里司、连长、乡良人在战时变为军事长官，负责统领本地区所召集的士兵，齐桓公，国子，高子则分别统率一军。
此外，管仲还改善了士兵的来源。春秋时期，后世那种以战争为职业的雇佣兵还没有出现，各国普遍实行的是义务兵役制，也就是说，平日里安居乐业的老百姓，在战争时摇身一变就成为冲锋陷阵的士兵，这就是所谓的入则为民，出则为兵，齐国自然也不例外。基于这一情况，管仲决定将“士”这一阶层作为齐国军队的主要来源。
提起“士”，人们往往容易想到手无缚鸡之力，只能舞文弄墨的儒生和秀才，其实那是很久以后的事情，春秋时期的“士”和这一形象相距甚远，如果一定要找一个参照物的话，他们倒更加接近于西欧中世纪的“骑士”。春秋时期的士需要掌握六艺，即礼、乐、射、御、书、数，换句话说，一个标准的“士”应该文能提笔安天下，武能上马定乾坤。所以，和农、工、商等阶层相比，他们的素质相对更高。
如此一来，齐军的个人素质大为提高，其战斗力直线上升；不仅如此，军事体制与日常行政架构联系紧密，可以随时进行无缝切换，这使得军队的建制更为规范，也大大提高了军队的作战效率，同时还减轻了国民的负担。
此外，为了提高军队的实际作战能力，管仲还设计了一种行之有效的训练方法：规定军队每个季节都要外出打猎，一方面使士兵熟悉作战技能，另一方面也有清除害兽，维护治安的作用。此外，管仲还要求士乡之人不得随便迁徙，并且要做到“祭相同福，死丧同恤”，世世代代相亲相爱，这样，兵士出于私交，就能够“居则同乐，死则同哀，守则同固，战则同强”，即使夜间做战也能从声音上辨别敌我，而白天作战，只要看见容貌就能认清身份。
当然，军队的强大除了要提高军队的战斗力之外，还需要先进的武器。春秋时期出现的冶铁技术对农具和武器有着十分重要的意义。可是，如何才能迅速集中铁原料呢管仲想出了一个“宽刑赎罪”的法子：他宣布，齐国的罪犯可以通过缴纳武器盔甲甚至矿石的方法抵消刑罚。犯重罪可用甲与车戟等值的钱物赎罪；犯轻罪可用与车戟等值的钱物赎罪；犯小罪可以用铜铁赎罪。这一制度不但解决了军备来源，而且扩大了国家财政收入，也缓和了国内矛盾，收到了事半功倍的效果。
除了这些改革之外，管仲还针对旧时根据血缘确定官职的人才选拔制度做了部分修改，他自己就是一个破落贵族家庭的子弟，自然知道长久以来以门第论英雄的选拔制度早已跟不上时代的变化。
首先他无私地向齐桓公推荐了“五杰”：明礼善辩的隰朋、熟悉农事的宁越、勇猛善战的王于成父、清廉刚正的宾须无、直言无隐的东郭牙，他们都担任了齐国的重要职务。其后又制定了全新的选举制度，规定凡是人才，由乡长和属大夫向上推荐，朝廷重臣进行考评，桓公亲自策问，称为“三选”。地方官吏如埋没压制人才，治以“蔽贤”、“蔽明”罪。
不仅如此，管仲还建议齐桓公大力招募他国人才，派出八十名“游士”，多带金银财物，身穿绫罗绸缎，驾着宝马香车，游览四方，见到高人隐士立即延请回齐国。一时间，齐国人才济济，宾客盈门。
通过政治和军事方面的改革，齐国已经具备了较为先进的政治体制和一支战斗力很强的军队，但是要维系国家机器的运转，还需要仰仗雄厚的经济实力，因此管仲在经济方面也进行了一系列的改革。