至公元1161年十月底，金军从西到东“川陕陇”、“蔡州、襄阳”、“安徽、淮阴”、“海路”四路进攻，虽然“川陕陇路”、“蔡州、襄阳路”、“海路”都取得不错的战绩，“安徽、淮阴路”也有刘錡指挥的“皂角林之战”胜利，但由于王权败退至建康，刘錡病重退到镇江，都回到了长江南岸，兼之完颜亮亲自统帅，兵力雄厚，不到两个月，宋军在“安徽、淮阴路”丢失了两淮之地，金军杀到了长江北岸，占领和州、真州、扬州等地。
十月二十八日，知枢密院事叶义问督江淮军马至镇江，见刘錡病重，让在江北瓜洲的李横代替刘錡指挥，十一月初，金军犯瓜洲，刘錡之侄刘汜败走，李横也败退，左军统制魏友、后军统制王方战死。
十一月初四日，朝廷命成闵代替刘錡，李显忠代替王权。成闵率兵从应城出发，赴镇江。而参谋军事虞允文，则到芜湖，监督李显忠到马鞍山接管王权的兵马。并到采石矶（在安徽马鞍山）犒劳官军，王权此时率军在采石矶。
初八日，虞允文先赶到了采石矶，此前王权接到由李显忠接管的诏令，高兴得一夜没睡，第二天便启程赴临安。留在前线多危险呐，哪怕受处分，回后方可安全得多！朝廷起初让他王权独当一面，实在是失误得紧！
虞允文至采石矶，李显忠尚未赶到，军中无主将，虞允文见王权的败军三五成群，解鞍束甲坐道旁，虞允文心忧，召集诸将，鼓励他们道：“金帛、诰命我都带来了，只待各位建功立业！”
众将被王权牵着鼻子从庐州跑昭关，从昭关遁和州（安徽和县），从和州渡江逃采石矶，个个脸面无光，心里也觉窝囊得紧，如今有了主心骨，都慷慨表态，愿意死战！
亲信劝告虞允文道：“公受命犒师，并非督战，万一失利，公如何担当？”
虞允文斥责道：“战况危及江山社稷，我还能躲避？”
虞允文至江边，见长江北岸已经修筑高台，高台两边各树立两杆大旗，不久探子来报，前一日，完颜亮在和州鸡笼山聚集兵马四十万，临江筑坛，杀黑白马祭天，以期大军渡江，并下诏，先渡长江者，赏黄金一两。
宋军在采石矶兵力仅有一万八千人，虞允文命诸将布列大阵不动，战船分为五队，两队在东西岸，一队驻中段，船上埋伏精兵，另两队战船藏于小港内，已备不测。
虞允文刚布置完毕，对岸呼声震天，完颜亮持小红旗，指挥数百战船，从江北出发，望江南而来，顷刻之间，已有七十余艘战船直抵南岸，金军上岸后冲击宋军战阵，宋军略有退却。虞允文在军中见此，抚摸着统制时俊的后背激励道：“听闻时将军胆略威震四方，在阵中怎么像小儿女？”
时俊被虞允文一刺激，当即拔出双刀，率步军勇猛出击，宋军一下士气高涨，拼命冲杀。完颜亮亲率的这路金兵进军以来，从未遭到像样的抵抗，此时碰到强大对手，瞬间垮下来了。
江面上的宋军战船，也向金军的大船冲去。宋水军多是踏车海鳅船，大而灵活，而金军船只底平面积小，极不稳便，宋船乘势冲击，就像尖利的钢刀一样，插进金军的船队，把敌船拦腰截断。敌船纷纷被撞沉。敌军一半落在水里淹死， 一半还在顽抗。太阳下山，天色暗淡，江面上的战斗尚未结束。
恰有一批从光州（河南潢川）逃回来的宋兵到了采石。虞允文发给他们战旗、军鼓，从山后面摇动旗帜，敲着鼓绕到江边。江上的金兵听到南岸鼓声震天，看到山后无数旗帜在晃动，以为是宋军大批援兵到来，纷纷逃命。虞允文命强弓劲弩尾随追射，大败金军。完颜亮暴跳如雷，将畏战的军卒全部斩杀！
虞允文取胜后，上奏捷报，又对诸将道：“敌人今日失败，明日必再来，不能掉以轻心！”
当晚，虞允文派水军统制盛新，率船溯江而上，到杨林河口，告诫他道：“敌船从河口出，你们奋力齐射，必与其死争，勿令敌船出江。如河口无敌船，则以克敌神臂弓射北岸。”
盛新领命，停船于杨林河口江心，望敌军来上船，齐力射敌，敌军望见舟师，遽退却，上岸者都陷泥中被射杀，官军再于上流放火焚烧敌军战舟三百而回。虞允文再具捷报。
两次失利，完颜亮颇为恼火，又使诡计，下了一伪诏，教王权按约投降，派遣在瓜洲俘获的镇江军校尉张千，持书到采石矶军前，将士见此伪诏，都变了脸色。因若主将王权有预谋投降，其他部将当然难逃干系。虞允文一眼看破完颜亮伎俩，急忙道：“这是敌军反间计！”
此时李显忠已经到了采石矶，听将士诉说了虞允文指挥情形，内心对虞允文已是佩服万分，因而出言道：“虽然如此，也应以朝廷处罚王权之事回复，断绝其念头。”
虞允文深以为然，回书道：“以前王权望风而逃，致使你如此嚣张。朝廷已将王权重置典宪。现统兵新将是李显忠，你难道不知他威名？闲话少说，再奋一战以决雌雄！”
完颜亮得书大怒，气得将他的龙凤舟也焚毁了，将提议在采石矶渡江的梁汉臣斩首，率军奔扬州去也！
佐料：《续资治通鉴》对虞允文激励诸将，有比较详细的记录。
虞允文召统制官张振、王琪、时俊、戴皋、盛新等聚集一起，对他们道：“敌军万一渡过长江，你们有何地方去？如今前控大江，我们占有地利，不如死中求生，况且朝廷养你们三十年，就不能一战报国？”言下之意，你们一路逃跑，也该出手作战了。
众将都道：“我们怎么不想作战，可没有主将，谁来统帅？”
虞允文道：“你们被王权连累得够呛了，好在朝廷已派遣大将统帅你们了。”
众将愕然道：“朝廷派谁来？”
虞允文道：“李显忠！”
众将大喜道：“得人矣！”
虞允文道：“可现在李显忠未到而敌人已过江，我当身先死，与诸军戮力决一死战。朝廷已出内帑金帛九百万缗，节度使、承宣使、观察使等告身（指任命书）我也带来了，谁有功，我就发帑重赏，书告写身授予官职。”
众将都道：“如今既然有主，请为舍人〈虞允文官职为中书舍人〉一战！”