远在年初，段祺瑞即已预感到直系的不臣之心。他对防止直系北上想尽了办法，却终于没能得逞。新年之始，即谋划以皖系人物吴光新取代河南督军赵倜，以阻断吴佩孚北归之路（时吴佩孚军主力在湖南对抗广州军政|府）。后者倾向于奉系，却一直反对皖系对日纵容。但是总统徐世昌恐酿成巨变，不允发表。时靳云鹏为获得直系支持，也表示反对，因此不见谅于段祺瑞，差点辞职。
3月7日，驻湘南之直军第3师师长吴佩孚不顾北京政|府连电阻止，要求撤防北上。3月18日，吴佩孚麾下混成旅旅长王承斌、萧耀南、阎相文等开始撤防北上，广州军政|府续付毫洋三十万元作为开拔费。作为反对，北京附近驻军皖系的师长曲同丰、陈文运、魏宗瀚、李进才、刘询等通电，谓营房不足，拒直军移驻。
这个时候，曹锟还只是试探，见到皖系针锋相对地直接打回来，也不敢过于紧逼，只是双方都知道，更大规模的战争即将开幕，这是不可调和的。
“五四运动”使得段祺瑞政|府及皖系所控制的“安福国会”声名狼藉，在国民中的威信逐渐丧失。看着张汉卿的“安西军”在西北取得的成绩，曹锟与吴佩孚眼热起来。两人见时局如此，认为有机可乘，便派人出关积极游说张作霖，以求达成直系与奉系南北夹攻皖系之势。
此时奉军已完成10个师的整编，正是兵精粮足人才济济之时。兴安、热河、察哈尔、蒙古四地的稳固及“西北军”的成就，使东北联省自治政|府的声望达到新的高峰，也使得奉系高层的眼光再一次转向了关内。
但对直系抛过来的橄榄枝，张作霖权衡利弊，始终不能决断：一边是入关获取好处的诱惑，一边是得罪皖系背后的支持者日本人。他虽然在骨子里是个十分爱国的军阀，但是此时此地，以他的力量和地位，不能不顾忌到日本人的影响力。他一生中的重要盟友吴俊升也不愿意出关，吴坚持“奉系闭关自守以待来日，辽东虽小足以为王”，目前以静观局势、藏拙养晦为要务。
张汉卿与孙烈臣是出关的支持者，孙烈臣认为皖系主力尽被分散在各地，易于击破。奉军出关阻力甚小，挟安定蒙古之威及在国人中的影响力，在直皖反目中或可乘机入主也未可知。而张汉卿则知道史上直皖战争的速胜，当然力主出兵，以不让直系在北洋政|府中坐大。他认为日本人由于对英、美的忌惮，与国内经济实力的不足，加上政治气候的影响，且有远东干涉军的负担，尚无能力给予规模的干涉，只会象征性地表示反对，因而不足惧。
张作霖已习惯于张汉卿的进言，他欣然应允，在4月以王乃斌为全权代表，商讨与直系结成反段联盟的条件。张汉卿给出的条件是：
共组北京政|府，新政|府之财政、农商、交通总长由奉系指定；
奉系获得察哈尔省城张垣地方（即张家口，此时尚被皖系军队据守）；
热河所围之直隶唐山、秦皇岛两地并入奉系控制之热河特别区，成立热河省；
直系习惯势力绥远特别区划归奉系；
直奉两系在西北合力攻击陕西，双方以渭河为界，西北人民军占北方，直军占南方；
天津为双方势力分界点，双方均可驻兵于天津，但不得干涉天津民政；
战后奉系同意并支持直系拥有原皖系安徽、山东、浙江3省之地方。
这是一个双方大致都能接受的协议：陕西间隔了奉系控制的甘肃与直系控制的湖北，平分陕西实为公平之举；陕北若归奉系所有，绥远处在奉系甘肃、蒙古、察哈尔包围之中亦无完璧可能（临近的山西是另一军阀阎锡山牢不可破的势力范围）；天津为各外国势力云集之地，虽有海关之利，却动辄得咎，直系并无太大兴趣；靠近山海关的直隶两地处于奉系连接天津、热河必经之处，奉军势在必得，必不容协商。而直系则巩固了长江流域及北方的地盘，奉系将连接西北东北便捷通道的大片土地收归囊中。可谓皆大欢喜。
5月17日，段祺瑞在团河召开作战会议，命边防军集中北京一带，段拟自驻郑州迎击吴军。为了鼓动士气，次月4日，段祺瑞、徐树铮宣称动员讨伐南军。
段祺瑞前脚刚走，6月10日，关外的奉军便奉命自直隶独流镇经天津开往廊坊。
在直皖磨刀霍霍之际，皖系在湖南的钉子被连根拔起----6月13日，皖系湖南督军张敬尧为各方驱逐出湘，北京不得已“褫其湖南督军兼省长职，暂行留任”。
6月15日，吴佩孚携直军旅长王承斌、萧耀南、阎相文自郑州至保定，与直隶督军曹锟会议。
7月4日，徐世昌免去徐树铮西北筹边使职，以李垣护理，裁撤边防总司令，所辖军队由陆军部接管。
7月5日安徽督军倪嗣冲到北京，段祺瑞下令边防军动员。
7月6日边防军向长辛店、廊坊出动，战端已有迹象。
张作霖早已做好痛打落水狗的准备，但为了麻痹段祺瑞，亲身到团河，劝段祺瑞勿用兵。然而段祺瑞在得到张作霖奉军保持中立的“保证”后，认为胜券在握，执意开战，并要求惩办吴佩孚。在此形势下，直系第16混成旅旅长冯玉祥率部自常德桃源撤退，移兵汉口谌家矶…
直皖大战势不可免，但是直系仅吴佩孚所带第三师的3个混成旅及曹锟所部2个师，面对有日本华北驻屯军作后盾的皖系军队，不能不有所顾忌。在吴佩孚的建议下，7月10日，曹锟致电北京公使团，请其注意日本暗中助段的事实。美、英、法三国压迫日本公使表示态度。14日，日本公使被迫发表宣言，表示决不助段。
为给直系打气，7月11日张作霖致曹锟一电，说他已经派遣第二十八师先行进关，关内奉军派张景惠为司令。他估计关内奉直联军已有七八万人，可以应付东西两线的战争。并向曹锟担保：“我辈骨肉至交，当此危急存亡关头，不能不竭力相助。”
得到日本人不助皖的保证，又有奉系在后支持，曹锟决定对段祺瑞交战，于是直皖战争开始。