大坂における反家康方諸将の動向は逐一、江戸城に待機していた家康のもとに届けられていた。しかもその情報源のひとつは、反家康方に与したはずの増田長盛だったのである。
家康は畿内の動きを意識しながらも７月２１日に江戸城を発し、再び会津へと向けて軍勢を動かしている。すでに伊達政宗は上杉景勝と戦い始めているにも関わらず、その行軍は非常にゆっくりとしたものだった。
７月２４日までに大坂から届けられた情報を基に、いよいよ三成の挙兵は疑いなしとなったところで家康は戦闘停止命令を出し、２５日に諸将を集めて今後の対応についての軍評定を開いた。これは下野国の小山に着陣中だったことから『小山評定』と呼ばれている。家康はそこで諸将に三成が秀頼を推戴して挙兵したこと、毛利輝元が総大将に擁立されていること、従軍諸将の妻子が大坂に軟禁されていることなどを話し、輝元・三成側につくか、それとも家康につくか、去就は自由であるとして各人の判断に委ねたのである。
そのとき福島正則が進み出て「家康殿に味方する」と発言、次々に発言する者もみな同意見であった（一説には、口火を切ったのは上条政繁ともいう）。しかも、遠江国掛川城主・山内一豊などは「東海道を攻め上るにあたっては城と兵糧が必要になる。ついては私の城を進上しよう」と言って家康を喜ばせている。軍議はこうして軍勢を西へ転じて三成を討つことに決したのである。
この小山評定において徳川方（東軍）と石田方（西軍）、両陣営の顔ぶれがほぼ確定した。徳川方には徳川家臣団に加え、会津征伐に従軍した軍勢のほぼ全てが属すこととなったが、その反面ではこの争乱に乗じ、これまで大勢力に臣事することを余儀なくされていたかつての大名格の者やその旧臣なども独立を企図した動きも見せる。さらには家の存続を図るために親子兄弟などで分かれて両陣営に属したり、あえて旗幟を鮮明にしようとしない勢力もあったりと、さまざまな動きがあった。
その勢力分布としては、本営の大坂城には小西行長・立花宗茂・長曾我部盛親・脇坂安治・秋月種長・高橋元種・相良頼房・島津義弘ら、会津征伐には従軍せず大坂に駐留していた西国の諸将が参じ、奥州では会津の上杉氏、信濃国では真田昌幸・幸村父子（昌幸の子・信幸は徳川方）、北陸地方では大谷吉継や丹羽長重、中部・近畿地方では増田長盛・長束正家ら豊臣政権における吏僚や織田秀信、中国地方では毛利氏、九州では大友義統などが西軍に与することとなった。もっとも、これらの諸氏には明確に石田三成に賛同したというのではなく、西軍の本営となった大坂に駐留していたがために已むに已まれず西軍に加担することになった者や、政権を私物化しようとする家康に反発して「反徳川」の立場として兵を興した者も少なくない。よって、この関ヶ原の役とは東軍（徳川）対西軍（石田）というよりも「親徳川派」対「反徳川派」の戦いと見るべきであろう。
挙兵した三成ら西軍の戦略は、畿内を固めるとともに関東方面へ向けて進出することとし、以後は東軍の行動に応じて対応するというものであった。まずは畿内を制圧するため、その最初の標的とされたのが伏見城である。
伏見城が攻撃を受けたのは小山評定以前の７月１９日からで、城はなかなか落ちなかったが、２９日には三成自ら出馬して猛攻撃が加えられ、ついに８月１日、城将の鳥居元忠をはじめ、本丸にいた３５０人の城兵は悉く討死した。これを伏見城の戦いと呼び、西軍方の血祭りにあげられた戦いであった。
また、この伏見城攻めと並行して丹後国への侵攻が図られているが、田辺城に拠って堅守を布く細川藤孝を攻めあぐねている（田辺城の戦い）。
東軍陣営においては、小山評定で三成を討つ方針が決すると、上杉氏への抑えとして結城秀康らを下野国宇都宮に残すとともに伊達政宗・最上義光らに上杉氏を警戒させ、軍勢を転じるにあたっては徳川秀忠を主将とする一軍を東山道から進ませるとともに、家康自身が主力部隊を率いて江戸を経由して東海道を西上し、美濃国で合流することとした。
家康は福島正則・池田輝政・浅野幸長・黒田長政らを東海道軍の先鋒に任じて先発させ、自身が小山を発ったのは８月４日であった。しかし、翌日に江戸城に帰着するとそのまま留まって行軍を再開しようとせず、状況を静観するかのような態度に出ているが、これは上杉勢の追撃を警戒したものと思われる。
家康は上杉勢による追撃の対策として最上・伊達らに背後から牽制させ、結城秀康を置いて追撃を扼させてはいたが、景勝はこの最上・伊達が背後にあることを承知のうえで敵対する姿勢を示したはずである。さらには常陸国の佐竹義宣の去就にも怪しむところがあり、仮に家康が江戸を発向したのちに上杉・佐竹が連合して追撃してくるようなことがあれが形勢は大きく変わることとなり、すでに西進している軍勢の中にも西軍方に転じる者が出てくることは必定である。
また先発隊諸将の向背にも危惧を抱いていたようであり、８月１４日に尾張国清洲城に入城して家康の出陣を待っていた福島正則らに対して村越直吉を派遣し、西軍方の美濃国岐阜城を攻略させるように仕向けたのである。
これを受けた正則らが２３日に猛攻をかけて岐阜城を陥落させた（岐阜城の戦い）ことで自身への忠誠を確認し、また上杉・佐竹に西進の動きがないであろうことを判断したうえで行軍を再開したのは９月１日になってからであった。