天正１１年（１５８３）の賤ヶ岳の合戦の頃までは、羽柴秀吉と徳川家康は友好的関係にあった。賤ヶ岳の合戦ののち、家康は戦勝祝いとして家老の石川数正を秀吉のところに遣わし、名物茶器を贈っている。ところが、秀吉の勢力が日増しに増大していくさまを目の当たりにし、また、主筋にあたる織田信孝を殺し、織田氏の力を弱体化させていこうとする秀吉の動きを見てとった家康は、いずれ秀吉との戦いは不可避だと考えるようになった。しかし、秀吉の力が急激に伸びたため、家康ひとりではそれに対抗することができなかったのである。
そんな折の天正１２年（１５８４）３月６日、織田信雄が津川義冬・岡田重孝・浅井田宮丸という３人の家老を誅伐するということがあった。この３人が秀吉に通じていたというのがその理由であった。これを機に、信雄と家康は連絡を取りつつ秀吉に対抗する戦いに立ち上がったのである。
このときの家康の決起は、信雄の不満を利用して、強大化した秀吉に歯止めをかけ、それと同時に自己の存在を主張しようとするところにあった。そこで、四国の長宗我部元親、越中国の佐々成政、紀伊国の根来・雑賀の僧兵や鉄砲集団などとも結んで、秀吉包囲の態勢を作ろうと目論んだのである。
秀吉もまたこれに対抗すべく、信濃・甲斐の諸将に背後から家康を脅かせ、佐々成政には越後国の上杉景勝や北陸の丹羽長秀や前田利家らに牽制させるとともに、淡路の仙石秀久には長宗我部氏の動向に備えるように命じ、中村一氏を和泉国岸和田城に置くことで紀伊国の勢力に備えたのである。
家康は３月７日に８千余の兵を率いて遠江国浜松城を発し、１３日には織田信雄の拠る清洲に行き信雄の軍勢と合流、軍議を練った。
ところが美濃国の池田恒興が予想に反して秀吉側についてしまったため、家康・信雄連合軍の目論みは完全に外れてしまった。さらに恒興は１３日の夜に信雄方の犬山城を落としたのである。
これに応じるべく家康らは、清洲と犬山の中間にあたり、尾張平野を一望できる小牧山に本陣を構えた。
３月１７日、秀吉方の森長可が功を焦って小牧山から北方７キロほどの羽黒に陣を進め、そこで家康の武将・酒井忠次・榊原康政・奥平信昌らと戦った。この戦いを特に「羽黒の陣」などと呼んでいるが、ここでは家康方が勝利している。忠次隊に側面を衝かれた森隊に３百余の犠牲者が出て、長可らはほうほうの態で犬山城に逃げ込んだという。このとき、長可も負傷した。
そのころ秀吉本人は紀州の鎮圧に手間取っていたため、まだ大坂にいた。しかし羽黒での敗戦の報を聞いて急遽尾張に出陣することを決め、３月２１日に３万の軍勢を率いて大坂城を発し、２４日に岐阜、２８日には犬山城に入り、さらに翌日には家康の本陣である小牧山から２０町（約２．２キロ）ばかり隔てた楽田に布陣した。
このときの兵力は羽柴勢が１０万、家康・信雄連合軍勢が１万６，７千といわれているが、羽柴勢は数の面では圧倒的有利でありながらも敵地に入り込んでいるという点で、下手をすると後方との連絡を遮断されるという危険があることから、また、家康・信雄連合軍には地の利はあるが軍勢の数から見て明らかに劣勢であることから、どちらからも手が出せない膠着状態となり、対陣を続けることとなった。