天文１８年（１５４９）６月の江口の合戦で勝利し、管領・細川晴元と将軍・足利義輝らを京都から近江国坂本へと逐った三好長慶は、晴元と細川京兆家（管領家）の家督を争っていた細川氏綱を擁して入洛した。
しかし京都復帰を企図する晴元らは、反長慶勢力と結ぶとともにゲリラ戦を展開して抵抗を続けており、また長慶も事実上京都を押さえたものの、自らの政権を樹立するためには管領あるいは管領代、守護などの職に就任する必要があったが、それらの職を任じるのは将軍であり、将軍である義輝を追放した今となってはそれが叶わぬという現状であった。
こうした双方の思惑から天文２１年（１５５２）１月、六角義賢を仲介として長慶と義輝のあいだに和睦が成されたのである。その条件は、晴元は隠居して京兆家の家督を氏綱に譲ること、晴元の嫡子・昭元が元服したら家督に取り立てること、などであった。
この和睦によって長慶は義輝を戴いて政事を執り行うことになるが、晴元の執拗な抵抗は止まず、長慶と義輝の関係も決して良好と呼べるものではなかった。長慶が次期管領の昭元を自身の居城である摂津国越水城に引き取ったのも、義輝が表向き「洛中に出没するゲリラ軍から身を守るため」と称して同年１０月より東山に霊山城を築きはじめたのも、いずれは手切れとなることを想定してのものであろう。
果たして翌天文２２年（１５５３）、長慶と義輝の対立は決定的なものとなる。２月下旬、長慶は義輝の奉公衆数名が晴元に内通したとして、その身柄の引渡しを要求したのである。自家兵力をほとんど持たない義輝は、このときは長慶の威圧に屈しざるをえなかったが、３月８日に至って霊山城に立て籠もり、両者は再び手切れとなったのである。
これを機に反長慶勢力の動きが活発化する。義輝が御内書を出して晴元を赦免し、長慶討伐の檄を飛ばしたのである。
７月３日に三好一族である摂津国芥川城主・芥川孫十郎が長慶に叛くと長慶はこの鎮圧に向かうが、その間隙を衝いて晴元が香西元成ら丹波国衆を率いて京都に侵攻し、３０日にはどちらにとっても洛中の拠点となる西院小泉城の攻略を企てた。
この小泉城攻めに際して義輝は霊山城を出て北野に布陣して督戦したが、３千ほどの攻城軍は長慶の後詰を警戒して士気が上がらず、８月１日に長慶が畠山高政ら２万５千の軍勢を率いて京都に到来したとの報を得ると、小泉城の包囲を解いて霊山城を防衛する構えを布いたのである。
しかし大兵を擁する長慶勢に攻め立てられると霊山城兵は支えきれず、自焼して陥落。義輝は既に北野から船岡山に退いて霊山城の攻防を観望していたが、長慶勢による追撃を恐れて再び近江国に落ち延びたのである。