畠山氏惣領・畠山持国の子。初名は義夏（よしなつ）。右衛門佐・伊予守。
母は諸侯の間を渡り歩いて妾となった女性で、この女性は義就の他にも小笠原持長や飛騨国の国人領主・江間氏の子（実名不詳）を産んだと伝わる。
はじめ持国は男児に恵まれなかったために異母弟の畠山持富を後継者としていたが、のちに義就が生まれ、文安５年（１４４８）１１月に義就に家督を継がせることを決めたため家臣団も持国・義就派と義富派に分裂し、家中を二分する内訌を招くこととなった。
文安６年（１４４９）４月に元服、将軍・足利義政（当時の名乗りは義成）より一字を与えられて義夏と名乗る。
享徳３年（１４５４）４月に持富派が持富の子・義富を擁立して叛乱の計画を進めていることを察知した持国は洛中でこれを鎮圧したが、義富が細川勝元の援助を受けて反撃に出たため、８月には持国は隠退を余儀なくされ、義就は京都を逐われて伊賀国に逃れた。しかし義政の支持を得ていた義就は１２月に軍勢を率いて入京、義富勢を駆逐した。
翌享徳４年（＝康正元年：１４５５）３月に持国が没すると畠山氏惣領として家督を相続し、山城・河内・紀伊・越中の守護職や大和国などの所領を安堵された。
同年７月、（成身院）光宣・筒井順永を頼って大和国に逃れていた義富を追討するため大和国に侵攻し、光宣らを破ったのちも将軍の上意と称して大和国や山城国南域で勢力拡大を続けたため、義政との反目を招くことになる。
義富は長禄３年（１４５９）９月頃に没したが、今度はその弟・畠山政長が家臣や光宣らによって擁立され、長禄４年（＝寛正元年：１４６０）９月には細川勝元・伊勢貞親らの肝煎りで政長が畠山氏の惣領として幕府に認められるに至った。畠山氏惣領の地位から引きずり降ろされたかたちの義就は河内国岳山（嶽山）城に籠もって武力行使に出たが、幕府の援軍を得た政長勢と数度の攻防戦を経た末の寛正４年（１４６３）４月に岳山城は陥落。敗れはしたが、寡兵で大軍を相手によく戦ったその武名は広く知れ渡ることとなった。
その後は高野山を経て大和国に移って越智家栄の援助を受け、文正元年（１４６６）に大和・紀伊・河内国などの国人領主らを糾合して河内国に侵出するなど、政長との抗争は続けられた。
のち、細川勝元と対抗する山名宗全の助力を得るところとなり、宗全の政治工作によって政長は管領職を罷免され、義就は将軍・義政から赦免を得て河内・紀伊・越中の守護に補任されるに至った。
この義就と政長による畠山氏家督をめぐる根深い対立、この両者の後ろ楯である山名宗全と細川勝元の政治闘争、さらには将軍家の継嗣争いなどが複雑に絡んで応仁の乱へと発展することになる。乱が勃発することになった直接のきっかけは、文正２年（＝応仁元年：１４６７）１月に義就と政長が武力衝突に及んだことであった（上御霊社の戦い）。
畠山一族の義就が山名方（西軍）、政長が細川方（東軍）に属したように、諸国でも有力勢力が分裂して戦いを重ねることになったこの大乱は文明５年（１４７３）の細川勝元・山名宗全の相次ぐ死没によって徐々に沈静化していき終息へと向かったが、義就は打倒政長の一念から和睦を拒み続けたという。しかし文明９年（１４７７）９月、主戦論者の義就が京都から離れて河内国へ下向したことにより、応仁の乱は一応の終結を見ることとなった。
しかし打倒政長に固執する義就は河内国において政長との抗争を続け、その大半を支配するに至るが、延徳２年（１４９０）１２月１２日に河内国の陣中で病没した。