山名政氏の子。母は上杉重房の娘。通称は小次郎。従五位下・伊豆守・弾正少弼・左京大夫。幕府の侍所所司となる。
正慶２：元弘３年（１３３３）、足利尊氏に従って上洛し、建武新政府を興した後醍醐天皇への帰順に同意する。
建武２年（１３３５）７月に鎌倉幕府の残党である北条時行が決起して鎌倉を制圧すると（中先代の乱）、これを鎮圧するため尊氏に従って東上。この後、尊氏は後醍醐天皇からの帰京命令に背いたため追討を受けることになるが、その追討軍の駆逐（箱根・竹ノ下の合戦）および京都への進撃、建武３：延元元年（１３３６）２月の九州下向、同年３月の筑前国多々良浜の合戦、続く５月の摂津国湊川の合戦に勝利しての入洛まで、一貫して尊氏に従って転戦した。その戦功により建武４：延元２年（１３３７）７月、伯耆守護に補任される。
また暦応４：興国２年（１３４１）３月には、京を出奔した出雲守護の塩冶高貞を桃井直常とともに追討して自害させ、その功で同年７月に出雲守護職を獲得した。その３ヶ月後には丹後守護、康永２：興国４年（１３４３）１２月に丹波守護、貞和３：正平２年（１３４７）８月に隠岐守護、貞和４：正平３年（１３４８）６月には若狭守護職に補任される。
この間の貞和３：正平２年１１月には南朝方の楠木正行と摂津国の住吉や天王寺で戦うも、敗れている。
貞和５：正平４年（１３４９）８月に尊氏の執事・高師直が尊氏の弟・足利直義に対して武威行為に及んだ際には師直に与したが、観応元：正平５年（１３５０）に尊氏・直義兄弟が不和となって分裂した際（観応の擾乱）には直義派に属したため、これと前後して当時まで在任していた若狭・丹波・丹後・伯耆・隠岐の守護職を罷免されている。
文和元：正平７年（１３５２）に尊氏から離反し、直義の養子・足利直冬を奉じて南朝勢力と結ぶ。
文和２：正平８年（１３５３）６月や文和４：正平１０年（１３５５）１月には南朝勢力として諸将とともに京都に侵攻して制圧したほか、幕府が任じる守護職を解任されはしたものの足利直冬に与することで伯耆・因幡・美作・隠岐国を実質的に支配し、さらには石見・備中・備前・但馬国の一部にも勢力を浸透させ、領国内の被官組織の強固な固定化に成功している。
貞治２：正平１８年（１３６３）に至って２代将軍・足利義詮に帰服を懇請されると丹波・丹後・因幡・伯耆・美作の５ヶ国の所領安堵を条件とし、義詮もこれを認めたことによって幕府との和解が成り、翌貞治３：正平１９年（１３６４）には正式にこの５ヶ国の守護に補任されている（ただし丹後国は山名師義、美作国は山名義理）。
応安元：正平２３年（１３６８）、仁木義長・佐々木氏頼・赤松義則らとともに、３代将軍に就任した足利義満の評定衆に列する。
応安３：建徳元年（１３７０）１２月に嫡子の山名師義に家督を譲って隠居し、翌応安４：建徳２年（１３７１）２月に没した。享年６９。法名は道靜、道号は鎮国・光孝寺殿。
のちに山名一族で丹波・丹後・因幡・伯耆・美作・但馬・和泉・紀伊・備後・隠岐・出雲国の守護を兼ねて、当時の日本６６ヶ国のうちの１１ヶ国を領して「六分一殿」と称される基盤を築いた。