山名氏惣領・山名政豊の二男。通称は又二郎。弾正少弼。備後守護。
文明７年（１４７５）頃に備後国に赴任。応仁の乱最中のこの年まで備後守護は山名是豊が務めていたが、是豊は惣領家に背いて東軍に属したために惣領家から討伐されており、その後の統治のために俊豊が遣わされたのであろう。このとき幼年だったとされ、山名氏御内衆の太田垣定数が後見として付されている。兄の常豊が文正元年（１４６６）生まれとされることから、俊豊の生年は応仁２年（１４６８）頃であろうか。
文明１５年（１４８３）９月、主家の赤松氏に叛いて兵を挙げた備前国の松田元成を支援して備前国に出陣した（福岡合戦）。
長享元年（１４８７）、室町幕府９代将軍・足利義尚は近江国の六角高頼の討伐（鈎の陣）を企図して諸大名に出陣を促すが、山名氏惣領の政豊は文明１５年８月より幕府の意向を無視して播磨国への出兵を強行しており、信用を失っていたために出陣要請はされなかったが、代わって俊豊らが参陣した。
しかし俊豊は密かに帰国したらしく、翌長享２年（１４８８）７月頃に突如として挙兵し、政豊に対抗した。大叔父の山名時豊の扇動によるものとも、播磨国侵攻の失敗を受けて惣領を更迭しようとする動きがあったともいい、政豊長男の常豊が文明１８年（１４８６）９月に没していたこともあって山名氏惣領家の領国である但馬国の被官の多くは政豊を廃して俊豊を新当主にすることを望んだという。
この事態を受けて政豊は８月に帰国するが、大きな激突もなく睨み合いが続いたようである。
延徳３年（１４９１）８月、１０代将軍・足利義稙による再度の六角高頼討伐に際しては、政豊軍への抑えとして一部の軍勢を残したうえで上洛している。このときに将軍の御相伴衆になり、弾正少弼にも任じられた。また、同年には備後守護としても名が見える。
明応２年（１４９３）３月に但馬国に下向して政豊との対決に臨み、当初は俊豊方が優勢だったが、同年４月に明応の政変が起こって義稙が没落すると、その余波を受けてか勢威は衰退に向かい、政豊を完全に圧し得なかった。
その後は備後国に没落していたらしく、明応６年（１４９７）１０月には但馬国に出陣する旨を安芸国の毛利弘元に伝えているが、発向した形跡はなく、明応８年（１４９９）５月に没した。