武田家臣。兵部少輔。譜代家老衆で、山県昌景の実兄。甲斐国河内飯富郷の領主で、武田信虎・信玄の２代に亘って活躍した。
『甲山の猛虎』の異名をとり、のちに織田・徳川軍に恐れられた『赤備え』の創始者。『甲陽軍艦』においては「知略抜群の驍将」と評されている。
享禄４年（１５３１）に今井信元・栗原兵庫らと共に専制を強める信虎に叛いたが、赦免されている。
天文１０年（１５４１）６月の『武田信虎追放事件』では信玄の心情をよく察し、板垣信方や甘利虎泰らと謀って、信玄擁立派の中心的な役割を果した。その後は若き信玄をよく補佐し、信濃国侵攻では村上義清や小笠原長時などの信州勢の心胆を寒からしめ、その猛勇ぶりは越後国の上杉氏にまで知れ渡っていたという。信濃国侵攻後は信濃国佐久郡内山城主となる。
信玄の嫡男・義信の傅役であったが、義信が謀叛を企てたとされる永禄８年（１５６５）の『武田義信幽閉事件』に連座し、叛逆の罪を一身に負って１０月１５日に自害した。このことによって飯富氏は虎昌で廃絶となったが、弟の源四郎は山県氏を継ぎ、山県昌景と名乗ることとなった。