越後国の国人領主。揚北衆。色部重長の子。幼名は千代鶴丸。通称は弥三郎。遠江守・修理進。越後国岩船郡小泉荘の平林城主。
享徳３年（１４５４）、色部氏の家督を継ぐ。
同年の暮れに関東で鎌倉公方派と上杉一族派で抗争（享徳の乱）が勃発すると、越後守護・上杉房定に従って出陣し、長禄３年（１４５９）１０月の上野国羽継原の合戦での軍功を賞されて将軍・足利義政より感状を与えられている。
永正４年（１５０７）９月、前月に越後守護・上杉房能を討って新守護に上杉定実を擁立した長尾為景に反発し、本荘時長・竹俣清綱らと共に挙兵した。しかし翌月に為景方の軍勢によって本荘氏の本荘城が陥落するなど戦況が不利となると、かつて為景に討たれた上杉房能の兄で関東管領となっていた上杉顕定に支援を求めつつ抵抗を続けた。
しかし顕定は関東で長尾景春との抗争を抱えていたため支援を得られず、永正５年（１５０８）５月２４日に為景方の軍勢によって居城の平林城を落とされると陸奥国会津に逃れ、蘆名氏や為景方の中条藤資の仲介を得て許されるも屈服を余儀なくされ、７月に帰国した。
翌永正６年（１５０９）７月末に上杉顕定が為景打倒のため越後国に侵攻してきた際には顕定に与したようであるが、大永６年（１５２６）１月には本荘房長と連署で、為景に従属する旨の起請文を提出している。
生没年ともに不詳であるが、享禄４年（１５３１）１月の『越後国人衆軍陣壁書』には子の憲長が署名しているので、それ以前に隠退あるいは死没したと思われる。