平安時代末期からの信濃村上氏の嫡流・村上顕国の子。信濃国更級郡葛尾城主。左衛門尉・周防守。
剛将の聞こえ高く、小笠原・諏訪・木曾の各氏と共に信濃４大将のひとりに数えられた。
北信濃６郡（佐久・小県・更級・埴科・高井・水内）と越後１郡に所領を有し、信濃国北東部において最大の勢力であった。
天文１０年（１５４１）、甲斐の武田信虎・諏訪頼重と結んで海野棟綱と真田幸隆を上野国に逐って海野平を手中にしたが、その直後の武田家の内訌（武田信虎追放事件）に乗じて佐久方面への侵攻を目論んだ。
その後、武田勢力に属した幸隆の要請を容れて北上してくる武田信玄と戦い、天文１７年（１５４８）の上田原の合戦と１９年（１５５０）の戸石（砥石）城の攻防戦では甲州軍を叩いた。しかし幸隆の工作によって葛尾城の北方の清野氏が武田方に与するなど、武田勢力の圧迫に耐え切れず、天文２２年（１５５３）に葛尾城を捨てて越後国に走り、上杉謙信を頼った。その援軍により葛尾城は回復できたが、周囲の武田勢力を一掃するまでには至らず、再び越後国に逐電。以後は謙信の客将となる。
謙信も義清らの要請と越後国の本領の防衛線確保のために、５回にも亘る川中島の合戦で信玄と抗争することになり、義清も永禄４年（１５６１）の川中島の合戦：第４回に従軍している。
その後も謙信の軍に従ってしばしば信玄の軍と兵を交えたが、旧領回復という悲願はとうとう達せられなかった。ついに謙信の配下となり、元亀４年（＝天正元年：１５７３）１月に越後国根知城でその生涯を閉じた。