飛騨国の国人領主。江馬時盛の子（一説には弟）。常陸介。飛騨国吉城郡高原諏訪城主。
１６世紀中ごろの江馬氏は飛騨国の制圧を推し進める三木良頼と概ね協調関係にあり、越中国の一向一揆と抗争する越後国の上杉謙信とも良好な関係を築いていたが、上杉氏と敵対する甲斐国の武田信玄が一向一揆と結び、永禄７年（１５６４）７月に上杉氏を牽制するために重臣・山県昌景を飛騨国に進攻させた際、それまで上杉方であった江馬時盛は上杉氏に叛いて武田方に与した。このため輝盛は高原から脱して越中国境まで退去し、三木氏とともに高原で時盛と交戦に及んだ。このとき上杉氏は同月末に信濃国川中島に出兵し、武田勢を牽制している（川中島の合戦：第５回）。
この上杉謙信の出陣で武田勢は飛騨国から撤兵し、時盛も同年１２月に降伏。こののち時盛の活動は史料に見えなくなり、代わって輝盛の名が散見されるようになることから、この頃に輝盛が江馬氏の家督に就いたと思われ、天正６年（１５７８、一説には元亀３年や天正元年）に輝盛は刺客を放って時盛を暗殺したともされる。
元亀３年（１５７２）９月、上杉謙信の要請に応じて越中国に出陣。しかしその後に謙信に無断で帰国していることが知られる。
天正６年（１５７８）３月に謙信が没したのちは北陸地方に進出していた織田信長に与したようだが、姉小路自綱（三木良頼の子）が天正７年（１５７９）頃より突如として飛騨国諸将の討伐を開始すると交戦するようになり、天正１０年（１５８２）１０月２７日の荒城郷八日町の合戦で討死した。