上野国の国人領主。斎藤憲次の子。通称は越前太郎入道。越前守。一岩斎と号す。上野国吾妻郡岩櫃城主。
はじめ関東管領・上杉憲政に属し、天文２１年（１５５２）に憲政が長尾景虎（のちの上杉謙信）を頼って上野国から没落したのちも、長野業政らと共に上杉氏残党として所領を維持し、永禄３年（１５６０）の上杉謙信による関東出陣（越山：その１）にも上杉方として参陣している。
永禄年間初期には近隣の土豪を従え、上野国吾妻郡の全域を制圧する勢いであった。しかし永禄３年（１５６０）に縁戚関係にある羽尾城主・羽尾幸全と武田信玄麾下で鎌原（かんばら）城主・鎌原幸重の抗争が起こるとこれに介入した結果、鎌原氏を支援する武田家臣・真田幸隆による西上野への侵攻を招くこととなる。
憲広は上杉謙信の援けを得て永禄６年（１５６３）９月に武田勢力で幸隆の弟・常田（ときた）俊綱の拠る長野原城を奪っているが、１０月１４日に岩櫃城が真田勢の攻撃を受けて落城すると嶽山城に逃れた。しかしこの嶽山城も永禄８年（１５６５）末頃に陥落し、嫡男の憲宗と共に越後国に逃れた。