上杉家臣。通称は弥五郎。丹後守・安芸守。号は芳林。越後国刈羽郡佐橋荘の北条城主。
大江氏の後裔で本姓は毛利であり、祖をたどれば安芸国で戦国大名化した毛利氏と同族である。
武田信玄に内応して上杉謙信に叛き、天文２３年（１５５４）１２月より居城の北条城に籠もったが、武田方からの援軍を得られず孤立したため、翌天文２４年（＝弘治元年：１５５５）２月に降伏して許された。永禄２年（１５５９）１０月２８日、謙信が京より帰国すると諸将は太刀を献上して祝賀しているが、高広はその際に披露太刀衆として名を連ねている。
永禄６年（１５６３）頃、謙信が越山（関東出兵）の際に拠点とした上野国厩橋城の城代に任じられ、嫡子・景広とともに関東経略にあたった。
北条氏康の調略を受けて永禄９年（１５６６）１２月には再び謙信に叛いているが、永禄１２年（１５６９）６月に上杉氏と小田原北条氏の同盟（越相同盟）が成立すると、許されて上杉氏に帰参した。
天正６年（１５７８）３月に謙信が急死して御館の乱が勃発すると、同年６月頃には上杉景虎方に与し、厩橋城に拠ったまま景虎の実家である小田原北条氏に帰属し、７月には北条氏政の要請を受けて上杉景勝の本貫地である越後国魚沼郡上田荘を攻めるために出陣し、１０月初旬頃より翌天正７年（１５７９）２月頃まで河田重親らとともに樺沢城に駐留したが、この間に本貫地である越後国の北条城と嫡子の景広を失い、樺沢城も景勝方の軍勢の攻撃に晒されて上野国への撤退を余儀なくされた。
天正７年８月には武田勝頼に従属するが、のちに勝頼のとりなしで景勝に属した。しかし再び上杉氏を離れて土着化し、上野国を支配した滝川一益、ついで北条氏直に帰属して勢力を保ち続けた。
生没年は不詳であるが、天正１４年（１５８６）までの存命は確認される。