越後守護代・長尾為景の末子。母は古志（栖吉）長尾房景の女。享禄３年（１５３０）１月２１日出生。幼名は虎千代。通称は平三。初名は長尾景虎。のち政虎、輝虎と名を改め、不識庵謙信と号した。弾正少弼。関東管領。
天文５年（１５３６）、越後国春日山城下の林泉寺に預けられて禅僧・天室光育に師事し、学問や信仰などの素養を身につけた。
同年に越後長尾氏惣領の地位と越後守護代の職務を兄・長尾晴景が継いだが、天文７年（１５３８）頃に越後守護・上杉定実の嗣子として伊達稙宗の子・時宗丸（のちの伊達実元）を迎えようとする動き（伊達時宗丸入嗣問題）が起こり、この賛否をめぐって国内諸将が分裂した。この情勢を受け、天文１２年（１５４３）に元服して越後国栃尾城に赴き、母の実家である古志（栖吉）長尾氏の支援を得て越後国中域を牽制し、天文１５年（１５４６）には２度に亘って叛乱を起こした黒滝城主・黒田秀忠を鎮圧している（黒田秀忠の乱）。ために武名は挙がったが、晴景や同族の長尾政景との反目を招くこととなった。
天文１７年（１５４８）１２月、上杉定実の調停によって晴景から家督を譲られる形で長尾氏惣領ならびに越後守護代となり、天文１９年（１５５０）２月に上杉定実が死没したのちには将軍・足利義輝から白傘袋・毛氈鞍覆の使用を許可され、実質的に越後国主として認められた。
天文２０年（１５５１）８月、政景と和を結ぶ。
天文２２年（１５５３）４月、後奈良天皇より『治罰の綸旨』（住国と隣国の敵を討伐することを認める勅命）を得て、同年４月および８月には信濃国川中島で武田信玄と戦った（川中島の合戦：第１回）。
また同年秋に上洛して後奈良天皇に謁見し、幕府や本願寺、および越前朝倉氏と誼を通じた。この上洛において臨済宗大徳寺の徹岫宗九から宗心の法号と五戒を与えられている。
弘治元年（１５５５）、武田信玄と再び川中島で対峙し、対陣は５ヶ月に及んだ（川中島の合戦：第２回）。これにより国人領主層の不満が高まった。それが遠因となって謙信は隠退を表明して比叡山へ向かったが、家臣らの要請を受けて帰国した。
弘治３年（１５５７）、信濃国飯山城に迫った武田軍を迎撃するために善光寺に布陣したが、決戦するには至らなかった（川中島の合戦：第３回）。
また同年、相模国の北条氏康に圧迫された関東管領・上杉憲政が越後国へ逃れてきて、関東管領職や上杉氏の家督などを景虎に相続したいとの打診があった。景虎はこれを受け入れて上杉憲政の養子となって上杉氏を相続、名を「上杉政虎」と改めた。しかし関東管領職を相続するにあたっては将軍家（幕府）の了解が必要である、として永禄２年（１５５９）に再度上洛して将軍・足利義輝から許しを得た。この上洛の際に義輝から名の一字を授けられて、名を「輝虎」と改めた。
永禄３年（１５６０）秋より大軍を率いて関東に入り、翌永禄４年（１５６１）３月には北条氏康の拠る相模国小田原城を攻めたが、落せずに上野国厩橋城に引きあげた。なおこのときに鎌倉の鶴岡八幡宮に詣でて関東管領職就任の拝賀をしているが、小田原城を攻めたのはその牽制のためともいわれる（越山：その１）。
同年８月、再び川中島で武田信玄と対陣、９月１０日に八幡原で決戦に及んだが善光寺まで退却、越後国へと帰った。これが有名な川中島の合戦：第４回だが、この勝敗の見方は今でも明確にされていない。
永禄７年（１５６４）には信越国境に進出した信玄を迎撃するため、川中島に軍勢を進めた（川中島の合戦：第５回）。
永禄１２年（１５６９）には北条氏康と和して、越相同盟を結んだ。