越後守護代・長尾為景の末子。母は古志（栖吉）長尾房景の女。享禄３年（１５３０）１月２１日出生。幼名は虎千代。通称は平三。初名は長尾景虎。のち政虎、輝虎と名を改め、不識庵謙信と号した。弾正少弼。関東管領。
天文５年（１５３６）、越後国春日山城下の林泉寺に預けられて禅僧・天室光育に師事し、学問や信仰などの素養を身につけた。
同年に越後長尾氏惣領の地位と越後守護代の職務を兄・長尾晴景が継いだが、天文７年（１５３８）頃に越後守護・上杉定実の嗣子として伊達稙宗の子・時宗丸（のちの伊達実元）を迎えようとする動き（伊達時宗丸入嗣問題）が起こり、この賛否をめぐって国内諸将が分裂した。この情勢を受け、天文１２年（１５４３）に元服して越後国栃尾城に赴き、母の実家である古志（栖吉）長尾氏の支援を得て越後国中域を牽制し、天文１５年（１５４６）には２度に亘って叛乱を起こした黒滝城主・黒田秀忠を鎮圧している（黒田秀忠の乱）。ために武名は挙がったが、晴景や同族の長尾政景との反目を招くこととなった。
天文１７年（１５４８）１２月、上杉定実の調停によって晴景から家督を譲られる形で長尾氏惣領ならびに越後守護代となり、天文１９年（１５５０）２月に上杉定実が死没したのちには将軍・足利義輝から白傘袋・毛氈鞍覆の使用を許可され、実質的に越後国主として認められた。
天文２０年（１５５１）８月、政景と和を結ぶ。
天文２２年（１５５３）４月、後奈良天皇より『治罰の綸旨』（住国と隣国の敵を討伐することを認める勅命）を得て、同年４月および８月には信濃国川中島で武田信玄と戦った（川中島の合戦：第１回）。
また同年秋に上洛して後奈良天皇に謁見し、幕府や本願寺、および越前朝倉氏と誼を通じた。この上洛において臨済宗大徳寺の徹岫宗九から宗心の法号と五戒を与えられている。
弘治元年（１５５５）、武田信玄と再び川中島で対峙し、対陣は５ヶ月に及んだ（川中島の合戦：第２回）。これにより国人領主層の不満が高まった。それが遠因となって謙信は隠退を表明して比叡山へ向かったが、家臣らの要請を受けて帰国した。
弘治３年（１５５７）、信濃国飯山城に迫った武田軍を迎撃するために善光寺に布陣したが、決戦するには至らなかった（川中島の合戦：第３回）。
また同年、相模国の北条氏康に圧迫された関東管領・上杉憲政が越後国へ逃れてきて、関東管領職や上杉氏の家督などを景虎に相続したいとの打診があった。景虎はこれを受け入れて上杉憲政の養子となって上杉氏を相続、名を「上杉政虎」と改めた。しかし関東管領職を相続するにあたっては将軍家（幕府）の了解が必要である、として永禄２年（１５５９）に再度上洛して将軍・足利義輝から許しを得た。この上洛の際に義輝から名の一字を授けられて、名を「輝虎」と改めた。
永禄３年（１５６０）秋より大軍を率いて関東に入り、翌永禄４年（１５６１）３月には北条氏康の拠る相模国小田原城を攻めたが、落せずに上野国厩橋城に引きあげた。なおこのときに鎌倉の鶴岡八幡宮に詣でて関東管領職就任の拝賀をしているが、小田原城を攻めたのはその牽制のためともいわれる（越山：その１）。
同年８月、再び川中島で武田信玄と対陣、９月１０日に八幡原で決戦に及んだが善光寺まで退却、越後国へと帰った。これが有名な川中島の合戦：第４回だが、この勝敗の見方は今でも明確にされていない。
永禄７年（１５６４）には信越国境に進出した信玄を迎撃するため、川中島に軍勢を進めた（川中島の合戦：第５回）。
永禄１２年（１５６９）には北条氏康と和して、越相同盟を結んだ。
信濃国や関東地方の武田氏や北条氏との抗争において、近隣諸勢力と活発な外交連携策を展開したが、その一方では父祖の方針を継承して北陸道の制覇にも乗り出し、元亀３年（１５７２）に信玄が西上の軍を起こすと謙信は織田信長と同盟し、越中国富山城を攻略、天正元年（１５７３）には越中国を平定している。
しかし勢力圏がかちあったことなどから同年に信長と断交、信長と敵対していた本願寺と結び、信長の手が伸びていた能登国の侵攻を図り、天正５年（１５７７）９月、加賀国手取川（湊川）で織田勢を破った（七尾城の戦い〜手取川の合戦）。
翌天正６年（１５７８）正月には関東出陣のために兵の総動員を発しているが、その出陣を直前にして急逝した。３月１３日のことで、４９歳だった。諡号は不織院殿真光謙信法印大阿闍梨。謙信は酒をこよなく愛する武将であったが、それが祟っての脳溢血であるといわれている。
生涯を独身で通し、実子を持たなかったために謙信の死後、家督相続をめぐって２人の養子・上杉景勝と上杉景虎による「御館の乱」が勃発した。
真言密教に帰依し、戦においては私利私欲ではなく『義』を掲げることによって正当性を主張、国人領主を中心とする家臣団を統率した。
義侠心に富んでいたというエピソードとして、宿敵でもある武田信玄が近隣諸国より「塩止め」をされたとき、謙信のみは適正な価格で塩を送ったという話は有名である。
信玄は「謙信と事を構えてはならぬ。謙信は、頼むとさえ言えば必ず援助してくれ、断るようなことは決してしない男だ。この信玄は大人気もなく謙信に依託しなかったばかりに一生謙信と戦うことになってしまったが、武田の家を保つには謙信の力にすがるよりあるまい」と嗣子・勝頼に遺言したといい、北条氏康も「信玄と信長は表裏常なく、頼むに足らぬ。ただひとり謙信のみは請け負った以上、骨になるまで義理を通す人物である。この氏康が明日にでも死ねば、後事を託せるのは謙信だけである」と認めていたという。
北条氏康に圧せられて逃れてきた関東管領・上杉憲政の頼みを受けての１４回にも及ぶ越山（関東出兵）、武田信玄に圧せれた北信濃諸将に頼まれ、また地理的条件からの武田信玄との角逐戦（川中島の合戦）は、まさにその生涯を彩るものであった。信玄との５度にも及ぶ川中島での対陣や合戦は、戦国という時代を飾った。また、当時にあっては既に形骸化していた朝廷や将軍家への崇敬も厚く、拝謁するために２度の上洛をしている。
体格は６尺近い偉丈夫であったが、和歌をよくし、信仰心の厚い人物だったという。