上杉氏の重臣。越後国上田長尾氏家臣・樋口兼豊の長男。母は通説では直江景綱の妹とされるが、信濃国の泉氏の娘とする説もある。幼名は与六。初名は樋口兼続。後年、重光と名乗る。従五位下・山城守。
幼時より上田長尾政景の子・上杉景勝に近習として仕えた。この近習への推挙は、景勝の母（上杉謙信の姉）に才気を見込まれてのものという。
景勝が父・政景を亡くし、謙信の養子となって謙信の居城・越後国春日山城に招かれた際に兼続も随行し、景勝と共に謙信に仕えてその薫陶を受け、文武に亘ってその素養を開花させた。
天正６年（１５７８）に謙信が死没したのちに勃発した家督相続をめぐる内訌（御館の乱）においては側近として景勝を支え、乱の終結後には知行の取次にあたるなど、重用された。
御館の乱での論功行賞のもつれから天正９年（１５８１）９月に横死した上杉氏重臣・直江信綱の後家を娶って直江氏の名跡を継承した。「直江兼続」の名で出された文書の初見は天正１０年（１５８２）３月である。景勝の信任厚く、景勝の代に至っては家宰として上杉氏の軍政・民政はすべて兼続に委ねられた。
天正１４年（１５８６）６月、景勝に従って上洛。羽柴秀吉に気に入られ、秀吉をして「天下の政治を安心して任せられるのは、直江兼続など数人にすぎない」と言わしめた。
天正１６年（１５８６）５月にも景勝と共に上洛し、従五位下・山城守に任じられ、秀吉から豊臣の姓を名乗ることをも許されている。
天正１８年（１５９０）、景勝に従って小田原征伐に従軍。
慶長３年（１５９８）に上杉氏が陸奥国会津１２０万石に封じられると、陪臣でありながら秀吉より出羽国米沢３０万石の知行を与えられるという、破格の待遇を受けた。
秀吉の没後、五大老筆頭の徳川家康は景勝に上洛を促し、兼続にも僧・承兌から書を送らせて上洛を勧めたが、従わなかった。その返書として家康の専横ぶりを痛烈に弾劾した『直江状』が有名であり、このことにより家康は慶長５年（１６００）５月、上杉征伐に踏み切った。そののちに石田三成が家康の留守を狙って挙兵し、時流は関ヶ原の役へと至る。三成と懇意であったことなどから、かねてより連携を約していたとする説もあるが、真相は不詳である。
三成を討つために家康が兵を西へと転じると兼続は３万の兵を率い、背後を固めるべく家康に与した最上義光の拠る出羽国山形城目指して進軍、転戦した（出羽合戦）が、主力同士が激突した関ヶ原の合戦での西軍の敗報を知り撤兵した。
翌慶長６年（１６０１）７月、家康に謝すため上洛、翌月には上杉氏は米沢３０万石に減封となることが決定された。これによって領国からの収入が大幅に減ったが、屯田集落の誘致や鍛冶業の優遇措置など、商・戦両様を見据えた経済政策で対応した。自らも『四季農戒書』という農業書を著し、農作物の増産に努めた。治水にも意を注ぎ、現在の山形県米沢市の谷地河原堤防は別名「直江石堤」ともいい、兼続が築いたものである。
この減封に際しては自身の知行地も３万石へと大幅に削減し、家臣団の知行地も３分の１に縮小して支出を圧縮することで対応している。
その後の慶長９年（１６０４）、本多正信の二男・政重を長女の婿養子に迎えるなどして徳川氏との結びつきを強め、主家である上杉氏の安泰を図った。
慶長１９年（１６１４）の大坂冬の陣においても景勝に従って出陣、武功を挙げた。
元和５年（１６１９）１２月１９日、江戸で没した。６０歳。法名は達三全智居士。
婿養子とした本多政重は既に加賀国の前田氏へと移っており、嫡男の景明も元和元年（１６１５）に病没しており、兼続の死をもって直江家は断絶した。
兼続は背丈高く容姿優れ、言語さわやかで弁舌に巧みであったといい、兜の前立てに『愛』の文字を掲げる意匠を用いていたことは有名。
戦陣の合間にもよく書物を読んでいたといい、文武両道の士であった。とくに漢詩に造詣が深く、上杉氏が文禄の役に従軍したとき、兼続は攻め落とした敵城に入ると必ず書庫を探して漢籍や朝鮮古活本などの史書を保護し、その収集に努めたという。とくに兼続の手による『文選（直江版文選）』という書籍は日本における最初の銅活版印刷であるとされている。また、兼続の保有していた『史記』（宋版、９０冊）と『漢書』（宋版、６０冊）（いずれも国宝）は世界で唯一の完本であり、後世における研究や復元に多大な功績を残すこととなった。