黒田孝高の嫡男。永禄１１年（１５６８）１２月３日に生まれる。幼名は松寿丸、通称を吉兵衛。従四位下・甲斐守・筑前守。はじめ小寺氏を称す。
天正５年（１５７７）、父・孝高が織田信長に属したため、人質として近江国長浜の羽柴秀吉に預けられた。天正６年（１５８８）、孝高裏切り（のちに誤報と判明）によって殺されそうになるところを竹中重治と竹中家臣・喜多村十助に匿われた。
天正１０年（１５８２）の播磨国三木城攻めが初陣。翌年（１５８３）の賤ヶ岳の合戦で活躍を見せ、秀吉から河内国丹北郡に４５０石を与えられた。
天正１２年（１５８４）の小牧・長久手の合戦においては留守居として畿内に駐留、根来・雑賀の一揆を鎮定する武功を挙げ、２千石の加増を受けた。
天正１５年（１５８７）の九州征伐の日向国財部城攻めの功によって、豊前国中津１２万石を父と共に拝領する。その後、黒田氏の入部に反抗する宇都宮鎮房（城井鎮房）らを討ち、天正１７年（１５８９）には隠居した孝高より家督と所領を譲られた。
文禄の役には先鋒として渡海、金原・昌原を抜いて南海道を進み、小西行長の危機を救った。また、小早川隆景らと共に臨んだ碧蹄館の戦いにおいて、苦戦の末に明軍を破り、文禄３年（１５９４）に帰国。続く慶長の役においても渡海し、武功を挙げている。だが、のちに石田三成らの文治派と対立。
慶長５年（１６００）の関ヶ原の役では徳川家康に与して戦い、その功により筑前一国５２万３千余石の大封を受けて名島城主となる。
この関ヶ原に至る事前の下野国小山での軍議では、挙兵に踏み切った石田三成の行動を「自らの野望のため」と、それとなく福島正則に吹き込んで、家康に味方するように仕向けたといわれている。また、小早川秀秋の内応工作にも功があったといい、軍事面のみならず水面下の調略活動においても東軍の勝利に貢献した。
翌年から那珂郡福崎（福岡）に城と城下町を営み、近世福岡藩の地歩を固めた。この福崎から福岡への改名は、祖先発祥の地に因んでのことという。
慶長８年（１６０３）、従四位下・筑前守に叙位・任官。
慶長１９年（１６１４）の大坂冬の陣では江戸城の留守を務め、翌慶長２０年（＝元和元年：１６１５）の夏の陣では少兵を率いて徳川秀忠軍に配された。
蜂須賀正勝の息女と離婚して家康の養女との再婚、度々の普請、鎖国令の順守など、外様大名として徳川氏へ徹底した恭順の姿勢を崩さなかった。日光東照宮の造営にも参加し、とくに石造りの大鳥居は長政がはるばる九州から大石を運んで建造したものという。
黒田家臣・後藤基次とは兄弟のように育てられたが仲が悪く、喧嘩が絶えなかったという。戦陣においては常に最前線で功名争いを繰り返し、事あるごとに対立し、歳月と共に確執は深まっていくばかりであった。慶長１１年（１６０６）にとうとう両者は決裂し、基次は１万６千石の禄を捨てて黒田家から退散した。勇名高い基次を召抱えたいと望む大名は多々あったが、黒政はこれらに「又兵衛召抱えることならず」と禁令を出し、士官の途をことごとく閉ざしたという。
元和９年（１６２３）８月４日、京都報恩寺で没す。５６歳。法号興雲院古心道卜。