天文１５年（１５４６）１１月２９日、小寺（黒田）職隆の子に生まれる。はじめは小寺姓だった。幼名は万吉。通称を官兵衛。初名は孝隆。入道して如水軒円清と号す。
播磨守護・赤松氏の一族である小寺政職の家老として播磨国姫路城を預かっていたが、織田信長の台頭を見て、織田家武将・羽柴秀吉の中国経略に際しては主君・政職を説いていち早く帰順の意向を示し、近隣諸氏への調略活動に奔走した。
秀吉の幕下では黒田（官兵衛）孝高と竹中（半兵衛）重治をして「二兵衛」と称されるほどの智才を発揮している。
しかし天正６年（１５７８）３月、播磨国では最大ともいえる勢力の別所長治が毛利方へと寝返り、他の豪族たちもこれに同調する動きがあった。孝高の属す小寺氏も同様で、そこへ重ねて織田軍の摂津方面司令官ともいうべき立場の荒木村重までもが叛旗を翻すという事態が起こる。
情勢が反織田へと流れていくことを憂慮した孝高は、村重の居する摂津国有岡城へと単身で村重の説得に赴くが、捕われて城内に監禁される。
翌年の有岡落城時に助け出されるが、この１年余に亘る狭い牢獄での生活により脚を患った。
以後、小寺から黒田へと姓を改め、秀吉の軍師として重く用いられた。怜悧な情勢判断能力で尽力したという。
播磨国三木城の攻略が成ったのちの天正８年（１５８０）、秀吉はこの三木城を中国経略の本拠にしようと考えたが、孝高は「三木は播磨国の外れにあるので居城とするには適さない」と説いて姫路城を譲り、孝高自身は飾東郡の国府山城に移り、秀吉より揖東郡福井荘のうちで１万石を与えられた。
天正１０年（１５８２）の備中国高松城攻めでは水攻めを献策したといい、明智光秀を討った山崎の合戦でも戦功を挙げるなど、秀吉の策士として重きを成した。
天正１１年（１５８３）の賤ヶ岳の合戦、１２年（１５８４）の小牧・長久手の合戦に従軍し、播磨国宍粟郡内で加増されて山崎城主となった。
天正１３年（１５８５）の四国征伐にも参戦。天正１４年（１５８６）には九州征伐に先立って軍奉行として九州に渡り、豊前国の諸城を攻めている。
天正１５年（１５８７）７月には豊前国京都（みやこ）・築城・仲津・上毛・下毛・宇佐の６郡を与えられて中津１２万石に封ぜられる。
同年９月に肥後国で国人一揆が起こると直ちに出兵し、これを鎮定した。またこの間に宇都宮（城井）鎮房ら在来の国人領主が叛乱を起こしているが、これにも謀略をもって鎮圧している。
天正１７年（１５８９）５月１５日に入道して如水と号し、家督を子の長政に譲った。しかしそれ以後も
小田原征伐、文禄・慶長の役に参加するなどして秀吉に仕えた。
慶長５年（１６００）の関ヶ原の役には領国の留守居をしていたが、混乱に乗じて旧領回復を目論む大友義統に対して、百姓や浪人を集めた傭兵集団を組織、これを率いて大友勢を破る（石垣原の合戦）など九州の西軍諸将の城を次々と陥落させ、大いに活躍した。
一説には、東軍と西軍が戦い疲れた頃を見計らって、この軍勢で中央へと進出し、一気に天下を奪おうと計画していたともいう。
子の長政も東軍に与して功を挙げたため、役後に筑前国５２万石を与えられた。
慶長９年（１６０４）３月２０日、京都伏見にて没した。５９歳。法号は龍光院如水円清。博多の崇福寺と京都の大徳寺龍光院に墓所がある。
孝高は軍事・智謀に長けた軍師であると同時に当代一流の文化人でもあり、茶の湯にも造詣が深かった。はじめ孝高は、茶の湯は武士に不似合いな遊戯として嘲笑していたが、秀吉の茶会に招かれて軍事の相談をあずかることもあったことから、内密に謀議を練れることも茶の湯の効用として、茶道に身を入れるようになったという。また、築城の名手でもあり、広島城、高松城、名護屋城などは孝高が縄張りしたものである。
またキリシタン武将でもあり、洗礼名をドン＝シメオンといった。天正１１年に高山重友（右近）の勧めで受洗したとされるが、黒田家の文書類には記されておらず、天正１５年の伴天連禁止令もしくは慶長１８年（１６１３）のキリスト教禁止令を憚ったものとみられる。しかしキリスト教への情愛は持ち続けていたようであり、小西行長の死後はとくに、行長にかわって宣教師の保護などに努めた。また孝高の死後、その遺命によって葬儀は博多の教会で行われている。