徳川家臣。石川広成（別称を康正）の子。通称は与七郎。のちに主君の徳川家康から偏諱を受けて康輝と称し、そののちに吉輝と称す。伯耆守・出雲守。箇三寺と号す。
天文１８年（１５４９）１１月、松平竹千代（家康の幼名）が今川氏に人質として出されたときに随行し、家康の若年時より数々の辛酸をともになめた。
永禄３年（１５６０）５月の桶狭間の合戦に従軍し、今川氏当主・今川義元討死の混乱に乗じて自立した家康と織田信長との連携の斡旋に努めた。また永禄５年（１５６２）２月には、未だ駿府に留め置かれていた家康の妻子と、捕えた今川氏属将の鵜殿氏長・氏次兄弟の交換を今川氏真に交渉し、これを成功させている。
永禄１２年（１５６９）、叔父・石川家成に代わって西三河の旗頭を命ぜられ、東三河の旗頭・酒井忠次とともに松平（徳川）氏の筆頭宿老となり、主に外交・内政において家康を補佐した。
元亀元年（１５７０）６月の姉川の合戦、元亀３年（１５７２）１２月の三方ヶ原の合戦、天正３年（１５７５）５月の長篠の合戦などに従軍。
天正７年（１５７９）９月、三河国岡崎城主であった松平信康が自刃させられたのち、岡崎城代を務める（就任時期は不詳）。
天正１０年（１５８２）の本能寺の変の際には家康の伊賀越えに随行する。
主君・家康の代理として、織田信長亡き後に台頭著しい羽柴秀吉との折衝に度々あたり、その外交面での才腕を認められ、小牧・長久手の合戦を経た天正１３年（１５８５）１１月、秀吉の誘いに乗って突如として徳川氏から出奔して秀吉に臣従、翌天正１４年（１５８６）には和泉国に１４万石を与えられた。また、この頃に秀吉の一字を受けて名を吉輝と改名している。
この出奔の経緯は、数正が秀吉に通じたという噂が先行して広まって徳川氏に留まることができなくなったためといわれ、その噂を流したのが秀吉自身であるともいわれている。このために徳川氏の陣法の漏洩を恐れた家康は、陣法を一新したという。
天正１５年（１５８７）の九州征伐、天正１８年（１５９０）の小田原征伐に従軍、戦後に信濃国松本８万石に転じた。現存の松本城（国宝）は彼の手によるものである。
天正２０年（＝文禄元年：１５９２）３月、文禄の役に際して肥前国名護屋に出陣したが、同年に没した。