細川頼春の子。母は剃髪して里沢禅尼と号した女性。通称は弥九郎。右馬助・右馬頭・武蔵守。法名は常久。
観応の擾乱の勃発以来より足利尊氏党に属し、主として阿波国の戦線に在陣して小笠原頼清ら阿波国南朝軍との戦いに功績を挙げているが、観応３（＝文和元）：正平７年（１３５２）３月の京都八幡の男山合戦にも参陣している。この間の同年閏２月、父・頼春の討死により阿波守護職を継いだ。
文和３：正平９年（１３５４）１０月には伊予国の足利直冬党を征討するべく伊予国へと出陣しており、このときに幕府より伊予守護に任じられたと思われる。
文和５（＝延文元）：正平１１年（１３５６）７月頃に足利直冬追討のため安芸国に向けて出陣。これに臨んで備前・備中・備後・安芸の４ヶ国を管轄したことから「中国管領」などと称される。その傍らで延文４：正平１４年（１３５９）に讃岐守護と土佐守護職をも手中に収めて四国全域の守護となり、貞治元：正平１７年（１３６２）７月、南朝方となっていた従兄弟で前執事の細川清氏を讃岐国にて討ち取る（白峰の合戦）。この清氏との抗争において伊予国の河野通盛・通朝父子が自分に援兵を送らなかったとして、貞治３：正平１９年（１３６４）に通朝を攻めて滅ぼし、翌年には通朝の子・河野通堯とも抗争した。
貞治６：正平２２年（１３６７）１１月２５日、死期を悟った２代将軍・足利義詮の遺託により幼少の３代将軍・足利義満の補佐役として執事（のちの管領）に任じられた。これと時期を同じくして伊勢守護にも補任されている。
貞治７（＝応安元）：正平２３年（１３６８）２月に内法三箇条を作成して将軍近臣の綱紀の向上を図るなど、種々の政策を用いて将軍の権威と幕府権力の強化に努め、これが奏功すると頼之の権勢も相対的に高まることとなったが、この強権が諸将の反発を招くこととなり、土岐頼康・京極（佐々木）高秀・斯波義将らと不和になって康暦元：天授５年（１３７９）４月に更迭され、入道して常久と号し讃岐国に下った。
しかし康応元：元中６年（１３８９）３月、義満の厳島参詣に途中からしばらく随行し、このときに赦免を得たと見られる。明徳２：元中８年（１３９１）に上洛し、４月に管領となった養子（弟）の細川頼元を後見して幕府に復帰し、参与した明徳の乱の鎮定を見届けて明徳３：元中９年（１３９２）３月２日に６４歳で没した。
頼之の在世中に細川一族の分国は四国を中心に畿内・山陽にまたがる８ヶ国（阿波・讃岐・伊予・土佐・伊勢・和泉・備中・備後）となり、管領細川氏の権勢の基礎が確立した。