細川頼貞の子。細川定禅・皇海の兄。細川和氏・頼春の従兄弟。通称は小四郎。兵部少輔・陸奥守。侍所頭人・引付頭人も務めた。
元弘の乱以来、足利尊氏に従って活動。正慶２：元弘３年（１３３３）の建武政権の樹立後、相模国鎌倉に赴任した足利直義に付されたとみられ、建武２年（１３３５）７月に北条時行が蜂起して鎌倉に侵攻した際、支えきれずに直義とともに三河国まで敗走している（中先代の乱）。
尊氏が建武３：延元元年（１３３６）１月の京都攻防戦に敗れて西走する途次の２月、再挙の布石として細川一族が四国に分遣された際には、従兄弟の細川和氏らとともに恩賞を宛行う権限を委ねられた。また、これと併せて河内守護、同年４月には土佐守護に任じられており、建武４：延元２年（１３３７）４月に和泉守護、５月に阿波守護、８月には讃岐守護に任じられて畿内近国の統治を任されたほか、侍所頭人に任じられた時期もあり、その信任の厚さを窺い知ることができる。
建武５（＝暦応元）：延元３年（１３３８）には陸奥国より西上してきた北畠顕家の軍勢と戦い、３月の摂津国住吉での戦いには破れたが、５月の和泉国石津での戦いで高師直らの援軍を得て勝利した（北畠顕家の征西：その２）。
康永２：興国４年（１３４３）１月頃には北朝より陸奥守（国司）に任じられるが、赴任はおろか目代さえも派遣しなかった。
貞和３：正平２年（１３４７）８月に楠木正行が河内国にて挙兵するとその鎮圧を命じられたが、９月の河内国藤井寺合戦で敗れ、次いで１１月には山名時氏の援軍を得て戦ったが再び敗れ（住吉・天王寺合戦）、河内・和泉守護を更迭された。
この没収された両守護職が高師泰に与えられたことから高兄弟に反発するようになったともいわれ、貞和５：正平４年（１３４９）の秋頃には高師直との反目によって失脚した足利直義を錦小路の自邸に迎えており、観応元：正平５年（１３５０）１０月末に足利尊氏・高師直らが足利直冬を征討するために出陣した際、当初はこれに従って出陣したが、この後に直義が南朝と結んで挙兵に及ぶと、播磨国あたりで離脱して讃岐国に帰国して兵を募り、翌観応２：正平６年（１３５１）２月に軍勢を率いて渡海し、京都制圧を企てた直義勢に加勢した（観応の擾乱）。
まもなく直義が復権を果たすと引付頭人に任じられ、土佐守護にも任じられたようであるが、この頃より直義と距離を置き始めたことが窺われ、同年８月に直義が北陸に出奔した際にはこれに同行しておらず、京都に留まって尊氏に帰順し、これと前後して和泉守護に復している。
観応３（＝文和元）：正平７年（１３５２）閏２月に楠木正儀を主力とする南朝軍が京都に侵攻した際には防ぎきれなかったが、３月には逆襲に転じ、幕府軍の大将として岩清水八幡宮に籠城する南朝軍を攻め、５月にはこれを攻略。しかし同年７月５日に病死した。