滝川益氏、あるいは滝川一益の子。実名として利益・利太・利大などが見えるが、通称の「慶次（慶次郎）」の名の方が浸透している。ほか、宗兵衛・利治とも名乗る。穀蔵院忽之斎と号す。戦国時代の『かぶき者』の代名詞。
前田利家の兄・利久の養子となり、永禄３年（１５６０）に尾張国の荒子城主となるべきところを織田信長の命によって利家に家督相続を譲り、浪人となる。
以後は拗ねた「かぶき者」として世を送り、天正１１年（１５８３）に利久が客臣となって金沢城代になるに及んで、能登国松応村に僅かの知行を受けて利家に仕える。
天正１３年（１５８５）に氷見阿屋城主・菊池武勝が前田氏に降ると城代となったが、養父の死後は再び気ままな浪人となった。
天正１８年（１５９０）頃より、交友の厚かった直江兼続が属す上杉家の客将となり、慶長５年（１６００）の出羽合戦の際には退却する上杉勢の殿軍として奮戦した。
この後、武勇に聞こえた慶次を大禄で招こうとした大名もあったが、「この度の乱（関ヶ原の役）に諸大名の表裏の心見限りたり。景勝ならで我が主君となすべきなし」と、改めて景勝に仕えた。
奇行を好み、ひょっと斎・咄然斎・不便斎・無苦庵と号した。茶や花に秀で、詩歌に長じ、兵法は群を抜くという、多様な才能の持ち主。
当時の気風には珍しい茶目っ気の多い武士で、数々の「悪戯」の逸話を残す。
晩年は大和国苅布に隠棲し、慶長１０年（１６０５）に７３歳で大和国に没したとも、出羽国米沢で生涯を終えたともいうが、定かではない。因みに墓所は山形県米沢市である。