美濃守護・土岐頼貞の七男。弾正少弼。美濃守護。
父の頼貞と同様に足利尊氏の創業時より仕え、建武２年（１３３５）１２月の伊豆国箱根・竹ノ下の合戦、建武３：延元元年（１３３６）３月の筑前国多々良浜の合戦などに従軍し、６月に入京してのちの東寺の攻防戦では新田義貞を破るなど、足利尊氏・直義兄弟に従軍して軍功を挙げた。
暦応元：延元３年（１３３８）１月末には美濃国青野原で、後醍醐天皇からの要請に応じて西上してきた北畠顕家の軍勢と戦うも敗れている（青野原の合戦）。
暦応２：延元４年（１３３９）２月に没した父のあとを継ぎ、美濃守護職を継承する。また、この年に本拠をそれまでの鶴ヶ城から長森城に移している。
暦応３：興国元年（１３４０）、越前国から退去した脇屋義助が美濃国に移ってくるとこれを攻め、尾張国へと逐っている。
これら数多の軍功に驕ったのか、上洛していた康永元：興国３年（１３４２）の９月６日、行き会った光厳院（光厳上皇）の牛車に対して「院と言うか、犬と言うか、犬ならば射ておけ」と、矢を射かけたという。
この咎により、足利直義の裁断で土岐一族は赦免されたものの、頼遠自身は同年１２月１日に京都六条河原で処刑された。