美濃国の守護大名。土岐政房の二男。通称は二郎。左京大夫・美濃守。
大永７年（１５２７）、西村勘九郎（のちの斎藤道三）に擁立されて兄である土岐頼純（政頼）を追い、家督と美濃守護職を手に入れた。
しかし将器や為政者としての器量に欠け、どちらかといえば風流人であった。画技に優れ、頼芸の書いた鷹の絵は今日まで伝わっている。
革手（川手）城に居していたが木曽川の大洪水の折に流されてしまい、道三の勧めで大桑城に移されたが天文１１年（１５４２）８月、今度はその道三に攻められたために尾張国の織田信秀を頼って逃れた。
天文１７年(１５４８)に講和が成立したことによって帰国を果たすが、天文２１年（１５５２）に再び追放され、越前・甲斐・上総の諸国を流浪した。晩年には織田信長に扶持されていたとする説もある。
天正１０年（１５８２）、稲葉一鉄に迎えられて美濃に帰るが、同年１２月４日に没した。