真田家臣。矢沢氏は信濃国小県郡矢沢（上田市）を本拠とする武士である。『矢沢系図』では、頼綱は真田幸隆の弟で、矢沢氏の養子になったという。
天文１０年（１５４１）の海野平の合戦に敗れ、幸隆に従って上州へ落ちた。のちに幸隆・真田昌幸の西上野の経営にはその中心となって活躍した。
永禄６年（１５６３）には岩櫃城、岳山城の攻撃に参加した。また、沼田城攻撃には総大将として指揮を執り、これを攻略。天正９年（１５８１）より沼田城代となった。
翌年（１５８２）、北条氏邦の攻撃を受けたが上杉景勝の支援を得てよく守った。
天正１５年（１５８７）、昌幸の息・信幸が沼田へ入ってから上田へ戻った。