斯波家貞の子。斯波高経の弟。幼名は千代鶴。通称は尾張彦三郎。別称を時家。正五位下・伊予守・式部大夫。若狭守護。
元弘の乱に際しては兄の高経とともに、足利尊氏に従って各地を転戦した。
後醍醐天皇と敵対することになった尊氏が、光厳上皇を擁して入京を果たしたのちの建武３：延元元年（１３３６）７月、尊氏から若狭守護に任じられ、若狭国府の小浜に入部。しかし、同年中に離職している。
同年１０月頃より高経や援軍の仁木頼章・高師泰らとともに、新田義貞らの拠った越前国金ヶ崎城を攻め、翌建武４：延元２年（１３３７）３月の攻略に寄与した。
同年５月に若狭守護に再任されているが、翌建武５（＝暦応元）：延元３年（１３３８）５月に再び離職した。
その後は兄の高経が若狭守護に就任（在任期間は不詳であるが、暦応２：延元２年（１３３９）には事蹟がある）するとその守護代になったというが、貞和５：正平８年（１３４９）８月に三番引付頭人に任じられて幕政の一翼を担った。
足利尊氏・直義兄弟の分裂抗争（観応の擾乱）に際しては尊氏派だったが、尊氏が劣勢のまま和睦したため観応２：正平６年（１３５１）４月頃に引付頭人を更迭されている。
文和元：正平７年（１３５２）に三度若狭守護に就いているが、かつて甥にあたる斯波家長が奥州総大将を務めた所縁からか、奥州管領であった吉良貞家の没後とみられる文和３：正平９年（１３５４）１０月頃までにはその後任に任じられ、息男の直持・兼頼や被官を伴って陸奥国に下向した。通説では陸奥国府の多賀（多賀国府）に住したとされるが、多賀には吉良持家が拠っていたと思われ、家兼の居地は志田郡河内の師山であったと推察されている。
延文元：正平１１年（１３５６）６月１３日に死去。享年４９。法号は円承。
家兼とともに下向した直持は家督を継承し、その後裔は大崎氏を称され、兼頼は出羽国に移って最上氏の祖となった。