北条氏一門。北条綱成の長男。母は北条氏綱の娘。通称は善九郎。初名は康成。左衛門大夫・常陸守。相模国玉縄城主。
年次は不詳であるが、父・綱成の義兄で北条氏当主の北条氏康の娘を妻とする。二男の氏勝が永禄２年（１５５９）生まれであるから、弘治年間（１５５５〜１５５８）頃と推察される。初名の「康」の字も氏康より与えられたものであろう。
活動の初見は永禄元年（１５５８）３月で、陸奥国の白川晴綱が古河公方・足利義氏に祝儀を言上した際に取次を務めている。
永禄４年（１５６１）に越後国の上杉謙信が関東に来攻してきたとき（越山：その１）、里見氏への抑えとして三浦半島の三崎城に配備された父に代わって相模国玉縄城を守備し、永禄７年（１５６４）１月の国府台の合戦：その２には父とともに出陣した。
永禄１０年（１５６７）８月に武蔵国岩付城主・太田氏資が討死すると、岩付城代に任じられて岩付領の支配にあたり、領国経営の一翼を担うようになった。また、元亀２年（１５７１）から天正２年（１５７４）の間、鎌倉代官をも兼任している。
氏康死没後の元亀２年１１月に綱成より玉縄北条氏の家督を譲られ、翌年のはじめ頃には名を氏繁に改めた。これは宗家が代替わりしたことと併せて、当主となった北条氏政の義兄弟にあたる康成にも、北条氏一門としてその通字である「氏」の字を与えられたものとみられる。
天正５年（１５７７）頃に嫡子・氏舜に家督を譲るとともに、常陸国の佐竹氏に対する前線の下総国飯沼城に入ったが、翌天正６年（１５７８）６月１３日に同城で没した。享年４３。法名は竜宝寺殿大応宗栄大居士。