スカーブ山のカギ付き宝箱で判別をしようとしたのですが、
前半にローザーリアサーベルを取ってしまいました。

これはカギ空けによる判定は出来ないって事ですか？

カギ開けによるランク判別は、ローザリアサーベルじゃなくても大丈夫ですよ。
というか、ローザリアサーベルはカギ開けのレベルは変化しなかったような気がします。

記憶がアヤフヤで申し訳ないですが、スカーブ山の場合、ランダム宝箱のカギが付く時に、ランクに対応したレベルになっていて、チェックが出来るはずです。

主人公にカギ開けを持たせて、対応スキルレベルを５にしてしまっていれば、カギ開け検査は非常に困難ですので、不意打ち判定等を使う方が安定します。
色々と試して、一番ストレスの溜まらない方法を選んでみてください。