いろいろconnectorを入れ替えてみたりしたのだがだめだったので、googleで検索してみたところ このページ を見つけた。
私だけではなかったようだ。っていうかとても古いバグなのに、未だに放置てどういうことだろう。。 以前は2回聞かれるだけだったのに、いつからか無限ループになってしまったようだ。
バグはまだとれていないらしい。対応としては、パスフレーズをeclipseのsecure storageに登録する しかないようだ。あまりいい気持ちがしないが。
svn view でロケーションを右クリックしてでたコンテクストメニューから "location properties" を選択し、そこで登録すればよい。