eval `ssh-agent`
ssh-add 鍵ファイル
すると、ssh 接続の時にパスフレーズを入れなくてよくなりますが、他のコンソールを開いた時に、また、これを繰り返していました。(ちなみに、git bash)
他のコンソールで追加した鍵を別のコンソールで使う方法が以下に載っていました。
How do I get ssh-agent to work in all terminals?
windows なら、pagent + putty を使えばよいのですが。また、ssh-pagent というものもあるそうです。