eval `ssh-agent`
ssh-add 鍵ファイル

すると、ssh 接続の時にパスフレーズを入れなくてよくなるが、他のコンソールを開いた時に、また、これを繰り返していた。(ちなみに、git bash)

他のコンソールで追加した鍵を別のコンソールで使う方法が以下に載っていた。

How do I get ssh-agent to work in all terminals?

windows なら、pagent + putty を使えばよいのだが。また、ssh-pagent というものもあるそうだ。