Hmmm, j'suis un peu déçu là, du rôle du ssh-agent. C'est la première fois que j'en mets un en place, et en fait c'est juste un process en mémoire qui conserve les clés déchiffrées et qui les restitue entièrement au client demandeur.
Sachant qu'en gros n'importe quel programme apte à lire le socket de l'agent pourra requérir les clés. Bref, pas secure du tout.

Je pensais honnêtement, vu le boulot qui a été fait (et bien fait) autour de SSH, que l'agent était capable de répondre aux requêtes du client (signe-moi ça, calcule-moi ce hash, etc.) En gros, il conserverait la clé privée mais fournirait une API pour accéder aux primitives cryptographiques.

Bon, heureusement, il y a un agent un chouilla plus sécurisé dans KeePass (keeagent) : il peut demander une interaction à chaque utilisation, mais ça n'empêche pas complètement les usages délictueux.

J'espère qu'une sorte de v2 sortira un jour :)

EDIT : changer le vocable autour des routines cryptographiques