MacBook再起動したら直った。
再起動前は ssh -v で

> pkcs11_register_provider: provider /うにゃうにゃ/libykcs11.dylib returned no slots

って言われてたんだけど、なんだったんだろう。
ちゃんとUSBデバイス一覧にYubiKeyいたし、予備に交換してもダメだったし、不思議。