Wygenerowałem klucz i skopiowałem go do mojego celu:
ssh-keygen
ssh-copy-id username@hostname
Zostawiłem domyślną lokalizację klucza i nie ustawiłem żadnego hasła.
Przez chwilę potem byłem w stanie ssh username@hostnamebez pytania o hasło, a potem przestało działać z jakiegoś powodu.