Jak mogę zaindeksować moją Github Wiki przez wyszukiwarki? robots.txt wydaje się tego zabraniać

Podczas korzystania z narzędzia do sprawdzania linków W3C dowiedziałem się, że nie można indeksować mojej Wiki Github:

https://github.com/aegif/CmisSync/wiki/Getting-started-with-CmisSync-development
Status: (nie dotyczy) zabronione przez robots.txt

To niefortunne, ponieważ chciałbym, aby ludzie mogli łatwo znaleźć tę Wiki w wyszukiwarkach.

PYTANIE: Jak mogę zaindeksować moją Github Wiki przez wyszukiwarki?
A może się mylę i plik robith.txt Githuba jest w porządku?

Plik robots.txt w GitHub wyraźnie zabrania indeksowania stron wiki, na przykład w sekcji Googlebot:

User-agent: Googlebot
Allow: /*/*/tree/master
Allow: /*/*/blob/master
...
Disallow: /*/*/wiki/*/*

Ponieważ jest to plik robotów dla całej witryny, nie można go obejść.

Jest to interesujący wybór, ponieważ GitHub opisuje wiki jako miejsce do „dzielenia się długimi treściami na temat twojego projektu”. Ponieważ domyślnie publiczne wiki są edytowalne przez dowolnego użytkownika, być może jest to ciężka ochrona przed spamerami.

Strony wiki GitHub są wyszukiwane przez wyszukiwarki, które je obsługują. Zobacz dwie pierwsze linie https://github.com/robots.txt :

# If you would like to crawl GitHub contact us at support@github.com.
# We also provide an extensive API: https://developer.github.com/

To prawdopodobnie do analizowania różnych formatów wiki itp.

Na przykład wyszukaj w Google „protokół brokera openrefine”, a pierwszym hitem jest strona pod wiki projektu Github.