W jaki sposób github poznaje język projektu?

Niedawno pracowałem nad projektem na github w JavaScript i C ++ i zauważyłem, że github oznaczył projekt jako C ++. Jeśli musisz wybrać jeden język, prawdopodobnie jest to prawidłowe oznaczenie, ponieważ kod C ++ jest kompilowany jako biblioteka JavaScript, ale to sprawiło, że zacząłem się zastanawiać ... w jaki sposób github wymyśla, w jakim języku oznaczyć każdy projekt?

Aktualizacja z kwietnia 2013 r., Autorstwauclearsandwich (zespół pomocy GitHub lub „supportocat”):

• strona pomocy „ Moje repozytorium jest oznaczone jako niewłaściwy język ” wspomina o używaniu teraz biblioteki lingwistów do określenia języka pliku dla podświetlania składni i statystyk repozytorium. Lingwista wykluczy określone nazwy plików i ścieżki ze statystyk, z wyłączeniem niektórych plików i katalogów dostawców .

• strona pomocy „ Dlaczego mój ulubiony język nie jest rozpoznawany? ” dodaje:

Jeśli żądany język nie otrzymuje podświetlania składni, możesz wesprzeć bibliotekę Linguist, aby go dodać.

(Oryginalna odpowiedź, październik 2012)

Ten wątek na pomocy GitHub wyjaśnia to:

Po prostu podsumowuje rozmiary plików dla każdego rozszerzenia. Największy „wygrywa”.

Chcielibyśmy uniknąć otwierania plików i analizowania ich zawartości, ponieważ oba spowalniałyby proces ... ale może to być jedyna metoda rozwiązywania konfliktów takich jak ten.

Ponieważ nie jest to w 100% dokładne, niektórzy dodali:

Ja również głosowałbym za prostym przełącznikiem ręcznego nadpisywania w przypadkach, w których domysł jest błędny.

Uwaga: jak wspomina Mark Rushakoff w swojej odpowiedzi (za głosem), zgadywanie poprawiło się od tego czasu w projekcie lingwistycznym (open-source od czerwca 2011).
Możesz jednak zobaczyć, że nadal występują problemy: Problemy z językiem GitHub . Więcej informacji
znajdziesz tutaj :

Po wykryciu języka jest on przekazywany do Albino , opakowania Pygments , które wykonuje faktyczne podświetlanie składni.

Możesz dodać dyrektywy lingwistyczne w pliku .gitattributes .

Obecnie projekt lingwistyczny Githuba służy do określania statystyk językowych, jak opisano w tym poście na blogu Github (który ukazał się kilka miesięcy po zadaniu tego pytania).

Po pierwsze, wiedz, że możesz nadpisać język wykryty dla plików w twoim repozytorium za pomocą nadpisań Linguist .

Krótko mówiąc,

1. Każde repozytorium jest oznaczone pierwszym językiem ze statystyk językowych .
2. Statystyki językowe zliczają całkowity rozmiar plików dla każdego wykrytego języka programowania lub języka znaczników. Sprzedane, dokumentacja i wygenerowane pliki nie są liczone.
3. Język każdego pliku jest wykrywany przez Linguist projektu open source .

W jaki sposób Lingwista wykrywa języki?

Lingwista polega na następujących strategiach w kolejności i zwraca język, gdy tylko znajdzie idealne dopasowanie (strategia z zwróceniem jednego języka).

1. Poszukaj modeli Emacsa i Vima .
2. Znana nazwa pliku. Niektóre nazwy plików są powiązane z określonymi językami (npMakefile ).
3. Poszukaj shebangu. Plik z #!/bin/bashhukiem zostanie sklasyfikowany jako Shell.
4. Znane rozszerzenie pliku. Języki mają przypisany zestaw rozszerzeń. Istnieje jednak wiele konfliktów z tą strategią. Sprzeczne wyniki (pomyśl o C ++, C i Objective-C .h) są udoskonalane przez kolejne strategie.
5. Zestaw reguł heurystycznych . Zwykle polegają na wyrażeniach regularnych w zawartości plików, aby spróbować zidentyfikować język (np. ^[^#]+:-Dla Prologu ).
6. Naiwny klasyfikator bayesowski wyszkolony na przykładowych plikach . Ostatnia strategia, najmniejsza dokładność. Klasyfikator Bayesa zawsze przyjmuje podzbiór języków jako dane wejściowe; nie ma na celu klasyfikowania wszystkich języków. Zwracane jest najlepsze dopasowanie znalezione przez klasyfikator.

Co to są pliki niezarejestrowane i pliki dokumentacji?

Lingwista uważa niektóre pliki za sprzedawane , co oznacza, że ​​nie są one uwzględniane w statystykach językowych. Obejmują one biblioteki innych firm, takie jak jQuery i są zdefiniowane w vendor.ymlpliku konfiguracyjnym. Możesz także sprzedawać lub nie sprzedawać pliki w swoim repozytorium, używając nadpisań Linguist .

Podobnie, pliki dokumentacji są definiowane w programie documentation.ymli można je zmieniać za pomocą nadpisań Linguist .

Jak są wykrywane wygenerowane pliki?

Lingwista opiera się na prostych zasadach wykrywania generowanych plików, wykorzystując zarówno ścieżki, jak i zawartość plików. Wygenerowane pliki nie są uwzględniane w statystykach językowych i nie są wyświetlane w różnicach na github.com.

A co z programowaniem i językami znaczników?

W Lingwistyce każdemu językowi nadaje się typ. Typy te można znaleźć w głównym pliku konfiguracyjnym languages.yml. Statystyki uwzględniają tylko języki programowania i języki znaczników.

Po kilku majstrach z lingwistą zauważyłem to.

W przypadku plików z Shebang , Shebang jest brany pod uwagę przy określaniu języka, ale wydaje się być równo ważony względem innych żetonów . Wydaje się, że jest to duży błąd, ponieważ Shebang powinien definitywnie zdefiniować język pliku.

Może to powodować problemy z podświetlaniem.

Rozszerzenia plików to pierwsza rzecz, która przychodzi mi do głowy.