Czy w przypadku niezrównoważonej klasy muszę korzystać z próbkowania w moich zestawach danych do sprawdzania poprawności / testowania?

Jestem początkującym w uczeniu maszynowym i mam do czynienia z sytuacją. Pracuję nad problemem określania stawek w czasie rzeczywistym z zestawem danych IPinYou i próbuję przewidzieć kliknięcie.

Chodzi o to, że, jak być może wiesz, zestaw danych jest bardzo niezrównoważony: około 1300 negatywnych przykładów (bez kliknięcia) na 1 pozytywny przykład (kliknięcie).

Tym się właśnie zajmuję:

1. Załaduj dane
2. Podziel zestaw danych na 3 zestawy danych: A = szkolenie (60%) B = sprawdzanie poprawności (20%) C = testowanie (20%)
3. Dla każdego zestawu danych (A, B, C) wykonaj niepełne próbkowanie dla każdej ujemnej klasy, aby uzyskać stosunek 5 (5 negatywnych przykładów dla 1 pozytywnego przykładu). To daje mi 3 nowe zestawy danych, które są bardziej zrównoważone: A „B” C ”

Następnie trenuję mój model z zestawem danych A 'i regresją logistyczną.

Moje pytanie brzmi:

1. Którego zestawu danych muszę użyć do weryfikacji? B czy B '?

2. Którego zestawu danych muszę używać do testowania? C lub C ”

3. Które dane są najbardziej odpowiednie do oceny mojego modelu? F1Score wydaje się być dobrze wykorzystywanym wskaźnikiem. Ale tutaj z powodu niezrównoważonej klasy (jeśli używam zestawów danych B i C), precyzja jest niska (poniżej 0,20), a na F1Score duży wpływ ma niskie przywołanie / precyzja. Czy bardziej dokładne byłoby użycie aucPR lub aucROC?

4. Jeśli chcę wykreślić krzywą uczenia się, jakich wskaźników powinienem użyć? (wiedząc, że błąd% nie jest istotny, jeśli używam zestawu danych B do sprawdzania poprawności)

Z góry dziękuję za poświęcony czas!

Pozdrowienia.

Świetne pytanie ... Oto kilka konkretnych odpowiedzi na ponumerowane pytania:

1)Powinieneś sprawdzić poprawność na B, a nie B`. W przeciwnym razie nie będziesz wiedzieć, jak dobrze działa równoważenie klas. Sprawdzanie poprawności zarówno B, jak i B` nie może zaszkodzić i będzie przydatne na podstawie odpowiedzi na 4 poniżej.

2) Powinieneś przetestować zarówno C, jak i C` na podstawie 4 poniżej.

3)Trzymałbym się F1 i przydałoby się użyć ROC-AUC, co zapewnia dobrą kontrolę poczytalności. Oba są zwykle przydatne w przypadku niezrównoważonych klas.

4)To staje się naprawdę trudne. Problem polega na tym, że najlepsza metoda wymaga ponownej interpretacji wyglądu krzywych uczenia się lub użycia zarówno ponownie próbkowanych, jak i oryginalnych zestawów danych.

Klasyczna interpretacja krzywych uczenia się to:

• Overfit - linie nie do końca się łączą;
• Underfit - linie łączą się, ale mają zbyt niski wynik F1;
• Dokładnie - linie łączą się z rozsądnym wynikiem F1.

Teraz, jeśli trenujesz na A` i testujesz na C, linie nigdy się całkowicie nie połączą. Jeśli trenujesz na A` i testujesz na C`, wyniki nie będą miały znaczenia w kontekście pierwotnego problemu. Więc co robisz?

Odpowiedzią jest trenowanie na A` i testowanie na B`, ale także testowanie na B. Zdobądź wynik F1 dla B` tam, gdzie chcesz, aby to był, a następnie sprawdź wynik F1 dla B. Następnie wykonaj testy i wygeneruj krzywe uczenia się dla C. Krzywe nigdy się nie łączą, ale będziesz miał poczucie akceptowalnego odchylenia ... to różnica między F1 (B) i F1 (B`).

Nowa interpretacja krzywych uczenia się jest następująca:

• Overfit - Linie nie łączą się i są dalej od siebie niż F1 (B`) -F1 (B);
• Underfit - linie nie łączą się, ale różnica jest mniejsza niż F1 (B`) -F1 (B), a wynik F1 (C) jest poniżej F1 (B);
• W sam raz - linie nie łączą się, ale różnica jest mniejsza niż F1 (B`) -F1 (B) z wynikiem F1 (C) podobnym do F1 (B).

Ogólne : Usilnie sugeruję, aby w przypadku niezrównoważonych klas najpierw spróbować dostosować wagi klas w algorytmie uczenia się zamiast nadmiernego / niedostatecznego próbkowania, ponieważ pozwala to uniknąć rygorystycznej moralności opisanej powyżej. Jest bardzo łatwy w bibliotekach takich jak scikit-learn i całkiem łatwy w obsłudze kod we wszystkim, co korzysta z funkcji sigmoid lub większościowego głosowania.

Mam nadzieję że to pomoże!

Dla 1)i 2)chcesz

1) choose a model that performs well on data distributed as you 
   expect the real data will be 
2) evaluate the model on data distributed the same way

W przypadku tych zestawów danych nie powinno być potrzeby równoważenia klas.

Możesz także spróbować użyć wag klas zamiast niedociążenia / oversamplingu, ponieważ to zajmie się tą decyzją.

Dla 3)prawdopodobnie chcesz zoptymalizować za pomocą cokolwiek metryka będzie zakończył (jeśli jest to konkurencja). Ale jeśli to nie jest rozważane, wszystkie te modele są dobrym wyborem. Niska precyzja może mieć wpływ na F1, ale chcesz, aby została przechwycona. Właśnie wtedy, gdy naiwne modele (jak zgadywanie klasy większościowej) mogą dobrze ocenić według niektórych wskaźników, wyniki takie jak F1 są istotne.

Jeśli chodzi o 4)to, że nie ma nic złego w pokazaniu dowolnej metryki, na której się optymalizujesz.

Powinieneś przetestować swój klasyfikator na zestawie danych, który reprezentuje powód, dla którego zostanie on użyty. Najlepsza jest zwykle niezmodyfikowana dystrybucja.

Podczas nauki zmodyfikuj zestaw danych w jakikolwiek sposób, który ci pomoże.

Aby uzyskać szczegółowe informacje, zobacz Czy powinienem wybrać „zrównoważony” zestaw danych czy „reprezentatywny” zestaw danych?