Wymiar VC modeli regresji

W serii wykładów Uczenie się z danych profesor wspomina, że wymiar VC mierzy złożoność modelu na podstawie tego, ile punktów dany model może rozbić. Działa to więc doskonale w przypadku modeli klasyfikacji, w których można by powiedzieć z N punktów, jeśli klasyfikator jest w stanie skutecznie rozbić punkty k, miarą wymiaru VC byłaby K. Jednak nie było dla mnie jasne, jak mierzy się wymiar VC dla modeli regresji ?

regression machine-learning vc-dimension

— karthikbharadwaj
źródło

Zobacz cs.stackexchange.com/questions/11548/... ncbi.nlm.nih.gov/pubmed/18252610

— kjetil b halvorsen

Odpowiedzi:

Z elementów uczenia statystycznego , str. 238:

Do tej pory omawialiśmy wymiar VC tylko funkcji wskaźnikowych, ale można go rozszerzyć na funkcje o wartościach rzeczywistych. Wymiar VC klasy funkcji o wartościach rzeczywistych jest zdefiniowany jako wymiar VC klasy wskaźnika , gdzie przyjmuje wartości z zakresu g. ${g(x, \alpha)}$ ${\mathbb{1}(g(x, \alpha) − \beta > 0)}$ $\beta$

Lub (nieco) bardziej intuicyjnie, aby znaleźć wymiar VC klasy funkcji o wartościach rzeczywistych, można znaleźć wymiar VC klasy funkcji wskaźnika, który można utworzyć przez próg tej klasy funkcji o wartościach rzeczywistych.

— Sean Easter
źródło

Daje to jednak wymiar VC dla wskaźników progowych, a przy wartości nominalnej nie widzę, w jaki sposób uzyskanie granic PAC dla wskaźników progowych wiele mówi o wydajności funkcji regresji. Być może możesz wymyślić argument, w którym binarnie wyszukujesz wartość regresowaną (dla ograniczonych domen wyjściowych).

— VF1,

@ VF1 Prawda. Jak interpretować wymiar VC funkcji regresji, można zadać dobre, osobne pytanie.

— Sean Easter

Zadałbym osobne pytanie, ale uważam, że odpowiedź brzmi: „nie używaj VC dim do regresji”, ponieważ Rademacher pozwoliłby ci zrobić tyle samo w przypadku arbitralnych strat.

— VF1

@ VF1 Z zainteresowaniem przeczytałbym odpowiedź, która brzmi tak! Chodzi mi o to, aby zasugerować, że normą CV jest ograniczenie pytań do jednego pytania na post oraz że OP nie dotknął interpretacji ani celu.

— Sean Easter

Zobacz rozdział 5.2 Statystycznego uczenia się (Vapnik), aby uzyskać informacje na temat sztuczki progowej przy użyciu miar Lebesgue-Stieltjes. AFAIK to jedyne i ostateczne odniesienie. Powinieneś już wiedzieć, gdzie znaleźć książkę (i inni z Vapnika, wszyscy są superlatywni).

— memeplex
źródło

Byłoby pomocne, gdybyś mógł streścić argument, a nie tylko podać odniesienie.

— mdewey,