Zależność między wymiarem VC a stopniami swobody

Studiuję uczenie maszynowe i czuję, że istnieje silna zależność między koncepcją wymiaru VC a bardziej klasyczną (statystyczną) koncepcją stopni swobody.

Czy ktoś może wyjaśnić takie połączenie?

Jak stwierdził prof. Yaser Abu-Mostafa-

Stopnie swobody są abstrakcją efektywnej liczby parametrów. Liczba efektywna zależy od tego, ile dychotomii można uzyskać, a nie od liczby użytych parametrów o wartościach rzeczywistych. W przypadku 2-wymiarowego perceptronu można pomyśleć o nachyleniu i przechwytywaniu (plus binarny stopień swobody, dla którego region idzie do +1), lub można pomyśleć o 3 parametrach w_0, w_1, w_2 (chociaż wagi mogą być jednocześnie skalowane w górę lub w dół bez wpływu na wynikową hipotezę). Stopnie swobody wynoszą jednak 3, ponieważ mamy elastyczność, aby zniszczyć 3 punkty, a nie z tego czy innego powodu zliczania liczby parametrów.

Wymiar VC jest bardzo dobrze wyjaśniony w tym artykule w Sekcji 2.1 i dalszych, z podanymi podstawowymi lematami i dowodami. Możesz przez to przejść.