Regresja wielomianowa za pomocą scikit-learn

Próbuję użyć scikit-learn do regresji wielomianowej. Z tego, co czytam, regresja wielomianowa jest szczególnym przypadkiem regresji liniowej. Miałem nadzieję, że może jeden z uogólnionych modeli liniowych scikit może zostać sparametryzowany, aby pasował do wielomianów wyższego rzędu, ale nie widzę takiej możliwości.

Udało mi się użyć Support Vector Regressor z wielordzeniowym jądrem. Działa to dobrze z podzbiorem moich danych, ale dopasowanie dużych zestawów danych zajmuje dużo czasu, więc nadal muszę znaleźć coś szybciej (nawet jeśli handluję z pewną precyzją).

Czy brakuje mi czegoś oczywistego?

— Mihai Damian
źródło

Odpowiedzi:

Biorąc pod uwagę dane , wektor kolumny i , wektor docelowy, możesz wykonać regresję wielomianową, dołączając wielomiany z . Na przykład zastanów się, czy $\mathbf{x}$ $\mathbf{y}$ $\mathbf{x}$

x = [\begin{matrix} 2) \\ - 1 \\ \frac{1}{3)} \end{matrix}]

$\mathbf{x} = \begin{bmatrix} 2 \\[0.3em] -1 \\[0.3em] \frac{1}{3} \end{bmatrix}$

Zastosowanie tylko tego wektora w regresji liniowej implikuje model:

y = α_{1} x

$y = \alpha_1 x$

Możemy dodać kolumny, które są potęgami wektora powyżej, które reprezentują dodawanie wielomianów do regresji. Poniżej pokazujemy to dla wielomianów do potęgi 3:

X = [\begin{matrix} 2) & 4 & 8 \\ - 1 & 1 & - 1 \\ \frac{1}{3)} & \frac{1}{{3)}^{2)}} & \frac{1}{{3)}^{3)}} \end{matrix}]

$X = \begin{bmatrix} 2 & 4 & 8 \\[0.3em] -1 & 1 & -1 \\[0.3em] \frac{1}{3} & \frac{1}{3^2} & \frac{1}{3^3} \end{bmatrix}$

To jest nasza nowa macierz danych, której używamy w regresji liniowej Sklearn, i reprezentuje ona model:

y = α_{1} x + α_{2)} x^{2)} + α_{3)} x^{3)}

$y = \alpha_1 x + \alpha_2x^2 + \alpha_3x^3$

Zauważ, że nie dodałem stałego wektora , ponieważ sklearn automatycznie to uwzględni. $1$

— Cam.Davidson.Pilon
źródło

Teoria

Regresja wielomianowa jest szczególnym przypadkiem regresji liniowej. Z myślą główną o tym, jak wybrać swoje funkcje. Patrząc na regresję wielowymiarową z 2 zmiennymi: x1i x2. Regresja liniowa będzie wyglądać następująco:y = a1 * x1 + a2 * x2.

Teraz chcesz mieć regresję wielomianową (zróbmy wielomian 2 stopnie). Stworzymy kilka dodatkowych funkcji: x1*x2, x1^2i x2^2. Otrzymamy więc twoją „regresję liniową”:

y = a1 * x1 + a2 * x2 + a3 * x1*x2 + a4 * x1^2 + a5 * x2^2

To ładnie pokazuje ważną koncepcję przekleństwa wymiarowości , ponieważ liczba nowych funkcji rośnie znacznie szybciej niż liniowo wraz ze wzrostem stopnia wielomianu. Tutaj możesz zapoznać się z tą koncepcją .

Ćwicz z scikit-learn

Nie musisz robić tego wszystkiego w scikit. Regresja wielomianowa jest już tam dostępna (w wersji 0.15 . Sprawdź, jak ją zaktualizować tutaj ).

from sklearn.preprocessing import PolynomialFeatures
from sklearn import linear_model

X = [[0.44, 0.68], [0.99, 0.23]]
vector = [109.85, 155.72]
predict= [[0.49, 0.18]]
#Edit: added second square bracket above to fix the ValueError problem

poly = PolynomialFeatures(degree=2)
X_ = poly.fit_transform(X)
predict_ = poly.fit_transform(predict)

clf = linear_model.LinearRegression()
clf.fit(X_, vector)
print clf.predict(predict_)

— Salvador Dali
źródło

Co jeśli nie chcę mieć warunków interakcji jako x1 * x2, czy muszę ręcznie konstruować X_? w konstruktorze PolynomialFeatures () jest parametr „interact_only” i domyślnie jest to False. Ale ustawienie wartości True powoduje odwrotność tego, czego chcę: zachowuje TYLKO warunki interakcji i nie utrzymuje x1 ^ 2, x2 ^ 2 itd.

— DenisFLASH,

Link do youtube twierdzi, że wideo już nie istnieje. Czy masz jakiś inny link do tego?

— Markon

@ Markon każdy film z tej listy jest wystarczająco dobry: youtube.com/results?search_query=curse+of+dimensionality

— Salvador Dali

@SalvadorDali, do czego służy redukcja wymiarowości

— użytkownik3916597

Zastanawiam się, czy powinniśmy wyśrodkować dane przed czy po złożeniu wniosku PolynomialFeatures?

— renakre

$x_1$ $x_2$ $y = a_1x_1 + a_2x_2 + a_3x_1^2 + a_4x_2^2 + a_5x_1x_2$ $a_5x_1x_2$ ) to ten, o którym mówię.

— Vermeer Grange
źródło