Różnica między regresją PLS a modelowaniem ścieżki PLS. Krytyka PLS

Pytanie zostało zadane tutaj, ale nikt nie udzielił dobrej odpowiedzi. Myślę więc, że dobrym pomysłem jest powtórzenie tego, a także chciałbym dodać więcej komentarzy / pytań.

Pierwsze pytanie brzmi: jaka jest różnica między „modelowaniem ścieżki PLS” a „regresją PLS”? Mówiąc bardziej ogólnie, czym jest modelowanie równań strukturalnych (SEM), modelowanie ścieżek i regresja? Według mnie regresja skupia się bardziej na przewidywaniu, podczas gdy SEM koncentruje się na związku między odpowiedzią a predyktorami, a modelowanie ścieżki jest szczególnym przypadkiem SEM?
Moje drugie pytanie brzmi: jak wiarygodna jest PLS? Ostatnio był przedmiotem wielu krytyków, jak podkreślono w Rönkkö i in. 2016 i Rönkkö i in. 2015, co prowadzi do odrzucenia artykułów opartych na PLS w czasopismach wysokiego poziomu, takich jak Journal of Operations Management ( tutaj jest uwaga redaktora czasopisma):

Odrzucamy praktycznie wszystkie manuskrypty oparte na PLS, ponieważ doszliśmy do wniosku, że PLS jest bez wyjątku niewłaściwym podejściem do modelowania w modelach wykorzystywanych przez badaczy OM .

Powinienem zauważyć, że moją dziedziną jest spektroskopia, ani zarządzanie / psychologia, ani statystyka. W linkowanych powyżej artykułach autorzy mówią więcej o PLS jako metodzie SEM, ale dla mnie ich krytyka wydaje się dotyczyć również regresji PLS.

sem partial-least-squares path-model

— Ress
źródło

Twoje linki są za zaporami.

— Jeremy Miles,

masz absolutną rację! i przepraszam, mam pliki PDF, ale nie jestem pewien, czy mogę przesłać lub udostępnić. Nauka powinna być wolna :)

— Ress,

Regresję PLS wyjaśniono i omówiono dość szczegółowo w stats.stackexchange.com/questions/179733 . Niestety nie wiem prawie nic o „modelowaniu ścieżek”.

— ameba

Myślę, że „modelowanie ścieżki” to tylko inna nazwa dla SEM

— rep_ho

Z dokumentu z 2016 r .: „Większość tekstów wprowadzających na temat PLS połyskuje w stosunku do wag, argumentując, że PLS jest SEM i dlatego musi zapewniać przewagę nad regresją z kompozytami (np. Gefen i in., 2011); jednak takie prace często nie wskazują wprost, że sam PLS to również regresja z kompozytami. ” wprowadza w błąd. Główny ciąg argumentu, jaki widzę, to czy autorzy twierdzą, że SEM musi być czystą teoretyczną konstrukcją i nie znoszą empirycznie wyprowadzonych równań strukturalnych. Ale PLS wyprowadza „ustrukturyzowane” równania poprzez kowariancję.

— ReneBt

Pierwsze pytanie brzmi: jaka jest różnica między „modelowaniem ścieżki PLS” a „regresją PLS”?

Brak, są synonimami.

Mówiąc bardziej ogólnie, czym jest modelowanie równań strukturalnych (SEM), modelowanie ścieżek i regresja? Według mnie regresja skupia się bardziej na przewidywaniu, podczas gdy SEM koncentruje się na związku między odpowiedzią a predyktorami, a modelowanie ścieżki jest szczególnym przypadkiem SEM?

SEM jest formą regresji. Regresja to dowolna metoda, która koreluje zmienne niezależne i zależne i obejmuje metody wykorzystujące wiele zmiennych obsługiwanych jako osobne jednostki. SEM używa matematycznych zależności między zmiennymi w celu ograniczenia ostatecznego modelu, w przypadku PLS jest to kowariancja. Rozumiem, że modelowanie ścieżki jest terminem specyficznym dla dziedziny (nie mojej, jestem spektroskopistą jak ty).

Moje drugie pytanie brzmi: jak wiarygodna jest PLS? Ostatnio był przedmiotem wielu krytyków, jak podkreślono w Rönkkö i in. 2016 i Rönkkö i in. 2015 r

Doskonały odpór znajduje się w Henseler i in. 2013 Wspólne przekonania i rzeczywistość na temat PLS . Główny problem dotyczy Rönkkö i in. jest to, że PLS nie radził sobie świetnie w niektórych sytuacjach, które zakładają wspólny ukryty czynnik. PLS jest w rzeczywistości zaprojektowany do obsługi wielu ukrytych czynników, co jest sytuacją znacznie bardziej powszechną w prawdziwym świecie.

Jak godny zaufania? Do spektroskopii jest to doskonałe narzędzie, ale ma swoje ograniczenia. Grozi to nadmiernym dopasowaniem, ponieważ może budować złożone modele, które wychwytują wkład z wielu podstawowych czynników. Z tego powodu należy go używać ostrożnie, dlatego niezbędna jest odpowiednia walidacja zewnętrzna, ale te zastrzeżenia dotyczą wszystkich narzędzi do budowania modeli. Pracuję głównie nad zestawami danych ze świata rzeczywistego przez 2 dekady i nie spotkałem żadnego eksperymentalnego zestawu danych, który miałby tylko jeden wspólny czynnik leżący u podstaw zmiennej zależnej (ani oparty na danych, ani na teorii naukowej).

— ReneBt
źródło

+1, chociaż chciałbym, aby ta odpowiedź zawierała więcej szczegółów na temat Ronkko i in. vs Henseler i in. niezgoda. Wcale nie jestem spektroskopistą, ale stosunkowo dobrze rozumiem PLS jako metodę regularyzacji regresji liniowej (tak to przedstawiono w The Elements of Statistics Learning autorstwa Hastie i in.). Myślę, że w chemometrii nazywa się to PLS1. Tutaj „wydajność” odnosi się do błędu rekonstrukcji, można użyć weryfikacji krzyżowej, aby wybrać siłę regularyzacji, itp. Jest to bardzo znane ustawienie dla każdego, kto napotkał regresję grzbietu lub PCR lub coś podobnego.

— ameba

[cd.] Znam również PLS2 z wieloma zmiennymi zależnymi, ale nie jestem pewien, jak często jest on używany. Jednocześnie od próby zrozumienia, co Ronkko i in. oznacza to, że wydaje się, że "SEM" skupia się wyłącznie na powiązaniu wielokrotności X z wieloma Y (czy to PLS2?), a być może bardziej na interpretacji zależności między X i Y niż przewidywaniu Y jako takiego. Nie jestem nawet pewien, co oznaczają przez „wydajność” i nie mam pojęcia, co wolą używać zamiast PLS, kiedy krytykują PLS.

— ameba

Dzięki zarówno ReneBT, jak i ameba. Wysłałem to pytanie na Reddit tutaj i ktoś (soumya_ray) odpowiedział, że regresja i SEM są zasadniczo różne. Nie wyjaśniła różnic technicznych. Btw, jej odpowiedź jest sprzeczna z tym, co powiedziałeś (twoja odpowiedź ma dla mnie sens).

— Ress

Przy okazji, dokonuję wyboru pasma za pomocą PLS. Potwierdzam twój punkt widzenia na temat wydajności PLS, podczas gdy może to prowadzić do dobrych prognoz (zarówno podczas testu, jak i kalibracji), ale model może być zasadniczo błędny lub przynajmniej bardzo trudny do interpretacji, ponieważ wybiera predyktory jako ważne zmienne, które nie mają nic wspólnego z zmienna odpowiedzi.

— Ress

Kolejny komentarz do kluczowych kwestii poruszonych przez autorów brzmi: „Algorytm PLS wytwarza zatem wagi, które zwiększają korelację między sąsiednimi kompozytami w porównaniu do kompozytów ważonych jednostkowo używanych jako punkt początkowy przy użyciu dowolnych korelacji w danych, ale to robi nie gwarantuje osiągnięcia żadnego globalnego optimum ”. Jest to uzasadniona obawa, w skrócie to, co oznacza, że model będzie miał zastosowanie tylko do populacji o tej samej podstawowej strukturze kowariancji, nie oznacza to, że PLS jest nieważny, ale oznacza, że należy ostrożnie budować i stosować model.

— ReneBt