Parellel między LSA i pLSA

W oryginalnej pracy pLSA autor, Thomas Hoffman, rysuje paralelę między strukturami danych pLSA i LSA, o których chciałbym z tobą porozmawiać.

Tło:

Czerpiąc inspirację z wyszukiwania informacji, załóżmy, że mamy kolekcję $N$ dokumenty

$$D = \lbrace d_1, d_2, ...., d_N \rbrace$$ i słownictwo $M$ warunki $$\Omega = \lbrace \omega_1, \omega_2, ..., \omega_M \rbrace$$

corpus $X$ może być reprezentowany przez $N \times M$ macierz koocurencji.

W Latent Semantic Analisys autorstwa SVD macierz$X$ jest podzielony na trzy macierze:

$$X = U \Sigma V^T$$ gdzie $\Sigma = diag \lbrace \sigma_1, ..., \sigma_s \rbrace$ i $\sigma_i$ są pojedynczymi wartościami $X$ i $s$ jest ranga $X$.

Przybliżenie LSA z $X$

$$\hat{X} = \hat{U}\hat{\Sigma}\hat{V^T}$$ jest następnie obliczany obcięcie trzech macierzy do pewnego poziomu $k < s$, jak pokazano na zdjęciu:

W pLSA wybrano stały zestaw tematów (zmienne ukryte) $Z = \lbrace z_1, z_2, ..., z_Z \rbrace$ przybliżenie $X$ jest obliczany jako:

$$X = [P(d_i | z_k)] \times [diag(P(z_k)] \times [P(f_j|z_k)]^T$$ gdzie trzy macierze są tymi, które maksymalizują prawdopodobieństwo modelu.

Rzeczywiste pytanie:

Autor stwierdza, że ​​te relacje istnieją:

• $U = [P(d_i | z_k)]$
• $\hat{\Sigma} = [diag(P(z_k)]$
• $V = [P(f_j|z_k)]$

i że zasadniczą różnicą między LSA i pLSA jest funkcja celu wykorzystywana do określania optymalnego rozkładu / aproksymacji.

Nie jestem pewien, czy ma rację, ponieważ uważam, że dwie macierze $\hat{X}$ reprezentują różne koncepcje: w LSA jest to przybliżona liczba przypadków, w których termin pojawia się w dokumencie, aw pLSA jest (szacunkowe) prawdopodobieństwo, że termin pojawi się w dokumencie.

Czy możesz mi pomóc wyjaśnić tę kwestię?

Ponadto załóżmy, że obliczyliśmy dwa modele na korpusie, biorąc pod uwagę nowy dokument $d^*$, w LSA używam do obliczenia przybliżenia jako:

$$\hat{d^*} = d^*\times V \times V^T$$

1. Czy to jest zawsze ważne?
2. Dlaczego nie otrzymuję znaczącego wyniku zastosowania tej samej procedury do pLSA? $$\hat{d^*} = d^*\times [P(f_j|z_k)] \times [P(f_j|z_k)]^T$$

Dziękuję Ci.

Dla uproszczenia podaję tutaj związek między LSA i nieujemnym rozkładem macierzy (NMF), a następnie pokazuję, jak prosta modyfikacja funkcji kosztu prowadzi do pLSA. Jak stwierdzono wcześniej, zarówno LSA, jak i pLSA są metodami faktoryzacji w tym sensie, że aż do normalizacji wierszy i kolumn rozkład niskiego rzędu macierzy terminów dokumentu:

$$X=U\Sigma D$$

używając poprzednich notacji. Mówiąc prościej, macierz terminów dokumentu można zapisać jako iloczyn dwóch macierzy:

$$X = AB^T$$

gdzie $A\in\Re^{N\times s}$ i $B\in\Re^{M\times s}$. W przypadku LSA zgodność z poprzednim wzorem uzyskuje się przez ustawienie $A=U \sqrt{\Sigma}$ i $B=V\sqrt{\Sigma}$.

Prostym sposobem na zrozumienie różnicy między LSA i NMF jest użycie ich interpretacji geometrycznej:

• LSA to rozwiązanie:

  $$\min_{A,B} \|X - AB^T \|_F^2,$$

• NMF- to rozwiązanie: $L_2$

  $$\min_{A\ge 0,B\ge 0} \|X - AB^T \|_F^2,$$

• NMF-KL jest równoważne z pLSA i jest rozwiązaniem:

  $$\min_{A\ge 0,B\ge 0} KL(X|| AB^T).$$

gdzie jest Kullback-Leiblera rozbieżność pomiędzy macierzy i . Łatwo zauważyć, że wszystkie powyższe problemy nie mają unikalnego rozwiązania, ponieważ można pomnożyć przez liczbę dodatnią i podzielić$KL(X||Y) = \sum_{ij} x_{ij}\log{\frac{x_{ij}}{y_{ij}}}$$X$$Y$$A$$B$przez ten sam numer, aby uzyskać tę samą wartość celu. Stąd - w przypadku LSA ludzie zwykle wybierają podstawę ortogonalną posortowaną według malejących wartości własnych. Jest to podane przez rozkład SVD i identyfikuje rozwiązanie LSA, ale każdy inny wybór byłby możliwy, ponieważ nie miałby wpływu na większość operacji (podobieństwo kosinusu, wspomniana powyżej formuła wygładzania itp.). - w przypadku NMF rozkład ortogonalny nie jest możliwy, ale rzędy są zwykle ograniczone do sumy do jednego, ponieważ ma bezpośrednią interpretację probabilistyczną jako . Jeśli ponadto wiersze są znormalizowane (tj. Suma do jednego), wówczas wiersze muszą sumować do jednego, co prowadzi do interpretacji probabilistycznej$A$$p(z_k|d_i)$$X$$B$$p(f_j|z_k)$ . Istnieje niewielka różnica w porównaniu z wersją pLSA podaną w powyższym pytaniu, ponieważ kolumny są ograniczone do sumowania do jednego, więc wartości w są , ale różnica jest tylko zmianą parametryzacji problem pozostaje ten sam.$A$$A$$p(d_i|z_k)$

Teraz, aby odpowiedzieć na początkowe pytanie, jest coś subtelnego w różnicy między LSA i pLSA (i innymi algorytmami NMF): ograniczenia nieujemności wywołują „efekt grupowania”, który nie jest prawidłowy w klasycznym przypadku LSA, ponieważ wartość osobliwa Rozwiązanie rozkładu jest niezmienne obrotowo. Ograniczenia nieujemności w jakiś sposób przełamują tę niezmienność rotacyjną i nadają czynniki o pewnym znaczeniu semantycznym (tematy w analizie tekstu). Pierwszy artykuł, który to wyjaśni, to:

Donoho, David L. i Victoria C. Stodden. „Kiedy nieujemna faktoryzacja macierzy zapewnia prawidłowy rozkład na części?” Postępy w neuronowych systemach przetwarzania informacji 16: materiały z konferencji w 2003 r. MIT Press, 2004. [link]

W przeciwnym razie relacja między PLSA i NMF jest opisana tutaj:

Ding, Chris, Tao Li i Wei Peng. „O równoważności między nieujemnym rozkładem macierzy i probabilistycznym utajonym indeksowaniem semantycznym”. Statystyka obliczeniowa i analiza danych 52.8 (2008): 3913-3927. [połączyć]