Dopasowanie nowych obrazów z obliczeń SVD / PCA

Próbuję powielić pomysły ze strony Eigenface na wikipedii. Ze stu przykładowych obrazów reprezentowanych przez macierz danych (gdzie każdy obraz jest spłaszczony do wektora o długości , więc jest na $\bf X$ $n$ $\bf X$ $100$ $n$ macierzą ), obliczyłem rozkład SVD:

X = U Σ V^{T}

$\begin{equation} \bf X = U \Sigma V^{T} \end{equation}$

W związku z tym:

X X^{T} = U Σ^{2} U^{T}

$\begin{equation} \bf X X^{T} = U \Sigma^2 U^{T} \end{equation}$

Biorąc podzbiór największych trybów własnych, mogę aproksymować macierz (niech ): $q$ $\sigma_1 \ge \sigma_2 \ge \cdots$

X \approx σ_{1} u_{1} v_{1}^{T} + σ_{2} u_{2} v_{2}^{T} + \dots + σ_{q} u_{q} v_{q}^{T}

$\begin{equation} {\bf X} \approx \sigma_1 u_1 v_1^{T} + \sigma_2 u_2 v_2^{T} + \cdots + \sigma_q u_q v_q^{T} \end{equation}$

Teraz otrzymuje nowy wektor , która reprezentuje obraz nie w , jak mogę określić ważenie wektorów własnych do najlepiej reprezentować mój nowy obraz ? Czy z wyjątkiem przypadków patologicznych ta reprezentacja jest unikalna? $y$ $\bf X$ $q$ $\bf U$ $y$

Krótko mówiąc, chciałbym to zrobić (ze strony wiki):

Te twarze własne mogą teraz służyć do reprezentowania zarówno istniejących, jak i nowych twarzy : możemy projektować nowy (średnio-odejmowane) obrazu na eigenfaces a tym samym nagrać jak to nowych twarzy różni się od średniej twarzy.

Jak wykonać tę projekcję?

computer-vision linear-systems linear-algebra

— Haczykowaty
źródło

Przyszli czytelnicy mogą uznać tę implementację za wartościową.

— Emre

„Projekcja”, o której mowa, jest projekcją wektorową . Aby obliczyć rzut wektora na wektor , użyj iloczynu wewnętrznego dwóch wektorów: $\mathbf{a}$ $\mathbf{b}$

a_{p r o j} = ⟨ a, b ⟩ b

$\mathbf{a_{proj}} = \langle \mathbf{a}, \mathbf{b} \rangle \mathbf{b}$

w tym przypadku jest elementem wektora, która leży w tym samym kierunku $\mathbf{a_{proj}}$ $\mathbf{a}$ $\mathbf{b}$ . W przestrzeni euklidesowej wewnętrzny operator produktu jest zdefiniowany jako ich iloczyn iloczynu :

⟨ a, b ⟩ = a \cdot b = \sum_{i = 1}^{n} a_{i} b_{i}

$\langle \mathbf{a}, \mathbf{b} \rangle = \mathbf{a} \cdot \mathbf{b} = \sum_{i=1}^{n}a_ib_i$

gdzie jest liczbą składników w wektorach i i a są -ty składnik wektorów i , odpowiednio. Intuicyjnie, obliczając iloczyn wewnętrzny dwóch wektorów, znajdujesz „ile” wektora idzie w kierunku wektora . Zauważ, że jest to liczba ze znakiem, więc wartość ujemna oznaczałaby, że kąt między dwoma wektorami jest większy niż 90 stopni, co ilustruje alternatywna definicja dla operatora rzutowania: $n$ $\mathbf{a}$ $\mathbf{b}$ $a_i$ $b_i$ $i$ $\mathbf{a}$ $\mathbf{b}$ $\mathbf{a}$ $\mathbf{b}$

a_{p r o j} = | a | \cos (θ) b

$\mathbf{a_{proj}} = |\mathbf{a}| \cos(\theta) \mathbf{b}$

gdzie jest kątem między dwoma wektorami. $\theta$

Tak więc, biorąc pod uwagę to wektor i kilka wektorów bazowych , można znaleźć „ile ” idzie w każdym z kierunków każdy z wektorów bazowych. Zazwyczaj wszystkie te wektory bazowe będą wzajemnie prostopadłe. W twoim przypadku SVD jest rozkładem ortogonalnym, więc ten warunek powinien być spełniony. Tak więc, aby osiągnąć to, co opisujesz, wziąłbyś macierz wektorów własnych i obliczysz iloczyn wewnętrzny wektora kandydującego dla każdej z kolumn macierzy: $\mathbf{a}$ $\mathbf{b_i}$ $\mathbf{a}$ $\mathbf{U}$ $\mathbf{y}$

p_{i} = y \cdot u_{i}

$p_i = \mathbf{y} \cdot \mathbf{u_i}$

Wartość skalarna , którą otrzymujesz z każdego produktu wewnętrznego, pokazuje, jak dobrze wektor „zrównał się” z wektorem własnym. Ponieważ wektory własne są ortonormalne , możesz następnie zrekonstruować oryginalny wektor w następujący sposób: $p_i$ $\mathbf{y}$ $i$ $\mathbf{y}$

y = \sum_{i = 1}^{n} p_{i} u_{i}

$\mathbf{y} = \sum_{i=1}^n p_i \mathbf{u_i}$

Zapytałeś, czy ta reprezentacja jest unikalna; Nie jestem do końca pewien, co masz na myśli, ale nie jest to unikalne w tym sensie, że dany wektor mógłby zostać rozłożony przez rzut na dowolną liczbę zasad ortonormalnych. Wektory własne zawarte w macierzy są jednym z takich przykładów, ale można użyć dowolnej liczby innych. Na przykład, obliczenia dyskretnej transformaty Fouriera z może być postrzegane jako wystający, a na jego podstawie ortonormalnych wykładniczej o wartościach zespolonych wektorów o różnej częstotliwości. $\mathbf{y}$ $\mathbf{U}$ $\mathbf{y}$

— Jason R.
źródło

Świetna odpowiedź dzięki! Przez „unikalny” miałem na myśli unikalny w sensie podanym przez SVD. Zgaduję, że biorąc pod uwagę to Baza Ortonormalna, wówczas

obliczyć muszą być unikalne - ale jeśli nie jest podstawą ortonormalna to nie może być (ponieważ jeżeli nie były one prostopadłe, a następnie mogliśmy znaleźć mniejszą Podstawa zestawu)?

y

$\bf y$

— Hooked

y

$\mathbf{y}$

y

$\mathbf{y}$