@kjetil b halvorsen daje miłą dyskusję na temat geometrycznej intuicji stojącej za pozytywną półokreślonością jako częściowego uporządkowania. Bardziej niechlujne podejście przyjmie tę samą intuicję. Jeden, który opiera się na rodzajach obliczeń, które możesz chcieć zrobić z macierzami wariancji.
Załóżmy, że masz dwie losowe zmienne i . Jeśli są skalarami, możemy obliczyć ich wariancje jako skalary i porównać je w oczywisty sposób, używając skalarnych liczb rzeczywistych i . Więc jeśli i , mówimy, że zmienna losowa ma mniejszą wariancję niż .xyV(x)V(y)V(x)=5V(y)=15xy
Z drugiej strony, jeśli i są wartościami wektora zmiennych losowych (powiedzmy, że są dwie wektory), w jaki sposób możemy porównać ich wariancji nie jest tak oczywista. Powiedzmy, że ich wariancje to:
Jak porównujemy wariancje tych dwóch losowych wektorów? Jedyne, co moglibyśmy zrobić, to po prostu porównać wariancje ich poszczególnych elementów. Możemy więc powiedzieć, że wariancja jest mniejsza niż wariancja po prostu porównując liczby rzeczywiste, takie jak: ixyV(x)=[10.50.51]V(y)=[8336]
x1y1V(x1)=1<8=V(y1)V(x2)=1<6=V(y2). Więc może moglibyśmy powiedzieć, że wariancja jest wariancji jeśli wariancja każdego elementu jest wariancji odpowiedniego elementu . To byłoby jak powiedzenie jeśli każdy z elementów ukośnych jest odpowiadającym elementem ukośnym .x≤yx≤yV(x)≤V(y)V(x)≤V(y)
Ta definicja wydaje się rozsądna na pierwszy rzut oka. Ponadto, o ile rozważane macierze wariancji są ukośne (tzn. Wszystkie kowariancje mają wartość 0), jest to takie samo, jak stosowanie półokreśloności. To znaczy, jeśli wariancje wyglądają jak
a następnie mówiąc jest dodatnio-półokreślone (tj. że ) jest dokładnie takie samo jak powiedzenie i . Wszystko wydaje się dobre, dopóki nie wprowadzimy kowariancji. Rozważ ten przykład:
V(x)=[V(x1)00V(x2)]V(y)=[V(y1)00V(y2)]
V(y)−V(x)V(x)≤V(y)V(x1)≤V(y1)V(x2)≤V(y2)V(x)=[10.10.11]V(y)=[1001]
Teraz, używając porównania, które uwzględnia tylko przekątne, powiedzielibyśmy i rzeczywiście nadal jest prawdą, że element po elemencie . To, co może nas niepokoić, to fakt, że jeśli pewną ważoną sumę elementów wektorów, takich jak i , wówczas się na fakt, że chociaż mówimy .V(x)≤V(y)V(xk)≤V(yk)3x1+2x23y1+2y2V(3x1+2x2)>V(3y1+2y2)V(x)≤V(y)
To dziwne, prawda? Gdy i są skalarne, to gwarantuje, że dla dowolnej, nie-losowych , .xyV(x)≤V(y)aV(ax)≤V(ay)
Jeśli z jakiegoś powodu interesują nas liniowe kombinacje elementów zmiennych losowych, takie jak to, możemy wzmocnić naszą definicję dla macierzy wariancji. Może chcemy powiedzieć wtedy i tylko wtedy, gdy prawdą jest, że , bez względu na to, jakie liczby stałe i wybieramy. Zauważ, że jest to silniejsza definicja niż definicja tylko po przekątnej, ponieważ jeśli to znaczy , a jeśli to mówi .≤V(x)≤V(y)V(a1x1+a2x2)≤V(a1y1+a2y2)a1a2a1=1,a2=0V(x1)≤V(y1)a1=0,a2=1V(x2)≤V(y2)
Ta druga definicja, która mówi wtedy i tylko wtedy, gdy dla każdego możliwego ustalonego wektora , jest zwykłą metodą porównywania wariancji macierze oparte na dodatniej :
Spójrz na ostatnie wyrażenie i definicję dodatniej półokreślonej, aby zobaczyć, że definicja dla macierzy wariancji jest wybrana dokładnie, aby zagwarantować, że wtedy i tylko wtedy, gdy dla dowolnego wyboru , tj. gdy jest dodatnie pół -określony.V(x)≤V(y)V(a′x)≤V(a′y)aV(a′y)−V(a′x)=a′V(x)a−a′V(y)a=a′(V(x)−V(y))a
≤V(x)≤V(y)V(a′x)≤V(a′y)a(V(y)−V(x))
Tak więc odpowiedź na twoje pytanie brzmi: ludzie twierdzą, że macierz wariancji jest mniejsza niż macierz wariancji jeśli jest dodatnio półokreślona, ponieważ są zainteresowani porównaniem wariancji kombinacji liniowych elementów leżących poniżej wektorów losowych. Wybrana definicja wynika z tego, co jesteś zainteresowany obliczeniem i jak ta definicja pomaga ci w tych obliczeniach.VWW−V
a
ib
jeślia-b
jest dodatnia, powiedzielibyśmy, że po usunięciu zmiennościb
za
niej pozostaje trochę „prawdziwej” zmiennościa
. Podobnie jest w przypadku wariancji wielowymiarowych (= macierze kowariancji)A
iB
. JeśliA-B
jest pozytywnie określony, oznacza to, żeA-B
konfiguracja wektorów jest „rzeczywista” w przestrzeni euklidesowej: innymi słowy, po usunięciuB
zA
niej ta ostatnia nadal jest realną zmiennością.