Tworzenie indeksu jakości z wielu zmiennych, aby umożliwić porządkowanie rang

22

Mam cztery zmienne numeryczne. Wszystkie są miernikami jakości gleby. Im wyższa zmienna, tym wyższa jakość. Zasięg wszystkich z nich jest inny:

Var1 od 1 do 10

Var2 od 1000 do 2000

Var3 od 150 do 300

Var4 od 0 do 5

Muszę połączyć cztery zmienne w jeden wynik jakości gleby, który z powodzeniem uporządkuje porządek.

Mój pomysł jest bardzo prosty. Standaryzuj wszystkie cztery zmienne, zsumuj je, a cokolwiek otrzymasz, to wynik, który powinien uporządkować rangę. Czy widzisz jakiś problem z zastosowaniem tego podejścia? Czy jest jakieś inne (lepsze) podejście, które poleciłbyś?

Dzięki

Edytować:

Dzięki chłopaki. Dużo dyskusji dotyczyło „wiedzy fachowej w dziedzinie” ... Sprawy rolnicze ... Podczas gdy spodziewałem się więcej statystyk. Jeśli chodzi o technikę, której będę używał ... Prawdopodobnie będzie to proste podsumowanie z-score + regresja logistyczna jako eksperyment. Ponieważ ogromna większość próbek ma słabą jakość 90%, zamierzam połączyć 3 kategorie jakości w jedną i zasadniczo mieć problem binarny (pewna różnica vs brak jakości). Zabijam dwa ptaki jednym kamieniem. Zwiększam swoją próbkę pod względem częstotliwości zdarzeń i korzystam z ekspertów, zachęcając ich do sklasyfikowania moich próbek. Próbki sklasyfikowane przez ekspertów zostaną następnie wykorzystane do dopasowania modelu log-reg, aby zmaksymalizować poziom zgodności / niezgodności z ekspertami… Jak to brzmi dla ciebie?

ranking valuation

— użytkownik333
źródło

19

Proponowane podejście może dać rozsądny wynik, ale tylko przez przypadek. Z tej odległości - to znaczy biorąc pytanie za wartość nominalną, z ukrytymi znaczeniami zmiennych - widać pewne problemy:

Nie jest nawet oczywiste, że każda zmienna jest pozytywnie związana z „jakością”. Na przykład, co jeśli 10 dla „Var1” oznacza, że „jakość” jest gorsza niż jakość, gdy Var1 ma wartość 1? Zatem dodanie go do sumy jest tak źle, jak tylko można; należy go odjąć.
Standaryzacja oznacza, że „jakość” zależy od samego zbioru danych. W związku z tym definicja zmieni się w zależności od różnych zestawów danych lub uzupełnień i usunięć tych danych. Może to zmienić „jakość” w arbitralną, przejściową, nieobiektywną konstrukcję i uniemożliwić porównania między zestawami danych.
Nie ma definicji „jakości”. Co to ma znaczyć? Zdolność do blokowania migracji zanieczyszczonej wody? Umiejętność wspierania procesów organicznych? Zdolność do promowania niektórych reakcji chemicznych? Gleby dobre dla jednego z tych celów mogą być szczególnie ubogie dla innych.
Podany problem nie ma sensu: dlaczego należy oceniać „jakość”? Do czego posłuży ranking - wkład w dalszą analizę, wybór „najlepszej” gleby, rozstrzygnięcie hipotezy naukowej, opracowanie teorii, promocja produktu?
Konsekwencje rankingu nie są oczywiste. Jeśli ranking będzie niepoprawny lub gorszy, co się stanie? Czy świat będzie głodny, środowisko bardziej skażone, naukowcy bardziej wprowadzeni w błąd, ogrodnicy bardziej rozczarowani?
Dlaczego liniowa kombinacja zmiennych powinna być odpowiednia? Dlaczego nie mieliby być zwielokrotniani, potęgowani lub łączeni jako posynomialni lub coś jeszcze bardziej ezoterycznego?
Miary jakości surowej gleby są zwykle ponownie wyrażane. Na przykład, log przepuszczalność jest zwykle bardziej użyteczna niż sama przepuszczalność, a logarytmiczna aktywność jonów wodorowych (pH) jest znacznie bardziej użyteczna niż aktywność. Jakie są odpowiednie ponowne wyrażenia zmiennych dla określenia „jakości”?

Można mieć nadzieję, że nauka o glebach odpowie na większość tych pytań i wskaże, jaka jest odpowiednia kombinacja zmiennych dla każdego obiektywnego poczucia „jakości”. Jeśli nie, to napotykasz problem wyceny z wieloma atrybutami . Artykuł w Wikipedii wymienia dziesiątki metod rozwiązania tego problemu. IMHO, większość z nich jest nieodpowiednia do rozwiązywania pytań naukowych. Jedną z niewielu o solidnej teorii i potencjalnym zastosowaniu w kwestiach empirycznych jest teoria wyceny wielu atrybutów Keeney & Raiffa(MAVT). Wymaga to, abyś był w stanie określić, dla dowolnych dwóch określonych kombinacji zmiennych, która z dwóch powinna mieć wyższą rangę. Ustrukturyzowana sekwencja takich porównań ujawnia (a) odpowiednie sposoby ponownego wyrażenia wartości; (b) czy liniowa kombinacja ponownie wyrażonych wartości da prawidłowy ranking; oraz (c) jeśli możliwa jest kombinacja liniowa, pozwoli ci obliczyć współczynniki. W skrócie, MAVT zapewnia algorytmy rozwiązywania problemu, pod warunkiem, że już wiesz, jak porównać konkretne przypadki.

— Whuber
źródło

RE: 1. Wiem na pewno, że „wyższa liczba, wyższa jakość” dla wszystkich czterech zmiennych RE: 2. Dobra uwaga. Co mogę zrobić, aby dwa zestawy danych były porównywalne

— 333

2

@ użytkownik Moje rekomendacje znajdują się w ostatnim akapicie: najlepiej znaleźć ilościowe wyrażenie „jakości” w literaturze naukowej. Z wyjątkiem tego, zastosuj MAVT. Oba tworzą stałą formułę niezależną od zestawu danych. To zapewnia porównywalność.

— whuber

1

@ Whuber, czy nie można tego postrzegać jako problemu tworzenia miar opartych na dostępnych informacjach, w którym to przypadku sumowanie wyników Z nie jest tak złe, jak się wydaje?

— Andy W

3

@Andy Czy możesz wyjaśnić, co rozumiesz przez „środek kształtujący” i „dostępne informacje”? // Powinienem zauważyć, że wiele miar przydatności gleby dla rolnictwa nie jest nawet monotonicznych, a nawet mniej liniowych: na przykład roślina może kwitnąć w zakresie pH, ale cierpi z powodu pH przekraczającego ten zakres w obu kierunkach . Byłaby to rzeczywiście szczególna okoliczność - być może obejmująca wąski zakres wartości - gdyby prosta liniowa kombinacja cech gleby miała jakikolwiek obiektywny związek z właściwościami rolnymi.

— whuber

2

(y_{1}, \dots, y_{k})

$(y_1, \ldots, y_k)$

(x_{1}, \dots, x_{k})

$(x_1, \ldots, x_k)$

— whuber

3

Ktoś spojrzał na „Recenzję oceny dokładności klasyfikacji zdalnie wykrywanych danych” Russella G. Congaltona z 1990 r.? Opisuje technikę znaną jako macierz błędów do zmieniania macierzy, a także termin, który używa, zwany „danymi normalizującymi”, w którym wszystkie różne wektory są pobierane i „normalizuje się” lub ustawia je na równe od 0 do 1. Zasadniczo zmieniasz wszystkie wektory na równe zakresy od 0 do 1.

— Ragus Paganini
źródło

0

Inną kwestią, o której nie dyskutowałeś, jest skala pomiarów. Wersje V1 i V5 wyglądają tak, jakby były w porządku rangowym, a inne wydają się nie. Więc standaryzacja może wypaczać wynik. Być może lepiej jest przekształcić wszystkie zmienne w rangi i ustalić ważenie dla każdej zmiennej, ponieważ jest bardzo mało prawdopodobne, aby miały taką samą wagę. Równe ważenie jest raczej domyślnym ustawieniem „nie nic”. Być może zechcesz przeprowadzić analizę korelacji lub regresji, aby uzyskać pewne wagi a priori.

— Ralph Winters
źródło

Jak mogę użyć analizy korelacji do określenia ważenia?

— user333

Jeśli masz już istniejącą ogólną miarę jakości, np. Ekspertyzy (lub chcesz zaakceptować inne zmienne jako dane zastępcze), możesz wybrać najwyższe skorelowane zmienne i nadać jej najwyższą wagę.

— Ralph Winters

-3

Po odpowiedzi Ralpha Wintersa możesz użyć PCA (analiza głównego składnika) na macierzy odpowiednio ustandaryzowanych wyników. To da ci „naturalny” wektor wagi, którego możesz użyć do połączenia przyszłych wyników.

Zrób to również po przekształceniu wszystkich wyników w szeregi. Jeśli wyniki są bardzo podobne, masz dobre powody, aby kontynuować którąkolwiek z tych metod. W przypadku rozbieżności doprowadzi to do interesujących pytań i lepszego zrozumienia.

— Hans Engler
źródło

4

Nie zgadzam się. Podczas gdy prawdopodobnie zainteresowane byłyby korelacje między elementami dla ciekawości, wszystkie zmienne mogłyby być ortogonalne, ale nadal przyczyniać się do jakości. Na głupi przykład gleba na Antarktydzie może mieć optymalną zawartość azotu, ale wątpię, by był wystarczający jako odpowiedni klimat.

— Andy W

@Andy W: W takim przypadku wszystkie zmienne powinny być równo ważone, a PCA ci o tym powie. Informuje również, że wiodący składnik stanowi jedynie niewielki ułamek ogólnej zmienności macierzy wyników.

— Hans Engler,

3

Nadal się nie zgadzam. Nie mówi ci, czy wyniki powinny być równo ważone. Dwa elementy mogą mieć dodatnią korelację, ale każdy z nich ma przeciwne relacje do „jakości”. Korelacje między elementami niekoniecznie mówią nic o niezauważonej mierze w danym kontekście. Gdyby jakość była zmienną ukrytą, a zmienne te „odzwierciedlały” tę ukrytą konstrukcję, może to być prawda, ale nie jest tak w tym przykładzie.

— Andy W

A

$A$

m \times n

$m \times n$

σ_{1} u v^{T}

$\sigma_1 uv^T$

A

$A$

n

$n$

v_{j}

$v_j$

v_{j}

$v_j$

— Hans Engler,

3

Nadal się nie zgadzam. Nawet jeśli oczekuje się, że powiązanie będzie w tym samym kierunku, nie oznacza to, że wskaźnikom należy przypisywać jakąkolwiek wagę w oparciu o ich korelację między elementami. Wspólna wariancja może tylko powiedzieć coś o związku między wskaźnikami. Pomyśl o modelu regresji, w którym przewidujemy znaną miarę jakości na podstawie tych wskaźników. Korelacje między elementami między wskaźnikami nie mówią, jakie będą oczekiwane nachylenia.

— Andy W