Czy istnieje miara „równości” rozprzestrzeniania się?

Spojrzałem w górę w Internecie, ale nie mogłem znaleźć nic pomocnego.

Zasadniczo szukam sposobu na zmierzenie, jak „równomiernie” rozkładana jest wartość. Jak w „równomiernie” rozproszonej dystrybucji, takiej jak X :

oraz „nierównomiernie” rozkład Y o mniej więcej tej samej średniej i odchyleniu standardowym:

Ale czy istnieje jakakolwiek miara równości m, taka, że ​​m (X)> m (Y)? Jeśli nie, to jaki byłby najlepszy sposób na stworzenie takiego środka?

(Zrzut ekranu z Khan Academy)

Standardową, mocną, dobrze zrozumiałą, teoretycznie ugruntowaną i często wdrażaną miarą „równości” jest funkcja Ripley K i jej bliski krewny, funkcja L. Chociaż są one zwykle używane do oceny konfiguracji dwuwymiarowych punktów przestrzennych, analiza potrzebna do dostosowania ich do jednego wymiaru (czego zwykle nie podano w odnośnikach) jest prosta.

Teoria

Funkcja K szacuje średni odsetek punktów w odległości od typowego punktu. Dla równomiernego rozkładu w przedziale [ 0 , 1 ] można obliczyć rzeczywistą proporcję i (asymptotycznie w wielkości próby) wynosi 1 - ( 1 - d ) 2 . Odpowiednia jednowymiarowa wersja funkcji L odejmuje tę wartość od K, aby pokazać odchylenia od jednorodności. Dlatego możemy rozważyć normalizację dowolnej partii danych w celu uzyskania zakresu jednostek i zbadanie jej funkcji L pod kątem odchyleń wokół zera.$d$$[0,1]$$1 - (1-d)^2$

Pracowane przykłady

W celu zilustrowania , że symulowane niezależnych próbek o rozmiarze 64 z jednolitej dystrybucji i wykreślono ich (znormalizowane) działa L na krótsze odległości (od 0 do 1 / 3 ), tworząc w ten sposób powłokę szacowania rozkładu próbkowania funkcja l. (Wykreślonych punktów w obrębie tej obwiedni nie można znacząco odróżnić od jednorodności.) Na tej podstawie narysowałem funkcje L dla próbek tego samego rozmiaru z rozkładu w kształcie litery U, rozkładu mieszanki z czterema oczywistymi składnikami i standardowego rozkładu normalnego. Histogramy tych próbek (i ich rozkładów macierzystych) pokazano w celach informacyjnych, używając symboli linii w celu dopasowania do funkcji L.$999$$64$$0$$1/3$

Ostre oddzielone skoki rozkładu w kształcie litery U (przerywana czerwona linia, skrajny lewy histogram) tworzą skupiska o ściśle rozmieszczonych wartościach. Odzwierciedla to bardzo duże nachylenie funkcji L przy . Funkcja L następnie maleje, ostatecznie staje się ujemna, aby odzwierciedlić luki w odległościach pośrednich.$0$

Próbka z rozkładu normalnego (ciągła niebieska linia, histogram po prawej stronie) jest dość zbliżona do równomiernie rozmieszczonego. W związku z tym jego funkcja L nie odbiega szybko od . Jednak przy odległościach około 0,10 wzrósł on wystarczająco powyżej obwiedni, aby zasygnalizować niewielką tendencję do skupiania się. Dalszy wzrost na pośrednich odległościach wskazuje, że skupienie jest rozproszone i powszechne (nie ogranicza się do niektórych izolowanych pików).$0$$0.10$

Początkowe duże nachylenie próbki z rozkładu mieszaniny (środkowy histogram) ujawnia grupowanie w małych odległościach (mniej niż ). Zejście do poziomów ujemnych sygnalizuje separację na pośrednich odległościach. Porównanie tego z funkcją L rozkładu w kształcie litery U ujawnia: nachylenia przy 0 , kwoty, o które te krzywe rosną powyżej 0 , oraz szybkości, z którymi ostatecznie opadają z powrotem do 0, wszystkie dostarczają informacji o naturze skupienia występującego w dane. Każda z tych cech może być wybrana jako pojedyncza miara „równości” w celu dopasowania do konkretnego zastosowania.$0.15$$0$$0$$0$

Przykłady te pokazują, w jaki sposób można zbadać funkcję L w celu oceny odejść danych od jednorodności („równości”) oraz w jaki sposób można z nich uzyskać informacje ilościowe na temat skali i charakteru odlotów.

(Rzeczywiście można wykreślić całą funkcję L, rozciągającą się do pełnej znormalizowanej odległości , aby ocenić duże odstępstwa od jednolitości. Zwykle jednak ważniejsze jest ocenianie zachowania danych na mniejszych odległościach).$1$

Oprogramowanie

Rponiżej kod do wygenerowania tej liczby. Zaczyna się od zdefiniowania funkcji do obliczenia K i L. Stwarza możliwość symulacji z rozkładu mieszanki. Następnie generuje symulowane dane i tworzy wykresy.

Ripley.K <- function(x, scale) {
  # Arguments:
  # x is an array of data.
  # scale (not actually used) is an option to rescale the data.
  #
  # Return value:
  # A function that calculates Ripley's K for any value between 0 and 1 (or `scale`).
  #
  x.pairs <- outer(x, x, function(a,b) abs(a-b))  # All pairwise distances
  x.pairs <- x.pairs[lower.tri(x.pairs)]          # Distances between distinct pairs
  if(missing(scale)) scale <- diff(range(x.pairs))# Rescale distances to [0,1]
  x.pairs <- x.pairs / scale
  #
  # The built-in `ecdf` function returns the proportion of values in `x.pairs` that
  # are less than or equal to its argument.
  #
  return (ecdf(x.pairs))
}
#
# The one-dimensional L function.
# It merely subtracts 1 - (1-y)^2 from `Ripley.K(x)(y)`.  
# Its argument `x` is an array of data values.
#
Ripley.L <- function(x) {function(y) Ripley.K(x)(y) - 1 + (1-y)^2}
#-------------------------------------------------------------------------------#
set.seed(17)
#
# Create mixtures of random variables.
#
rmixture <- function(n, p=1, f=list(runif), factor=10) {
  q <- ceiling(factor * abs(p) * n / sum(abs(p)))
  x <- as.vector(unlist(mapply(function(y,f) f(y), q, f)))
  sample(x, n)
}
dmixture <- function(x, p=1, f=list(dunif)) {
  z <- matrix(unlist(sapply(f, function(g) g(x))), ncol=length(f))
  z %*% (abs(p) / sum(abs(p)))
}
p <- rep(1, 4)
fg <- lapply(p, function(q) {
  v <- runif(1,0,30)
  list(function(n) rnorm(n,v), function(x) dnorm(x,v), v)
  })
f <- lapply(fg, function(u) u[[1]]) # For random sampling
g <- lapply(fg, function(u) u[[2]]) # The distribution functions
v <- sapply(fg, function(u) u[[3]]) # The parameters (for reference)
#-------------------------------------------------------------------------------#
#
# Study the L function.
#
n <- 64                # Sample size
alpha <- beta <- 0.2   # Beta distribution parameters

layout(matrix(c(rep(1,3), 3, 4, 2), 2, 3, byrow=TRUE), heights=c(0.6, 0.4))
#
# Display the L functions over an envelope for the uniform distribution.
#
plot(c(0,1/3), c(-1/8,1/6), type="n", 
     xlab="Normalized Distance", ylab="Total Proportion",
     main="Ripley L Functions")
invisible(replicate(999, {
  plot(Ripley.L(x.unif <- runif(n)), col="#00000010", add=TRUE)
}))
abline(h=0, lwd=2, col="White")
#
# Each of these lines generates a random set of `n` data according to a specified
# distribution, calls `Ripley.L`, and plots its values.
#
plot(Ripley.L(x.norm <- rnorm(n)), col="Blue", lwd=2, add=TRUE)
plot(Ripley.L(x.beta <- rbeta(n, alpha, beta)), col="Red", lwd=2, lty=2, add=TRUE)
plot(Ripley.L(x.mixture <- rmixture(n, p, f)), col="Green", lwd=2, lty=3, add=TRUE)
#
# Display the histograms.
#
n.breaks <- 24
h <- hist(x.norm, main="Normal Sample", breaks=n.breaks, xlab="Value")
curve(dnorm(x)*n*mean(diff(h$breaks)), add=TRUE, lwd=2, col="Blue")
h <- hist(x.beta, main=paste0("Beta(", alpha, ",", beta, ") Sample"), 
          breaks=n.breaks, xlab="Value")
curve(dbeta(x, alpha, beta)*n*mean(diff(h$breaks)), add=TRUE, lwd=2, lty=2, col="Red")
h <- hist(x.mixture, main="Mixture Sample", breaks=n.breaks, xlab="Value")
curve(dmixture(x, p, g)*n*mean(diff(h$breaks)), add=TRUE, lwd=2, lty=3, col="Green")

Zakładam, że chcesz zmierzyć, jak bliski jest rozkład munduru.

Można spojrzeć na odległość między funkcją rozkładu skumulowanego rozkładu równomiernego a empiryczną funkcją rozkładu skumulowanego próbki.

$\{1,2,3,4,5\}$$F_u(x)$

$X$$1,3,5$$X$

$Y$$1,1,5$$Y$

Teraz, jako miarę odległości między rozkładami, weźmy sumę odległości w każdym punkcie, tj

$d(F_u,F_X) < d(F_u,F_Y)$

W bardziej skomplikowanych przypadkach trzeba zmienić normę zastosowaną powyżej, ale główna idea pozostaje taka sama. Jeśli potrzebujesz procedury testowania, dobrym pomysłem może być zastosowanie norm, dla których opracowywane są testy (te, na które zwróciła uwagę Tomka).

Jeśli dobrze rozumiem twoje pytanie, najbardziej „równomierny” rozkład byłby dla ciebie taki, w którym zmienna losowa przyjmuje raz każdą zaobserwowaną wartość - w pewnym sensie jednolita. Jeżeli istnieją „skupiska” obserwacji o tej samej wartości, byłoby to nierówne. Zakładając, że mówimy o dyskretnych obserwacjach, być może mógłbyś spojrzeć zarówno na średnią różnicę między punktami masy prawdopodobieństwa, maksymalną różnicę, a może na ile obserwacji różni się od „średniej” powyżej pewnego progu.

Gdyby były naprawdę jednolite w obserwacjach, wszystkie punkty PM powinny mieć jednakową wartość, a różnica między wartością maksymalną i minimalną wynosi 0. Im bliższa jest średnia różnica 0, tym bardziej „równa” jest większość obserwacji, tym niższa maksymalna różnica i mniej „szczytów” również pokazuje, jak „równe” są obserwacje empiryczne.

Aktualizacja Oczywiście możesz użyć testu chi-kwadrat dla jednorodności lub porównać empiryczną funkcję rozkładu z mundurem, ale w takich przypadkach będziesz karany za wszelkie duże „luki” w obserwacjach, nawet jeśli rozkłady obserwacji są nadal "parzysty".

Środek, którego szukasz, jest formalnie nazywany rozbieżnością .

Wersja jednowymiarowa wygląda następująco:

$I=[a,b)$$x_1,\ldots,x_N\in{I}$

$J\subset{I}$$A(J,N)$$J$

$$A(J,N)=\left|\{x_1,\ldots,x_N\}\cap{J}\right|,$$ $V(J)$$J$

$x_1,\ldots,x_N$

$$> D_N=\sup_{J}{\left|A(J,N)-V(J)\cdot{N}\right|},$$ $J=\prod_{j=1}{[0,t_j)}$$0\leq{t_j}\leq1$.

$x_1,\ldots,x_N$$I$

Sekwencje o niskiej rozbieżności są często nazywane sekwencjami quasirandomowymi .

Podstawowy przegląd sekwencji o niskiej rozbieżności można znaleźć tutaj , a mój post na blogu „ Nieuzasadniona skuteczność sekwencji quasirandomowych ” porównuje różne metody w odniesieniu do integracji numerycznej, mapowania punktów na powierzchnię kuli i quasiperiodycznego układania płytek.

$R^2 = 1$$R^2$