Jak znaleźć lokalne szczyty / doliny w szeregu danych?

Oto mój eksperyment:

Korzystam z findPeaksfunkcji w pakiecie quantmod :

Chcę wykryć „lokalne” piki w granicach tolerancji 5, tj. Pierwsze lokalizacje po spadku szeregów czasowych od lokalnych pików o 5:

aa=100:1
bb=sin(aa/3)
cc=aa*bb
plot(cc, type="l")
p=findPeaks(cc, 5)
points(p, cc[p])
p

Dane wyjściowe to

[1] 3 22 41

Wydaje się nie tak, ponieważ spodziewam się więcej „lokalnych szczytów” niż 3 ...

jakieś pomysły?

Źródło tego kodu można uzyskać, wpisując jego nazwę w wierszu polecenia R. Dane wyjściowe to

function (x, thresh = 0) 
{
    pks <- which(diff(sign(diff(x, na.pad = FALSE)), na.pad = FALSE) < 0) + 2
    if (!missing(thresh)) {
        pks[x[pks - 1] - x[pks] > thresh]
    }
    else pks
}

Test x[pks - 1] - x[pks] > threshporównuje każdą wartość szczytową z wartością, która natychmiast zastępuje ją w szeregu (nie do następnego dołka w szeregu). Wykorzystuje (przybliżone) oszacowanie wielkości nachylenia funkcji bezpośrednio po szczycie i wybiera tylko te piki, których nachylenie przekracza threshrozmiar. W twoim przypadku tylko pierwsze trzy piki są wystarczająco ostre, aby przejść test. Wykryjesz wszystkie szczyty, używając domyślnego:

> findPeaks(cc)
[1]  3 22 41 59 78 96

Zgadzam się z odpowiedzią Whubera, ale chciałem tylko dodać, że część „+2” kodu, która próbuje przesunąć indeks w celu dopasowania do nowo znalezionego szczytu, w rzeczywistości „przekracza” i powinna wynosić „+1”. na przykład w omawianym przykładzie otrzymujemy:

> findPeaks(cc)
[1]  3 22 41 59 78 96

kiedy zaznaczymy te znalezione piki na wykresie (pogrubiona czerwona):

widzimy, że są one konsekwentnie 1 punkt od rzeczywistego szczytu.

konsekwencja

pks[x[pks - 1] - x[pks] > thresh]

powinien być pks[x[pks] - x[pks + 1] > thresh]lubpks[x[pks] - x[pks - 1] > thresh]

DUŻA AKTUALIZACJA

podążając za własną misją znalezienia odpowiedniej funkcji znajdowania pików, napisałem to:

find_peaks <- function (x, m = 3){
    shape <- diff(sign(diff(x, na.pad = FALSE)))
    pks <- sapply(which(shape < 0), FUN = function(i){
       z <- i - m + 1
       z <- ifelse(z > 0, z, 1)
       w <- i + m + 1
       w <- ifelse(w < length(x), w, length(x))
       if(all(x[c(z : i, (i + 2) : w)] <= x[i + 1])) return(i + 1) else return(numeric(0))
    })
     pks <- unlist(pks)
     pks
}

„szczyt” jest zdefiniowany jako lokalne maksima, przy czym mpunkty po obu jego stronach są mniejsze od niego. stąd im większy parametr m, tym bardziej rygorystyczna jest procedura finansowania szczytowego. więc:

find_peaks(cc, m = 1)
[1]  2 21 40 58 77 95

funkcja może być również wykorzystana do znalezienia lokalnych minimów dowolnego wektora sekwencyjnego xpoprzez find_peaks(-x).

Uwaga: teraz umieściłem tę funkcję na gitHub, jeśli ktoś jej potrzebuje: https://github.com/stas-g/findPeaks

Eek: Drobna aktualizacja. Musiałem zmienić dwa wiersze kodu, granice (dodać -1 i +1), aby osiągnąć równoważność z funkcją Stas_G (znajdowało kilka zbyt wielu „dodatkowych pików” w prawdziwych zestawach danych). Przepraszam za każdego, kto bardzo nieznacznie sprowadził mój oryginalny post.

Od dłuższego czasu korzystam z algorytmu znajdowania szczytów Stas_g. Był korzystny dla jednego z moich późniejszych projektów ze względu na jego prostotę. Musiałem jednak użyć go miliony razy do obliczeń, więc przepisałem go w Rcpp (patrz pakiet Rcpp). W prostych testach jest około 6 razy szybszy niż wersja R. Jeśli ktoś jest zainteresowany, dodałem poniższy kod. Mam nadzieję, że komuś pomogę, zdrowie!

Kilka drobnych zastrzeżeń. Ta funkcja zwraca indeksy szczytowe w odwrotnej kolejności do kodu R. Wymaga wbudowanej funkcji C ++ Sign, którą załączyłem. Nie został on w pełni zoptymalizowany, ale nie należy spodziewać się dalszego wzrostu wydajności.

//This function returns the sign of a given real valued double.
// [[Rcpp::export]]
double signDblCPP (double x){
  double ret = 0;
  if(x > 0){ret = 1;}
  if(x < 0){ret = -1;}
  return(ret);
}

//Tested to be 6x faster(37 us vs 207 us). This operation is done from 200x per layer
//Original R function by Stas_G
// [[Rcpp::export]]
NumericVector findPeaksCPP( NumericVector vY, int m = 3) {
  int sze = vY.size();
  int i = 0;//generic iterator
  int q = 0;//second generic iterator

  int lb = 0;//left bound
  int rb = 0;//right bound

  bool isGreatest = true;//flag to state whether current index is greatest known value

  NumericVector ret(1);
  int pksFound = 0;

  for(i = 0; i < (sze-2); ++i){
    //Find all regions with negative laplacian between neighbors
    //following expression is identical to diff(sign(diff(xV, na.pad = FALSE)))
    if(signDblCPP( vY(i + 2)  - vY( i + 1 ) ) - signDblCPP( vY( i + 1 )  - vY( i ) ) < 0){
      //Now assess all regions with negative laplacian between neighbors...
      lb = i - m - 1;// define left bound of vector
      if(lb < 0){lb = 0;}//ensure our neighbor comparison is bounded by vector length
      rb = i + m + 1;// define right bound of vector
      if(rb >= (sze-2)){rb = (sze-3);}//ensure our neighbor comparison is bounded by vector length
      //Scan through loop and ensure that the neighbors are smaller in magnitude
      for(q = lb; q < rb; ++q){
        if(vY(q) > vY(i+1)){ isGreatest = false; }
      }

      //We have found a peak by our criterion
      if(isGreatest){
        if(pksFound > 0){//Check vector size.
         ret.insert( 0, double(i + 2) );
       }else{
         ret(0) = double(i + 2);
        }
        pksFound = pksFound + 1;
      }else{ // we did not find a peak, reset location is peak max flag.
        isGreatest = true;
      }//End if found peak
    }//End if laplace condition
  }//End loop
  return(ret);
}//End Fn

Po pierwsze: algorytm również fałszywie wywołuje kroplę po prawej stronie płaskiego płaskowyżu, ponieważ sign(diff(x, na.pad = FALSE)) będzie wynosił 0, a następnie -1, więc jej różnica również będzie wynosić -1. Prostą poprawką jest upewnienie się, że różnica znaków poprzedzająca wpis ujemny nie jest równa zero, ale dodatnia:

    n <- length(x)
    dx.1 <- sign(diff(x, na.pad = FALSE))
    pks <- which(diff(dx.1, na.pad = FALSE) < 0 & dx.1[-(n-1)] > 0) + 1

Po drugie: algorytm daje bardzo lokalne wyniki, np. „Góra”, po której następuje „dół” w dowolnym szeregu trzech kolejnych wyrazów w sekwencji. Jeśli zamiast tego interesują się lokalne maksima dźwiękowej funkcji ciągłej, to prawdopodobnie istnieją inne lepsze rzeczy, ale jest to moje tanie i natychmiastowe rozwiązanie

1. najpierw zidentyfikuj szczyty, używając bieżącej średniej z 3 kolejnych punktów, aby
   nieznacznie wygładzić dane. Zastosuj również wyżej wspomnianą kontrolę przeciwko płaskiemu, a następnie wypadnięciu.

2. filtruj tych kandydatów, porównując, dla wersji z wygładzoną warstwą, średnią w oknie wyśrodkowaną na każdym szczycie ze średnią lokalnych warunków na zewnątrz.

   "myfindPeaks" <- 
   function (x, thresh=0.05, span=0.25, lspan=0.05, noisey=TRUE)
   {
     n <- length(x)
     y <- x
     mu.y.loc <- y
     if(noisey)
     {
       mu.y.loc <- (x[1:(n-2)] + x[2:(n-1)] + x[3:n])/3
       mu.y.loc <- c(mu.y.loc[1], mu.y.loc, mu.y.loc[n-2])
     }
     y.loess <- loess(x~I(1:n), span=span)
     y <- y.loess[[2]]
     sig.y <- var(y.loess$resid, na.rm=TRUE)^0.5
     DX.1 <- sign(diff(mu.y.loc, na.pad = FALSE))
     pks <- which(diff(DX.1, na.pad = FALSE) < 0 & DX.1[-(n-1)] > 0) + 1
     out <- pks
     if(noisey)
     {
       n.w <- floor(lspan*n/2)
       out <- NULL
       for(pk in pks)
       {
         inner <- (pk-n.w):(pk+n.w)
         outer <- c((pk-2*n.w):(pk-n.w),(pk+2*n.w):(pk+n.w))
         mu.y.outer <- mean(y[outer])
         if(!is.na(mu.y.outer)) 
           if (mean(y[inner])-mu.y.outer > thresh*sig.y) out <- c(out, pk)
       }
     }
     out
   }

To prawda, że ​​funkcja identyfikuje także koniec płaskowyżów, ale myślę, że jest jeszcze jedna łatwiejsza poprawka: ponieważ pierwsza różnica rzeczywistego piku spowoduje „1”, a następnie „-1”, druga różnica będzie mieć „-2”, i możemy to sprawdzić bezpośrednio

    pks <- which(diff(sign(diff(x, na.pad = FALSE)), na.pad = FALSE) < 1) + 1

używając Numpy

ser = np.random.randint(-40, 40, 100) # 100 points
peak = np.where(np.diff(ser) < 0)[0]

lub

double_difference = np.diff(np.sign(np.diff(ser)))
peak = np.where(double_difference == -2)[0]

za pomocą pand

ser = pd.Series(np.random.randint(2, 5, 100))
peak_df = ser[(ser.shift(1) < ser) & (ser.shift(-1) < ser)]
peak = peak_df.index