Próbuję wymyślić, jak wykryć liczbę sylab w korpusie nagrań audio. Myślę, że dobrym proxy może być szczyty w pliku wave.

Oto, co próbowałem z plikiem mówiącym po angielsku (mój faktyczny przypadek użycia to Kiswahili). Zapis tego przykładowego nagrania brzmi: „To ja próbuję użyć funkcji timera. Patrzę na pauzy, wokalizacje”. W tym fragmencie znajduje się łącznie 22 sylab.

plik wav: https://www.dropbox.com/s/koqyfeaqge8t9iw/test.wav?dl=0

seewavePakiet w R jest wielki, i istnieje kilka możliwych funkcji. Najpierw zaimportuj plik wave.

library(seewave)
library(tuneR)
w <- readWave("YOURPATHHERE/test.wav")  
w
# Wave Object
# Number of Samples:      278528
# Duration (seconds):     6.32
# Samplingrate (Hertz):   44100
# Channels (Mono/Stereo): Stereo
# PCM (integer format):   TRUE
# Bit (8/16/24/32/64):    16

Pierwszą rzeczą, której spróbowałem, była timer()funkcja. Jedną z rzeczy, które zwraca, jest czas trwania każdej wokalizacji. Ta funkcja identyfikuje 7 wokalizacji, czyli znacznie mniej niż 22 sylaby. Szybkie spojrzenie na fabułę sugeruje, że wokalizacje nie są równe sylabom.

t <- timer(w, threshold=2, msmooth=c(400,90), dmin=0.1)
length(t$s)
# [1] 7

Próbowałem także funkcji fpeaks bez ustawiania progu. Zwróciło 54 szczyty.

ms <- meanspec(w)
peaks <- fpeaks(ms)

Wykreśla amplitudę raczej według częstotliwości niż czasu. Dodanie parametru progowego równego 0,005 odfiltrowuje szum i zmniejsza liczbę do 23 pików, co jest bardzo zbliżone do faktycznej liczby sylab (22).

Nie jestem pewien, czy to najlepsze podejście. Wynik będzie wrażliwy na wartość parametru progu i muszę przetworzyć dużą partię plików. Czy są jakieś lepsze pomysły na to, jak zakodować to w celu wykrycia pików reprezentujących sylaby?

Nie sądzę, aby to, co następuje, było najlepszym rozwiązaniem, ale @ eipi10 miał dobrą sugestię, aby sprawdzić tę odpowiedź na CrossValidated . Więc zrobiłem.

Ogólne podejście polega na wygładzeniu danych, a następnie znalezieniu pików poprzez porównanie lokalnego filtru maksymalnego z wygładzeniem.

Pierwszym krokiem jest utworzenie argmaxfunkcji:

argmax <- function(x, y, w=1, ...) {
  require(zoo)
  n <- length(y)
  y.smooth <- loess(y ~ x, ...)$fitted
  y.max <- rollapply(zoo(y.smooth), 2*w+1, max, align="center")
  delta <- y.max - y.smooth[-c(1:w, n+1-1:w)]
  i.max <- which(delta <= 0) + w
  list(x=x[i.max], i=i.max, y.hat=y.smooth)
}

Zwracana wartość zawiera argumenty lokalnych maksimów (x) - które odpowiadają na pytanie - oraz indeksy do tablic x i y, w których występują te lokalne maksima (i).

Wprowadziłem niewielkie zmiany w testfunkcji kreślenia: (a), aby wyraźnie zdefiniować xiy oraz (b), aby pokazać liczbę pików:

test <- function(x, y, w, span) {
  peaks <- argmax(x, y, w=w, span=span)

  plot(x, y, cex=0.75, col="Gray", main=paste("w = ", w, ", span = ", 
                                              span, ", peaks = ", 
                                              length(peaks$x), sep=""))
  lines(x, peaks$y.hat,  lwd=2) #$
  y.min <- min(y)
  sapply(peaks$i, function(i) lines(c(x[i],x[i]), c(y.min, peaks$y.hat[i]),
                                    col="Red", lty=2))
  points(x[peaks$i], peaks$y.hat[peaks$i], col="Red", pch=19, cex=1.25)
}

Podobnie jak fpeakspodejście, o którym wspomniałem w moim pierwotnym pytaniu, to podejście wymaga również sporego dostrojenia. Nie będę znać odpowiedzi „właściwej” (tj. Liczby sylab / pików), więc nie jestem pewien, jak zdefiniować regułę decyzyjną.

par(mfrow=c(3,1))
test(ms[,1], ms[,2], 2, 0.01)
test(ms[,1], ms[,2], 2, 0.045)
test(ms[,1], ms[,2], 2, 0.05)

W tym momencie fpeakswydaje mi się trochę mniej skomplikowane, ale wciąż niezadowalające.

Miałem podobne problemy z analizą profili elektroforezy białek. Rozwiązałem je, stosując niektóre funkcje pakietu msprocess R do drugich pochodnych profili (patrz https://fr.wikipedia.org/wiki/D%C3%A9pouillement_d 'une_courbe # Position_et_hauteur_du_pic). Zostało to opublikowane tutaj: http://onlinelibrary.wiley.com/doi/10.1111/1755-0998.12389/abstract;jsessionid=8EE0B64238728C0979FF71C576884771.f02t03

Nie mam pojęcia, czy podobne rozwiązanie może Ci pomóc. Powodzenia

Oto biblioteka w Pythonie, z której korzystałem wcześniej, próbując oszacować okresowość przez znalezienie pików w funkcji autokorelacji.

Wykorzystuje różnice / dyskretne pochodne pierwszego rzędu do wykrywania pików i obsługuje strojenie według progów i minimalnych odległości (między kolejnymi pikami). Rozdzielczość pików można również poprawić za pomocą estymacji i interpolacji Gaussa (patrz link).

Działa całkiem dobrze po wyjęciu z pudełka, bez większych poprawek, nawet w przypadku głośnych danych. Spróbuj.

Chciałbym zaproponować rozwiązanie wykorzystujące changepointpakiet. Poniższy uproszczony przykład próbuje zidentyfikować piki, zdefiniowane tutaj jako punkty zmiany , patrząc na jeden kanał z dostępnych danych.

Przykład

Pozyskiwanie danych

# Libs
library(seewave)
library(tuneR)

# Download
tmpWav <- tempfile(fileext = ".wav")
download.file(url = "https://www.dropbox.com/s/koqyfeaqge8t9iw/test.wav?dl=0",
              destfile = tmpWav)

# Read
w <- readWave(filename = tmpWav)

Przygotowywanie danych

# Libs
require(changepoint)

# Create time series data for one channel as an example
leftTS <- ts(data = w@left)

## Preview
plot.ts(leftTS)

Wykres wygenerowany przez plot.tspołączenie:

Analiza punktu zmiany

changepointPakiet zawiera szereg opcji do identyfikacji zmian / piki w danych. Poniższy kod stanowi tylko prosty przykład znalezienia 3 pików przy użyciu metody BinSeg :

# BinSeg method (example)
leftTSpelt <- cpt.var(data = leftTS, method = "BinSeg", penalty = "BIC", Q = 3)
## Preview
plot(leftTSpelt, cpt.width = 3)

Uzyskany wykres: Możliwe jest również uzyskanie wartości:

cpts(leftTSpelt)
[1]  89582 165572 181053

Notatki dodatkowe

Podany przykład dotyczy głównie zilustrowania, w jaki sposób można zastosować analizę punktu zmiany do dostarczonych danych; należy zachować ostrożność w odniesieniu do parametrów przekazywanych do cp.varfunkcji. Szczegółowe wyjaśnienie pakietu i dostępnych funkcjonalności znajduje się w następującym artykule:

Killick, Rebecca i Eckley, Idris (2014) changepoint: pakiet R do analizy zmian. Journal of Statistics Software, 58 (3). s. 1-19.

ecp

ecp, jest kolejnym wartym uwagi pakietem R. ecpUłatwia przedsięwzięcie nieparametryczny wielowymiarowa analiza punkt zmiany, które mogą być przydatne, jeśli ktoś chciałby zidentyfikować punkty zmiany zachodzące w wielu kanałach.