Jakie metody można zastosować do identyfikacji i usunięcia echa z systemu audio?

14

tło

Projektuję system, który będzie miał pojedynczy mały mikrofon i głośniki do użytku w ustawieniach typu telefonu. Najłatwiejszym przykładem, jaki mogę podać, jest rozmowa przez Skype, w której używasz głośników komputera i mikrofonu stacjonarnego.

Martwię się, że dźwięk z głośników zostanie odebrany przez mikrofon i odesłany z powrotem do pierwotnej osoby. Słyszałem, że zdarza się to cały czas na początku rozmów VoIP, ale już prawie go nie słyszę.

Zakładam, że grupy wymyśliły sposoby na usunięcie echa, ale jak to robią?

Podejścia

Moją pierwszą myślą było po prostu odjęcie sygnału wysyłanego do głośników od sygnału mikrofonu, z wyjątkiem tej metody, która wymaga zwrócenia uwagi na opóźnienie. Nie jestem pewien, jak określić opóźnienie bez jakiejś wstępnej kalibracji, której chciałbym uniknąć. Istnieje również kwestia tego, o ile przeskalować sygnał przed odjęciem.

Następnie pomyślałem o zrobieniu pewnego rodzaju korelacji między sygnałem głośnika a sygnałem mikrofonu, aby określić prawdopodobieństwo, że sygnał mikrofonu jest echem, a także być w stanie określić rzeczywiste opóźnienie. Ta metoda działała dobrze, kiedy bawiłem się niektórymi nagranymi sygnałami, ale wydawało się, że opóźnienie w obliczaniu korelacji było przydatne w systemie czasu rzeczywistego. Również regulowana głośność głośników utrudniała ustalenie, czy coś było rzeczywiście skorelowane, czy nie.

Moja kolejna myśl, że musi być ktoś w Internecie, który zrobił to wcześniej z sukcesem, ale nie znalazł żadnych wspaniałych przykładów. Przyszedłem tutaj, aby zobaczyć, jakie metody można zastosować, aby rozwiązać ten problem.

audio

— Kellenjb
źródło

1

Acoustic Echo Cancellation to duży obszar tematyczny z wieloma książkami i dziesięcioleciami prac naukowych na ten temat. Oto jedno SO pytania i odpowiedzi na ten temat: stackoverflow.com/questions/3403152/acoustic-echo-cancellation-in-java

— hotpaw2

1

@ hotpaw2 Nie wiem, dlaczego anulowanie echa akustycznego w łączu Java nie było możliwe do kliknięcia.

— Mark Booth

proszę zasugeruj mi, staram się anulować echo, które jest obecnością w mowie, wejściem do pojedynczego mikrofonu na widowni. Próbuję tego, jak wspomniałeś o filtrze adaptacyjnym, ponieważ dajesz sygnał odniesienia do rozmowy na drugim końcu. ale nie mam tutaj sygnału odniesienia. mój sygnał jest echem oryginalnego sygnału, który odbiera, powiedzmy 500ms z sygnałem głośnika do mikrofonu.

15

Masz rację. Istnieje wiele metod eliminacji echa, ale żadna z nich nie jest trywialna. Najbardziej ogólną i popularną metodą jest eliminacja echa za pomocą filtra adaptacyjnego. W jednym zdaniu zadaniem filtra adaptacyjnego jest zmiana sygnału odtwarzanego przez zminimalizowanie ilości informacji pochodzących z wejścia.

Filtry adaptacyjne

Filtr adaptacyjny (cyfrowy) to filtr, który zmienia swoje współczynniki i ostatecznie zbiega do optymalnej konfiguracji. Mechanizm tej adaptacji działa poprzez porównanie wydajności filtra z pewną pożądaną wydajnością. Poniżej znajduje się schemat ogólnego filtru adaptacyjnego:

wprowadź opis zdjęcia tutaj

$x[n]$ $\vec{w}_n$ $\hat{d}[n]$ $\hat{d}[n]$ $d[n]$ $e[n]$ $\vec{w}_n$ $w[n]$ $n$ $e[n]$ $\vec{w}_n$ $\vec{w}_n$ $\hat{d}[n]$ $d[n]$

Redukcja szumów

Problem eliminacji echa można przedstawić w postaci problemu z adaptacyjnym filtrem, w którym staramy się uzyskać pewną znaną idealną moc wyjściową na podstawie danych wejściowych poprzez znalezienie optymalnego filtra spełniającego relację między wejściami i wyjściami. W szczególności, gdy złapiesz zestaw słuchawkowy i powiesz „cześć”, zostanie odebrany na drugim końcu sieci, zmieniony przez reakcję akustyczną pokoju (jeśli jest odtwarzany na głos) i przekazany z powrotem do sieci, aby wrócić do ciebie jako echo. Ponieważ jednak system wie, jak brzmiało początkowe „cześć”, a teraz wie, jak brzmi pogłos i opóźnione „cześć”, możemy spróbować zgadnąć, jak ta reakcja pokojowa używa filtra adaptacyjnego. Następnie możemy użyć tej prognozy, zbierz wszystkie przychodzące sygnały z tą odpowiedzią impulsową (co dałoby nam oszacowanie sygnału echa) i odejmij go od tego, co trafia do mikrofonu osoby, do której dzwonisz. Poniższy schemat pokazuje adaptacyjny tłumik echa.

wprowadź opis zdjęcia tutaj

$x[n]$ $d[n]$ $\vec{w}_n$ $x[n]$ $y[n]$ $d[n]$ $e[n]=d[n]-y[n]$

$\vec{w}_n$

{\vec{x}}_{n} = {(x [n], x [n - 1], \dots, x [n - N. + 1])}^{T.}

$\vec{x}_n = \left ( x[n], x[n-1], \ldots , x[n-N+1] \right)^T$

$N$ $\vec{w}_n$ $x$

{\vec{w}}_{n} = {(w [0], w [1], \dots, x [N. - 1])}^{T.}

$\vec{w}_n = \left ( w[0], w[1], \ldots , x[N-1] \right )^T$

$y[n]$ $= \vec{x}_n$ i $= \vec{w}_n$ :

y [n] = {\vec{x}}_{n}^{T.} {\vec{w}}_{n} = {\vec{x}}_{n} \cdot {\vec{w}}_{n}

$y[n] = \vec{x}_n^T \vec{w}_n = \vec{x}_n \cdot \vec{w}_n$

Teraz, gdy możemy obliczyć błąd, do zminimalizowania go używamy znormalizowanej metody spadku gradientu . Otrzymujemy następującą regułę aktualizacji dla $\vec{w}$ :

{\vec{w}}_{n + 1} = {\vec{w}}_{n} + μ {\vec{x}}_{n} \frac{mi [n]}{{\vec{x}}_{n}^{T.} {\vec{x}}_{n}} = {\vec{w}}_{n} + μ {\vec{x}}_{n} \frac{{\vec{x}}_{n}^{T.} {\vec{w}}_{n} - re [n]}{{\vec{x}}_{n}^{T.} {\vec{x}}_{n}}

$\vec{w}_{n+1} = \vec{w}_n + \mu \vec{x}_n \frac{e[n]}{ \vec{x}_n^T \vec{x}_n}= \vec{w}_n + \mu \vec{x}_n \frac{\vec{x}_n^T \vec{w}_n - d[n]}{ \vec{x}_n^T \vec{x}_n}$

gdzie $\mu$ to rozmiar kroku adaptacji taki, że $0 \leq \mu \leq 2$ .

Rzeczywiste zastosowania i wyzwania

Z tą metodą eliminacji echa może wynikać kilka problemów. Po pierwsze, jak wspomniano wcześniej, nie zawsze jest prawdą, że druga osoba milczy, gdy odbiera sygnał „cześć”. Można wykazać (ale wykracza to poza zakres tej odpowiedzi), że w niektórych przypadkach nadal przydatne może być oszacowanie odpowiedzi impulsowej, podczas gdy na drugim końcu linii znajduje się znaczna ilość sygnału wejściowego, ponieważ sygnał wejściowy i echo są zakłada się, że jest statystycznie niezależny; dlatego minimalizacja błędu nadal będzie prawidłową procedurą. Zasadniczo potrzebny jest bardziej wyrafinowany system do wykrywania dobrych odstępów czasu w celu oszacowania echa.

Z drugiej strony pomyśl o tym, co dzieje się, gdy próbujesz oszacować echo, gdy odbierany sygnał to w przybliżeniu cisza (właściwie szum). W przypadku braku znaczącego sygnału wejściowego algorytm adaptacyjny rozchodzi się i szybko zaczyna wytwarzać bezsensowne wyniki, których kulminacją jest ostatecznie przypadkowe tupot echa. Oznacza to, że musimy również wziąć pod uwagę wykrywanie mowy . Współczesne tłumiki echa wyglądają bardziej jak na poniższym rysunku, ale powyższy opis jest jego najjaśniejszy.

wprowadź opis zdjęcia tutaj

Istnieje mnóstwo literatury na temat filtrów adaptacyjnych i eliminacji echa, a także niektórych bibliotek open source, z których można korzystać.

— Phonon
źródło

2

„zadaniem filtra adaptacyjnego jest sygnał”? Przypadkowo masz słowo.

— endolith

@endolith Thanks. Nie mogłem wymyślić dobrego sposobu na naprawienie tego, więc użyłem alter . Możesz edytować go za pomocą czegoś bardziej interesującego. =)

— Phonon

3

Nie jestem pewien, jak ustalić opóźnienie bez jakiejś wstępnej kalibracji

Zacznę od zmodyfikowania algorytmu akustycznego odcisków palców, takiego jak ten używany przez Shazama .

Twoje wymagania są podobne do Shazama pod wieloma względami (funkcje muszą przetrwać algorytm kompresji zaprojektowany dla telefonii, przechodzą także przez mikrofony niskiej jakości), więc prawdopodobnie możesz użyć tych samych funkcji (lokalne maksima mocy w przestrzeni czasu / częstotliwości) możesz zwiększyć rozdzielczość czasową kosztem rozdzielczości częstotliwości.

Istnieje również kwestia tego, o ile przeskalować sygnał przed odjęciem.

Jednolite skalowanie prawie na pewno nie będzie wystarczająco dokładne. Trzeba by zrobić coś w rodzaju aproksymacji odpowiedzi częstotliwościowej z filtrem FIR, a następnie przepuszczenie (opóźnionego) sygnału mikrofonowego przez filtr odwrócony przed odjęciem go od odbieranego sygnału.

— finnw
źródło

Odcisk palca Shazam nie może zapewnić dokładnego przybliżenia opóźnienia. Wykorzystuje wiele złożonych procesów ekstrakcji funkcji do porównywania próbek audio, z których nie wszystkie są oparte na czasie.

— Phonon

@Phonon, Shazam może teraz używać dodatkowych algorytmów, ale ten w połączonym dokumencie jest oparty na czasie i daje dobre oszacowanie opóźnienia.

— finnw

Może coś takiego jak korelacja krzyżowa wysłanych i odebranych spektrogramów powiedziałoby ci opóźnienie. Powinny być odporne na działanie filtrowania i dodatkowego hałasu

— endolith