Jak AI uczy się języka?

Myślałem o sztucznej inteligencji i o tym, jak będą działać, kiedy zdałem sobie sprawę, że nie mogę wymyślić sposobu, w jaki sztucznej inteligencji można by nauczyć. Dziecko ma tendencję do uczenia się języka poprzez skojarzenie języka i zdjęć z przedmiotem (np. Ludzie wypowiadający słowo „pies” podczas przebywania w pobliżu psa, a później uświadamiający sobie, że ludzie mówią „pies” i „samochód” i dowiadują się, co „ „oznacza itp.). Jednak sztuczna inteligencja tekstowa nie mogła użyć tej metody do nauki, ponieważ nie miałaby dostępu do żadnego rodzaju urządzenia wejściowego.

Jedynym sposobem, w jaki mogłem wymyślić, jest programowanie w każdym słowie i regułach w języku angielskim (lub jakimkolwiek innym języku, w którym ma się „rozmawiać”), jednak potencjalnie zajęłoby to lata.

Czy ktoś ma jakieś pomysły, jak to zrobić? A jeśli już to zrobiono, jeśli tak, to w jaki sposób?

Nawiasem mówiąc, w tym kontekście używam sztucznej inteligencji w znaczeniu systemu sztucznej inteligencji z inteligencją zbliżoną do ludzkiej i bez wcześniejszej znajomości języka.

Ogólny obszar badań znany jest jako indukcja gramatyki .

Zasadniczo jest sformułowany jako nadzorowany problem uczenia się, z danymi wejściowymi przedstawionymi jako surowy tekst, a pożądane dane wyjściowe - odpowiednim drzewem analizy . Zestaw treningowy często składa się zarówno z pozytywnych, jak i negatywnych przykładów.

Nie ma jednej najlepszej metody osiągnięcia tego celu, ale niektóre z dotychczas stosowanych technik obejmują:

• Podejścia bayesowskie
• Algorytmy genetyczne
• Programowanie genetyczne
• Architektura tablic
• UpWrite Predictor

Termin ogólny dla twojego problemu nazywa się przetwarzaniem języka naturalnego (NLP) - tematem sztucznej inteligencji.

W tej dziedzinie istnieje wiele podtematów, w tym semantyka języka, analiza gramatyczna, części znakowania mowy, analiza kontekstu specyficzna dla domeny itp.

Tytułem uzupełnienia zaznaczę, że do przetwarzania w języku naturalnym (NLP) często używa się sieci neuronowych (tj. Sieci neuronowych z połączeniami wstecznymi). Obejmuje to warianty takie jak Dwukierunkowe, Jordania i Elman Networks. Długotrwała pamięć krótkotrwała (LSTM) jest bardziej wyrafinowanym algorytmem sieci neuronowej, który może wykonywać te same zadania oparte na czasie i sekwencji, ale może wykorzystywać standardowe metody uczenia, takie jak backprop, ponieważ nie cierpi na „problem znikającego gradientu”. Wynika to z faktu, że LSTM zostały doskonale zaprojektowane jako „doskonałe integratory”, co znacznie ułatwia obliczanie gradientów błędów itp. W dłuższych okresach czasu. W przeciwieństwie, nauka z RNN wciąż nie jest teoretycznie dobrze ugruntowana i jest trudna do obliczenia za pomocą istniejących metod, takich jak propagacja wsteczna w czasie (BPTT). W sieciach neuronowych z opóźnieniem czasowym (TDNN) chodzi o to, aby dodawać nowe neurony i połączenia z każdym nowym przykładem treningu na przestrzeni czasu lub sekwencji treningowej; niestety, stanowi to praktyczne ograniczenie liczby przykładów, które można wprowadzić do sieci, zanim rozmiar sieci wymknie się spod kontroli lub zacznie zapominać, podobnie jak w przypadku RNN. LSTM mają znacznie dłuższe wspomnienia (szczególnie gdy są wzbogacone o Neural Turing Machines), więc byłbym to mój pierwszy wybór, zakładając, że chcę używać sieci neuronowych do celów NLP. Moja wiedza na ten temat jest jednak ograniczona (wciąż próbuję nauczyć się lin), więc mogą istnieć inne ważne algorytmy sieci neuronowej, które przeoczam ...