To będzie nie tyle odpowiedź, ile komentarz.
Jakość zależy od kilku rzeczy, w tym (jak powiedział Aaron powyżej) 1) pary języków i 2) tematu, ale także 3) rodzajów i 4) stylu oryginału oraz 5) ilości równoległego tekstu trenować system MT.
Aby przygotować scenę, praktycznie wszystkie MT w dzisiejszych czasach oparte są na tekstach równoległych, to znaczy w dwóch różnych językach, przy czym jeden prawdopodobnie jest tłumaczeniem drugiego (lub oba są tłumaczeniem jakiegoś trzeciego języka); i potencjalnie wykorzystanie słowników (być może wspomaganych procesami morfologicznymi) jako backoff, gdy równoległe teksty nie zawierają konkretnych słów.
Co więcej, jak powiedzieli inni, system MT w żaden sposób nie rozumie tekstów, które tłumaczy; po prostu widzi ciągi znaków i ciągi słów złożone z znaków, i szuka podobnych ciągów i sekwencji w tekstach, które wcześniej tłumaczył. (Ok, jest to nieco bardziej skomplikowane i próbowano uzyskać semantykę w systemach obliczeniowych, ale na razie są to głównie łańcuchy.)
1) Języki się różnią. Niektóre języki mają wiele morfologii, co oznacza, że robią to za pomocą jednego słowa, a inne za pomocą kilku słów. Prostym przykładem byłoby hiszpańskie „cantaremos” = angielskie „będziemy śpiewać”. I jeden język może robić rzeczy, z którymi drugi język nawet się nie przejmuje, jak nieformalne / formalne (tu / usted) rozróżnienie w języku hiszpańskim, którego angielski nie ma odpowiednika. Albo jeden język może robić rzeczy z morfologią, co inny język robi z porządkiem słów. Lub skrypt używany przez język może nawet nie oznaczać granic słów (chiński i kilka innych). Im bardziej różne są te dwa języki, tym trudniej będzie tłumaczyć system MT między nimi. Pierwsze eksperymenty w statystycznym MT przeprowadzono między językiem francuskim a angielskim,
2) Temat: Jeśli masz równoległe teksty w Biblii (co jest prawdą w przypadku prawie każdej pary języków pisanych) i trenujesz z nich swój system MT, nie oczekuj, że spisuje się dobrze w tekstach inżynieryjnych. (Cóż, Biblia i tak jest stosunkowo niewielką ilością tekstu, jak na standardy szkolenia systemów MT, ale udawaj :-).) Słownictwo Biblii różni się bardzo od tekstów inżynieryjnych, podobnie jak częstotliwość różnych gramatyki konstrukcje. (Gramatyka jest zasadniczo taka sama, ale na przykład w języku angielskim masz o wiele więcej pasywnego głosu i więcej złożonych rzeczowników w tekstach naukowych i inżynieryjnych).
3) Genera: Jeśli tekst równoległy jest w całości deklaratywny (powiedzmy, np. Instrukcje ciągnika), próba użycia wynikowego systemu MT w oknie dialogowym nie przyniesie dobrych wyników.
4) Styl: Think Hilary vs. Donald; erudyta kontra popularność. Trening z jednej strony nie przyniesie dobrych rezultatów z drugiej. Podobnie szkolimy system MT w zakresie powieści dla dorosłych i używamy go w książkach dla dzieci.
5) Para językowa: angielski ma wiele tekstów, a szanse na znalezienie tekstów w innym języku, które są równoległe do danego tekstu angielskiego, są znacznie większe niż szanse na znalezienie równoległych tekstów, powiedzmy, w języku rosyjskim i igbo. (To powiedziawszy, mogą istnieć wyjątki, takie jak języki Indii.) W ogólnym ujęciu, im więcej takich równoległych tekstów musisz trenować system MT, tym lepsze wyniki.
Podsumowując, język jest skomplikowany (dlatego go uwielbiam - jestem lingwistą). Nic więc dziwnego, że systemy MT nie zawsze działają dobrze.
BTW, ludzcy tłumacze też nie zawsze radzą sobie tak dobrze. Dziesięć lub dwa lata temu dostawałem tłumaczenia dokumentów od ludzkich tłumaczy na angielski, które miały być wykorzystane jako materiały szkoleniowe dla systemów MT. Niektóre tłumaczenia były trudne do zrozumienia, aw niektórych przypadkach, gdy otrzymaliśmy tłumaczenia od dwóch (lub więcej) ludzkich tłumaczy, trudno było uwierzyć, że tłumacze czytali te same dokumenty.
I wreszcie (prawie) nigdy nie ma tylko jednego poprawnego tłumaczenia; istnieje wiele sposobów tłumaczenia fragmentu, które mogą być mniej lub bardziej dobre, w zależności od tego, jakie cechy (poprawność gramatyczna, styl, spójność użycia, ...) chcesz. Nie ma łatwej miary „dokładności”.