Jaka jest różnica między „uczeniem się na zasadzie transferu” a „adaptacją domeny”?

Czy jest jakaś różnica między „uczeniem się przez transfer” a „adaptacją domeny”?

Nie wiem o kontekście, ale rozumiem, że mamy jakiś zestaw danych 1 i trenujemy go, po czym mamy inny zestaw danych 2, do którego chcemy dostosować nasz model bez ponownego szkolenia od zera, dla którego „uczenie się przez przeniesienie” i „adaptacja domeny” pomaga rozwiązać ten problem.

Według dziedziny Convolutional Neural Networks:

• Przez „uczenie się przez przeniesienie” mam na myśli „dostrojenie” [1]

• W tym przypadku [2] jest to bez nadzoru, ale czy „adaptacja domeny” zawsze powinna być bez nadzoru?

Wydaje się, że istnieje pewien spór między badaczami co do różnicy między „uczeniem się przez transfer” a „adaptacją domeny”.

Od {0}:

Pojęcie adaptacji domeny jest ściśle związane z uczeniem się przez transfer. Uczenie się przez przeniesienie to ogólny termin odnoszący się do klasy problemów związanych z uczeniem maszynowym, które obejmują różne zadania lub dziedziny. W literaturze nie ma jeszcze standardowej definicji uczenia się przez transfer. W niektórych dokumentach jest wymienny z adaptacją domen.

Od 1}:

Bibliografia:

• {0} Li, Qi. „Badanie literatury: algorytmy adaptacji domen do przetwarzania języka naturalnego”. Wydział Informatyki The Graduate Center, The City University of New York (2012): 8-10. https://scholar.google.com/scholar?cluster=2828982016930721315&hl=pl&as_sdt=0,22 ; https://pdfs.semanticscholar.org/532e/3d5b1b5807771b77cac60fe8594b506fcff9.pdf ; http://nlp.cs.rpi.edu/paper/qisurvey.pdf ( lustro )

• {1} Pan, Sinno Jialin i Qiang Yang. „Ankieta na temat uczenia się przez transfer”. Transakcje IEEE dotyczące wiedzy i inżynierii danych 22, nie. 10 (2010): 1345–1359. https://scholar.google.com/scholar?cluster=17771403852323259019&hl=pl&as_sdt=0,22 ; http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.15858126&rep=rep1&type=pdf ( mirror ) (2,6 tys. cytowań)

Z artykułu Hal Daume [1]:

Standardowe ustawienie klasyfikacji to rozkład wejściowy p (X) i rozkład etykiet p (Y | X). Adaptacja domeny: gdy p (X) zmienia się między treningiem a testem. Transfer uczenia: kiedy p (Y | X) zmienia się między treningiem a testem.

Innymi słowy, w DA rozkład danych wejściowych zmienia się, ale etykiety pozostają takie same; w TL rozkłady wejściowe pozostają takie same, ale etykiety się zmieniają.

1. https://nlpers.blogspot.com/2007/11/domain-adaptation-vs-transfer-learning.html ( lustro )

W literaturze dotyczącej uczenia się przez transfer istnieje szereg niespójności terminologicznej. Zwroty, takie jak uczenie się transferu i adaptacja domeny są używane w odniesieniu do podobnych procesów. Adaptacja domen to proces dostosowywania jednej lub więcej domen źródłowych w celu przesyłania informacji w celu poprawy wydajności docelowego ucznia. Proces adaptacji domeny próbuje zmienić domenę źródłową, aby przybliżyć dystrybucję źródła bliżej dystrybucji docelowej. W ustawieniu adaptacji domen domeny źródłowa i docelowa mają różne rozkłady krańcowe p (X). Według ankiety przeprowadzonej przez Pana, uczenie się przez przeniesienie jest szerszym terminem, który może obejmować również przypadek, gdy występuje różnica w rozkładach warunkowych p (Y | X) domen źródłowej i docelowej. W przeciwieństwie,

1. https://nlpers.blogspot.com/2007/11/domain-adaptation-vs-transfer-learning.html

Myślę, że „Transfer Learning” jest terminem bardziej ogólnym, a „Adaptacja domeny” to scenariusz „Transfer Learning”.

[1] Przekazywalne uwagi dotyczące adaptacji domeny. http://ise.thss.tsinghua.edu.cn/~mlong/doc/transferable-attention-aaai19.pdf

Według [1] adaptacja domeny to uczenie się transferu w NLP: „Uczenie się transferu w domenie NLP jest czasem nazywane adaptacją domeny”.

[1] Pan, SJ i Q. Yang. „Ankieta na temat nauki transferu”. Transakcje IEEE dotyczące wiedzy i inżynierii danych 22, no. 10 (październik 2010 r.): 1345–59.https://doi.org/10.1109/TKDE.2009.191 lub https://www.cse.ust.hk/~qyang/Docs/2009/tkde_transfer_learning.pdf