Czy istnieje mocny argument, że instynkt przetrwania jest niezbędny do utworzenia AGI?

11

To pytanie pochodzi z kilku „nieformalnych” źródeł. Filmy takie jak 2001, A Space Odyssey i Ex Machina ; książki takie jak Destination Void (Frank Herbert) i inne sugerują, że inteligencja ogólna chce przetrwać, a nawet dowiedzieć się o jej znaczeniu.

Może istnieć kilka argumentów na rzecz przetrwania. Co byłoby najważniejsze?

agi

— Eric Platon
źródło

@DukeZhou Czy miałbyś publiczne dokumenty na ten temat?

— Eric Platon,

1

Jeszcze nie. (To będzie długi proces, ponieważ nasz cykl rozwojowy jest bardzo wolny. Prawdopodobnie nie powinienem też wspominać o AGI w tym kontekście, ponieważ tak naprawdę patrzę na bardziej uogólnioną funkcję użyteczności, która ogranicza ryzyko, a nie super-inteligencja!) Chciałem cię zaktualizować, ale prawdopodobnie najlepiej, jeśli usunę mój oryginalny komentarz za zbyt optymistyczne / wprowadzające w błąd w tym względzie.

— DukeZhou

1

Zasadniczo myślałem, że ogólna funkcja użyteczności ekonomicznej stanowiłaby dobrą podstawę dla AGI, stanowiąc główny motyw . (Chodzi o to, że ogólna inteligencja jest tylko stopniem zdolności re: nieskończenie powiększającym się zestawem problemów). Odnosi się to do instynktu przetrwania w tym sensie, że automaty są nakierowane na optymalne podejmowanie decyzji w kontekście utrzymywania i ulepszania jego stanu, (choć nie do poziomu bezmyślnej ekspansji, która mogłaby być szkodliwa dla jej „ekosystemu” , gdzie każda decyzja jest ostatecznie uważana za ekonomiczną.

— DukeZhou

1

(jeśli masz „miejsce online”, w którym można omawiać te tematy, byłoby świetnie --- myślę, że zostajemy wyrzuceni z tej strony)

— Eric Platon

6

Steve Omohudro napisał artykuł zatytułowany Podstawowe napędy AI, który wyjaśnia, dlaczego spodziewamy się, że AI z wąskimi celami znajdzie jakieś podstawowe, ogólne koncepcje jako instrumentalnie przydatne dla ich wąskich celów.

Na przykład sztuczna inteligencja zaprojektowana w celu maksymalizacji zysków z rynku akcji, ale której projekt nie mówi o znaczeniu kontynuacji przetrwania, zdałby sobie sprawę, że jego ciągłe przetrwanie jest kluczowym składnikiem maksymalizacji zysków z rynku akcji, a zatem podejmuje działania, aby utrzymać swoją działalność.

Ogólnie rzecz biorąc, powinniśmy być sceptyczni wobec „antropomorfizującej” sztucznej inteligencji i innego kodu, ale wydaje się, że istnieją powody, by oczekiwać tego poza „cóż, ludzie zachowują się w ten sposób, więc tak musi się zachowywać cała inteligencja”.

— Matthew Graves
źródło

1

Zakładam, że Omohudru używa „maksymalizacji zwrotów” w kontekście minimax, gdzie łagodzenie negatywnych skutków jest częścią równania. Z mojego punktu widzenia „wygrać inaczej przetrwać” jest podstawowym rozszerzeniem minimax w cyklicznych grach.

— DukeZhou

5

Pojęcie „instynktu przetrwania” prawdopodobnie należy do kategorii tego, co Marvin Minsky nazwałby „słowem walizki”, tj. Łączy w sobie szereg powiązanych zjawisk w coś, co na początku wydaje się być pojedynczym pojęciem.

Jest więc całkiem możliwe, że możemy skonstruować mechanizmy, które wyglądają jak „zakodowany” instynkt przetrwania, który nigdy nie byłby wyraźnie określony w projekcie.

Zobacz piękną małą książkę „Pojazdy” autorstwa neuroanatomisty Valentino Braitenberga, aby przekonać się, jak takie „odgórne” pojęcia, jak „instynkt przetrwania”, mogą ewoluować „od podstaw”.

Również próba zapewnienia, że inteligentne artefakty kładą zbyt wysoki priorytet na ich przetrwaniu, może łatwo doprowadzić do Piekła Killbota .

— NietzscheanAI
źródło

2

Odpowiem cytując książkę The Myth of Sisyphus :

Jest tylko jedno naprawdę poważne pytanie filozoficzne, a mianowicie samobójstwo.

Prawdopodobnie więc potrzebujemy pewnego stopnia instynktu przetrwania, jeśli nie chcemy, aby nasze AGI „zakończyły się” (cokolwiek to znaczy), ilekroć staną się egzystencjalne.

— kc sayz „kc sayz”
źródło