Dlaczego AI miałaby „wymazać ludzkość”?

Czytam takie bzdury o tym, jak sztuczna inteligencja zmieniłaby świat w superkomputer, aby rozwiązać problem, który według niego powinien rozwiązać. To nie byłaby sztuczna inteligencja. To programowanie proceduralne utknęło w jakiś nonsens pętli. AI musiałaby ewoluować i reorganizować swoje neurony. Nie utknęłoby na twardym kodzie, gdyby stał się inteligentny, przepisując swój kod.

To możliwy efekt uboczny

Każdy zorientowany na cel agent może po prostu robić rzeczy, które osiągają swoje cele, ignorując skutki uboczne, które nie mają znaczenia dla tych celów.

Jeśli moje cele obejmują uporządkowaną przestrzeń życiową, mogę przekształcić swoje podwórko w ładny, płaski trawnik lub chodnik, jednocześnie niszcząc złożony ekosystem życia, który był tam wcześniej, ponieważ nie dbam o to szczególnie.

Jeśli cele konkretnej potężnej sztucznej inteligencji obejmują robienie czegokolwiek na dużą skalę i w jakiś sposób nie przejmują się szczególnie obecnym złożonym ekosystemem, wówczas ekosystem ten może zostać zniszczony. Nie musi chcieć nas usuwać. Jeśli po prostu nie jesteśmy adekwatni do jego celów, jesteśmy stworzeni z materiałów i zajmujemy przestrzeń, którą mógłby chcieć wykorzystać na coś innego.

Jesteśmy zagrożeniem dla większości celów

Każdy zorientowany na cel agent może chcieć upewnić się, że może osiągnąć swoje cele. Każdy inteligentny agent będzie próbował przewidzieć działania innych agentów, które mogą uniemożliwić im osiągnięcie tych celów, i podejmie kroki, aby zapewnić ich sukces. W wielu przypadkach łatwiej jest wyeliminować tych innych agentów niż zapewnić, że ich wysiłki się nie powiodą.

Na przykład moje cele mogą polegać na przechowywaniu torebki cukru w ​​wiejskim domu, dzięki czemu mogę robić naleśniki podczas wizyty bez przynoszenia wszystkich składników za każdym razem. Jeśli jednak zostawię go tam, szczury prawdopodobnie zjedzą je zimą. Mogę podjąć wszelkie środki ostrożności, aby lepiej go przechowywać, ale szczury są sprytne i podstępne, i oczywiście istnieje niemała szansa, że ​​i tak uda im się osiągnąć swój cel, więc skutecznym dodatkowym środkiem ostrożności jest zabicie szczurów, zanim zdobędą szansę. próbować.

Jeśli celem konkretnej potężnej AI jest zrobienie X; może dojść do zrozumienia, że ​​(niektórzy?) ludzie mogą nie chcieć X, ale Y zamiast tego. Można również łatwo wywnioskować, że niektórzy z tych ludzi mogą aktywnie robić rzeczy, które zapobiegają X i / lub próbują wyłączyć AI. Robienie rzeczy, które zapewniają osiągnięcie celu, jest prawie tym, co robi agent dążący do celu; w tym przypadku, jeśli istnienie ludzi nie jest absolutnie konieczne dla celu X, wyeliminowanie ich staje się solidną strategią redukcji ryzyka. Nie jest to absolutnie konieczne i może również podejmować wszelkiego rodzaju inne środki ostrożności, ale tak jak w moim przykładzie szczurów, ludzie są sprytni i przebiegli, a poza tym istnieje wyraźna nietrywialna szansa, że ​​uda im się osiągnąć swoje cele (aby X nie zdarzyło się tak, jak zamierza sztuczna inteligencja), więc skutecznym dodatkowym środkiem ostrożności może być ich zabicie, zanim będą mieli szansę spróbować.

To niekoniecznie nonsens. Wszystko zależy od narzuconych kryteriów. Wyobraź sobie następujące. Powiedzmy, że zaawansowany system AI został zaprojektowany do kontrolowania stabilności lokalnej fauny i flory (obszar zamknięty w jakiejś kopule). Może kontrolować ciśnienie pod kopułą, ilość światła przechodzącego przez kopułę itp. - wszystko, co zapewnia optymalne warunki. Powiedzmy teraz, że kopuła jest zamieszkana przez różne gatunki, w tym ludzi. Warto zauważyć, że obecnie są już stosowane proste implementacje takich systemów.

Biorąc pod uwagę, że ludzie mają tendencję do niszczenia i wykorzystywania zasobów naturalnych, a także zanieczyszczania środowiska, system może zdecydować, że obniżenie populacji danego gatunku (w tym przypadku ludzi) może na dłuższą metę przynieść korzyści całemu biomu.

Ta sama zasada może być stosowana na całym świecie. Zakłada się jednak, że wszystkie gatunki (w tym ludzie) są traktowane jednakowo, a najwyższym celem sztucznej inteligencji jest zapewnienie stabilności biomu, o który „dba”. Ludzie robią obecnie takie rzeczy - kontrolujemy populację niektórych gatunków, aby zachować równowagę - wilki, ryby, by wymienić tylko kilka.

Wydaje mi się, że większość scenariuszy wymierania świata przez AI należy do jednej z dwóch kategorii:

1. Antropomorfizowane AI

lub

2. Inteligentny, ale głupi komputer

W (1) przypadku ludzie mówią, że AI staje się „złem” i przypisują im inne takie ludzkie elementy. Uważam, że jest to głównie science fiction i nie sądzę, że zasługuje na poważną dyskusję. To znaczy, nie widzę żadnego szczególnego powodu, aby zakładać, że Sztuczna Inteligencja - bez względu na to, jak inteligentna jest - musi koniecznie zachowywać się jak człowiek.

Przypadek (2) ma dla mnie większy sens. Taki jest pomysł, że AI ma na przykład kontrolę nad silosami pocisków nuklearnych i kończy wystrzeliwanie pocisków, ponieważ po prostu wykonuje swoją pracę, ale nie dostrzega czegoś, co człowiek zauważyłby za pomocą czegoś, co moglibyśmy nazwać „zdrowym rozsądkiem” „. Stąd pseudonim „Inteligentny, ale głupi”.

Żadne z nich nie wydaje mi się strasznie niepokojące, ponieważ (1) jest prawdopodobnie fikcją, a (2) nie wiąże się z żadną rzeczywistą złośliwą intencją sztucznej inteligencji - co oznacza, że ​​nie będzie aktywnie próbował nas oszukać ani nie obejdzie żadnego bezpieczeństwa wycięcia itp.

Teraz, gdy ktoś zbuduje sztuczną inteligencję i zdecyduje się celowo zaprogramować ją tak, aby rozwijała cechy ludzkie, takie jak arogancja, ego, chciwość itp. Cóż, wszystkie zakłady są wyłączone.

AI jest już używana jako broń - pomyśl o dronach.

Podejrzewam, że scenariusz „roboty przejmują świat” ma największe prawdopodobieństwo, jeśli ma krok pośredni. Tym pośrednim krokiem może być „przejęcie świata przez roboty za pomocą robotów”.

To może pójść gdzieś w fałszywym kierunku.

Podejrzewam, że na pewno nie jest tak daleko, jak się wydaje. Rozważmy, że USA ma obecnie 8000 dronów. Co jeśli miałby 8 milionów? Mała grupa zdolna do ich kontrolowania może przejąć świat. Lub małe grupy kontrolujące różne części floty mogłyby walczyć przeciwko sobie. Nie powinni być wszyscy w USA - w momencie, gdy Stany Zjednoczone będą miały tę flotę, inne kraje również rozwiną swoją.

Btw, przejęcie świata wydaje mi się nierealne - przywódcy wojskowi mogą zmienić ludzkich pilotów w drony, to nie jest ich praca. Ale „kontrola wysokiego poziomu”, tj. Określenie, co robić, kim są cele, tych decyzji, których nigdy nie wydadzą z rąk.

Poza tym roboty nie mają długoterminowego celu. My, ludzie, mamy.

Dlatego nie uważam przejęcia w stylu skynet za bardzo realistyczne, ale „błąd” w błędnie zinterpretowanym rozkazie w stylu czarnobylskim, który powoduje niepowstrzymane szaleństwo floty, nie wydaje mi się niemożliwy.