Jaka jest dokładna pomysłowość uniksowej rury

Słyszałem historię, jak Douglas Mcllroy wpadł na pomysł i jak Ken Thompson wdrożył go w ciągu jednej nocy.

O ile rozumiem, potok jest wywołaniem systemowym, które dzieli część pamięci między dwoma procesami, w których jeden proces pisze, a drugi czyta.

Jako ktoś, kto nie jest zaznajomiony z elementami wewnętrznymi i koncepcjami systemu operacyjnego, zastanawiałem się, czym dokładnie jest „geniusz” w tej historii? Czy to pomysł dwóch procesów dzielących pamięć? A może to wdrożenie? Lub obydwa?

PS: Zdaję sobie sprawę z użyteczności potoku lub jak go używać w powłoce. Pytanie dotyczy koncepcji i wdrożenia|

O ile rozumiem, potok jest wywołaniem systemowym, które dzieli część pamięci między dwoma procesami, w których jeden proces pisze, a drugi czyta.

W rzeczywistości nie dotyczy to pamięci współdzielonej. Czytnik i pisarz NIE współużytkują żadnej części swojej przestrzeni adresowej i nie używają żadnej wyraźnej synchronizacji.

Procesy odczytywania i zapisywania są wywoływane readi writewywoływane przez system dokładnie tak , jak gdyby odczytywały / zapisywały do ​​pliku. TO jest geniusz ... innowacja: pojęcie, że (prosta) komunikacja międzyprocesowa i plikowe I / O mogą być obsługiwane w ten sam sposób ... z perspektywy programisty aplikacji i użytkownika.

Po skonfigurowaniu potoku system operacyjny (nie kod aplikacji lub biblioteki w przestrzeni użytkownika) zajmuje się buforowaniem i koordynacją. Transparentnie

Natomiast przed wynalezieniem koncepcji potoku, jeśli trzeba było wykonać przetwarzanie „potokowe”, zwykle jedna aplikacja zapisuje dane wyjściowe do pliku, a następnie po zakończeniu uruchamia drugą aplikację do odczytu z pliku plik.

Alternatywnie, jeśli chcesz prawdziwego potoku, możesz zakodować obie aplikacje, aby skonfigurować (rzeczywisty) segment pamięci dzielonej i użyć semaforów (lub czegoś innego) do koordynowania odczytu / zapisu. Skomplikowane ... i w konsekwencji rzadko wykonywane.

Moim zdaniem genialność pomysłu „fajki” polega na prostocie użytkowania.

Nie musisz wykonywać żadnych wywołań systemowych, alokować pamięci, nic skomplikowanego. W powłoce, należy użyć pojedynczego znaku: |. Daje to niezwykłą moc w kombinacji prostych (lub złożonych) narzędzi do danego zadania.

Wykonuj typowe codzienne zadania, takie jak porządne sortowanie tekstu. Możesz mieć polecenie, które wyświetla całą grupę nazw. (W moim przykładzie użyję pliku zawierającego kilka nazw, dzięki uprzejmości listofrandomnames.com.) Za pomocą potoków możesz wykonać następujące czynności:

$ cat names.txt
Sally Weikel
Dana Penaflor
Christine Hook
Shaneka Flythe
Almeda Crook
Freddie Lindley
Hester Kersh
Wanda Ruse
Megan Mauzy
Samuel Mancha
Paris Phipps
Annika Accardo
Elena Nabors
Caroline Foti
Jude Nesby
Chase Gordy
Carmela Driggers
Marlin Ostendorf
Harrison Dauber
$ cat names.txt | awk '{print $2 ", " $1}' | sort | uniq | column -c 100
Accardo, Annika     Hook, Christine     Ostendorf, Marlin
Crook, Almeda       Kersh, Hester       Penaflor, Dana
Dauber, Harrison    Lindley, Freddie    Phipps, Paris
Driggers, Carmela   Mancha, Samuel      Ruse, Wanda
Flythe, Shaneka     Mauzy, Megan        Weikel, Sally
Foti, Caroline      Nabors, Elena
Gordy, Chase        Nesby, Jude

To tylko przykład; są tysiące. Aby zapoznać się z kilkoma innymi konkretnymi zadaniami, które są znacznie łatwiejsze dzięki zastosowaniu potoków, zobacz sekcję „The Unix Philosophy” na tej stronie .

Aby podkreślić tę odpowiedź, zobacz slajdy od 4 do 9 prezentacji „Dlaczego Zsh jest chłodniejszy od twojej powłoki”.

_{Wiem, że powyższe polecenie zawiera kod UUOC . Daję temu spokój, ponieważ jest symbolem zastępczym dowolnego polecenia generującego tekst.}

Próbowałem więc trochę zbadać to, szukając instrukcji PDP-10 / TOPS-10, aby dowiedzieć się, jaki jest stan techniki przed wprowadzeniem rur. Znalazłem to , ale TOPS-10 jest niezwykle trudny do znalezienia w Google. Istnieje kilka dobrych referencji na temat wynalezienia potoku: wywiad z McIlroy , historia i wpływ UNIX .

Musisz umieścić to w kontekście historycznym. Istniało niewiele nowoczesnych narzędzi i udogodnień, które uważamy za coś oczywistego.

„Na początku Thompson nawet nie programował na samym PDP, ale zamiast tego używał zestawu makr dla asemblera GEMAP na maszynie GE-635.” (29) Taśma papierowa została wygenerowana na GE 635, a następnie przetestowana na PDP-7 do momentu, gdy według Ritchie „pierwotne jądro Uniksa, edytor, asembler, prosta powłoka (interpreter poleceń) i kilka narzędzi (takich jak polecenia Unix rm, cat, cp) zostały ukończone. W tym momencie punkt, system operacyjny był samonośny, programy mogły być pisane i testowane bez uciekania się do taśmy papierowej, a rozwój samego PDP-7 był kontynuowany. ”

PDP-7 wygląda tak . Zwróć uwagę na brak interaktywnego wyświetlacza lub dysku twardego. „System plików” byłby przechowywany na taśmie magnetycznej. Pamięć programów i danych zawierała do 64 KB.

W tym środowisku programiści zwykle zwracali się bezpośrednio do sprzętu, na przykład wydając polecenia, aby podkręcić taśmę i przetwarzać znaki jeden po drugim odczytywane bezpośrednio z interfejsu taśmy. UNIX zapewnił abstrakcje na ten temat, aby zamiast „czytać z teletype” i „czytać z taśmy” jako oddzielne interfejsy, zostały one połączone w jeden, z kluczowym dodaniem potoku „odczyt z wyjścia innego programu bez przechowywania tymczasowej kopii na dysku” lub taśma ”.

Oto McIlroy na temat wynalazku grep. Myślę, że dobrze to podsumowuje ilość pracy wymaganej w środowisku starszym niż UNIX.

„Grep został dla mnie wymyślony. Tworzyłem program do odczytywania tekstu na głos za pomocą syntezatora mowy. Gdy wymyśliłem reguły fonetyczne, sprawdzałem w słowniku Webstera słowa, na których mogą się nie powieść. Na przykład, jak sobie radzisz z digrafem” ui ”, które wymawia się na wiele różnych sposobów:„ owoc ”,„ podstęp ”,„ winny ”,„ udręka ”,„ intuicja ”,„ beguine ”? Rozbiłbym słownik na części, które mieszczą się w ograniczonym buforze i użyciu Eda globalne polecenie, aby wybrać listę. Zmniejszę tę listę, powtarzając skanowanie za pomocą ed, aby zobaczyć, jak działa każda proponowana reguła. ”

„Proces był żmudny i strasznie marnotrawny, ponieważ słownik musiał zostać podzielony (nie było stać na pozostawienie podzielonej kopii w linii). Następnie ed skopiował każdą część do / tmp, przeskanował ją dwukrotnie, aby wykonać polecenie g, i w końcu go wyrzuciłem, co również wymaga czasu. ”

„Pewnego popołudnia zapytałem Kena Thompsona, czy mógłby wyciągnąć z edytora funkcję rozpoznawania wyrażeń regularnych i zrobić jednoprzebiegowy program. Powiedział tak. Następnego ranka znalazłem notatkę w poczcie z ogłoszeniem programu o nazwie grep. Działało to jak urok. Zapytany, co oznacza to śmieszne imię, Ken powiedział, że to oczywiste. Oznaczało to polecenie edytora, które symulował, g / re / p (globalny wydruk wyrażeń regularnych).

Porównaj pierwszą część tego cat names.txt | awk '{print $2 ", " $1}' | sort | uniq | column -c 100przykładu. Jeśli twoimi opcjami jest „budowanie linii poleceń” kontra „napisz program specjalnie do tego celu, ręcznie, w asemblerze”, to warto zbudować linię poleceń. Nawet jeśli zajmie to kilka godzin przeczytanie instrukcji (papierowych). Następnie możesz zapisać go do wykorzystania w przyszłości.

Geniusz Pipe polega na tym, że łączy w sobie trzy ważne pomysły.

Po pierwsze, rury są praktyczną implementacją „wspólnych procedur”, terminu wymyślonego przez Conwaya w 1958 roku, który był obiecujący, ale nie znalazł praktycznego zastosowania przed rurami.

Po drugie, implementując rury w języku powłoki, Thompson i in. Wymyślili pierwszy prawdziwy „język kleju”.

Te dwa punkty umożliwiają wydajne opracowanie komponentów oprogramowania wielokrotnego użytku w zoptymalizowanym języku niskiego poziomu, a następnie sklejenie ze sobą w celu uzyskania znacznie większej, bardziej złożonej funkcjonalności. Nazwali to „Programowaniem na dużą skalę”.

Po trzecie, implementacja potoków przy użyciu tych samych wywołań systemowych, które były używane do dostępu do plików, umożliwiła pisanie programów z uniwersalnymi interfejsami. Pozwoliło to na prawdziwie uniwersalne rozwiązania problemów z oprogramowaniem, z których można korzystać interaktywnie, wykorzystując dane z plików oraz jako część większych systemów oprogramowania, wszystko bez jednej zmiany w komponentach oprogramowania. Bez kompilacji, bez konfiguracji, tylko kilka prostych poleceń powłoki.

Jeśli chcesz przejść przez krzywą uczenia się, oprogramowanie UNIX jest dziś równie przydatne, jak 40 lat temu. Nieustannie odkrywamy rzeczy, które już znali i opracowaliśmy rozwiązania. Kluczowym przełomem była prosta rura. Jedyną prawdziwą innowacją po tym było stworzenie Internetu w latach 80-tych. Dramatycznie UNIX spartaczył tę implementację, tworząc osobny interfejs API. Nadal ponosimy konsekwencje ... Och, tak, było coś z wyświetlaczy wideo i myszy, które stały się popularne pod koniec lat 80-tych. Ale to dotyczy WIMP.