Aby rozwinąć odpowiedzi udzielone przez innych:
Mamy wiele języków z wieloma znakami, które komputery powinny idealnie wyświetlać. Unicode przypisuje każdemu znakowi unikalny numer lub punkt kodowy.
Komputery radzą sobie z takimi liczbami jak bajty ... pomijając tutaj trochę historii i ignorując problemy z pamięcią, komputery 8-bitowe traktowałyby 8-bitowy bajt jako największą jednostkę liczbową łatwo reprezentowaną na sprzęcie, komputery 16-bitowe rozwijałyby się do dwóch bajtów i tak dalej.
Stare kodowania znaków, takie jak ASCII, pochodzą z ery (wcześniejszej) 8-bitów i próbują wcisnąć dominujący język obliczeniowy w tym czasie, tj. Angielski, w liczby od 0 do 127 (7 bitów). Z 26 literami w alfabecie, zarówno w formie wielkiej, jak i dużej, cyfr i znaków interpunkcyjnych, które działały całkiem dobrze. ASCII został rozszerzony o 8 bit dla innych języków innych niż angielski, ale dodatkowe 128 cyfr / punktów kodowych udostępnionych przez to rozszerzenie będzie mapowane na różne znaki w zależności od wyświetlanego języka. Normy ISO-8859 są najczęstszymi formami tego mapowania; ISO-8859-1 i ISO-8859-15 (znany również jako ISO-Latin-1, latin1 i tak, istnieją również dwie różne wersje normy ISO 8859).
Ale to nie wystarczy, jeśli chcesz reprezentować znaki z więcej niż jednego języka, więc wtłoczenie wszystkich dostępnych znaków w jednym bajcie po prostu nie zadziała.
Istnieją zasadniczo dwa różne typy kodowania: jeden rozszerza zakres wartości przez dodanie większej liczby bitów. Przykładami takich kodowań mogą być UCS2 (2 bajty = 16 bitów) i UCS4 (4 bajty = 32 bity). Mają z natury ten sam problem, co normy ASCII i ISO-8859, ponieważ ich zakres wartości jest nadal ograniczony, nawet jeśli limit jest znacznie wyższy.
Drugi typ kodowania wykorzystuje zmienną liczbę bajtów na znak, a najbardziej znanymi kodowaniami do tego są kodowania UTF. Wszystkie kodowania UTF działają mniej więcej w ten sam sposób: wybierasz rozmiar jednostki, który dla UTF-8 wynosi 8 bitów, dla UTF-16 16 bitów, a dla UTF-32 32 bitów. Standard definiuje następnie kilka z tych bitów jako flagi: jeśli są ustawione, to następną jednostkę w sekwencji jednostek należy uznać za część tego samego znaku. Jeśli nie są ustawione, ta jednostka w pełni reprezentuje jedną postać. Zatem najbardziej popularne (angielskie) znaki zajmują tylko jeden bajt w UTF-8 (dwa w UTF-16, 4 w UTF-32), ale inne znaki języka mogą zajmować sześć lub więcej bajtów.
Kodowania wielobajtowe (powinienem powiedzieć, że wiele jednostek po powyższym wyjaśnieniu) mają tę zaletę, że zajmują stosunkowo mało miejsca, ale wadą jest to, że operacje takie jak wyszukiwanie podciągów, porównań itp. Wszystkie muszą dekodować znaki do kodu Unicode punkty, zanim takie operacje będą mogły zostać wykonane (istnieją jednak pewne skróty).
Zarówno standardy UCS, jak i UTF kodują punkty kodowe zdefiniowane w Unicode. Teoretycznie kodowania te mogą być użyte do kodowania dowolnej liczby (w zakresie obsługiwanym przez kodowanie) - ale oczywiście kodowania te zostały stworzone do kodowania punktów kodowych Unicode. I to jest twój związek między nimi.
Windows obsługuje tak zwane ciągi „Unicode” jako ciągi UTF-16, podczas gdy większość UNIXów obecnie domyślnie używa UTF-8. Protokoły komunikacyjne, takie jak HTTP, zwykle działają najlepiej z UTF-8, ponieważ rozmiar jednostki w UTF-8 jest taki sam jak w ASCII, a większość takich protokołów została zaprojektowana w erze ASCII. Z drugiej strony, UTF-16 zapewnia najlepszą średnią wydajność przestrzeni / przetwarzania, reprezentując wszystkie żywe języki.
Standard Unicode definiuje mniej punktów kodowych, niż można przedstawić w 32 bitach. Tak więc dla wszystkich praktycznych celów UTF-32 i UCS4 stały się tym samym kodowaniem, ponieważ prawdopodobnie nie będziesz musiał radzić sobie ze znakami wieloczęściowymi w UTF-32.
Mam nadzieję, że wypełniają niektóre szczegóły.
