UTF-8: Ogólne? Kosz? Unicode?

Próbuję dowiedzieć się, jakiego sortowania powinienem używać dla różnych typów danych. 100% treści, które będę przechowywać, jest przesłane przez użytkownika.

Rozumiem, że powinienem używać UTF-8 General CI (bez rozróżniania wielkości liter) zamiast UTF-8 Binary. Nie mogę jednak znaleźć wyraźnego rozróżnienia między CI UTF-8 General CI a CI UTF-8 Unicode.

1. Czy powinienem przechowywać treści przesłane przez użytkowników w kolumnach UTF-8 General lub UTF-8 Unicode CI?
2. Do jakiego rodzaju danych miałoby zastosowanie UTF-8 Binary?

Ogólnie rzecz biorąc, utf8_general_ci jest szybszy niż utf8_unicode_ci , ale mniej poprawny.

Oto różnica:

W przypadku dowolnego zestawu znaków Unicode operacje wykonywane przy użyciu sortowania _general_ci są szybsze niż w przypadku sortowania _unicode_ci . Na przykład porównania dla porównania utf8_general_ci są szybsze, ale nieco mniej poprawne, niż porównania dla utf8_unicode_ci. Powodem tego jest to, że utf8_unicode_ci obsługuje mapowania, takie jak rozszerzenia; to znaczy, gdy jeden znak porównuje się jako równy kombinacjom innych znaków. Na przykład w języku niemieckim i niektórych innych językach „ß” jest równe „ss”. utf8_unicode_ci obsługuje również skurcze i znaki ignorowalne. utf8_general_ci to starsze zestawienie, które nie obsługuje rozszerzeń, skurczów ani ignorowalnych znaków. Może dokonywać tylko porównań między postaciami.

Cytat z: http://dev.mysql.com/doc/refman/5.0/en/charset-unicode-sets.html

Aby uzyskać bardziej szczegółowe wyjaśnienia, przeczytaj następujący post z forów MySQL: http://forums.mysql.com/read.php?103,187048,188748

Jeśli chodzi o utf8_bin: Zarówno utf8_general_ci, jak i utf8_unicode_ci wykonują porównanie bez rozróżniania wielkości liter. W przeciwieństwie do tego w utf8_bin rozróżniana jest wielkość liter (między innymi różnicami), ponieważ porównuje wartości binarne znaków.

Należy również pamiętać o tym, że w przypadku utf8_general_ci podczas używania pola varchar jako indeksu unikalnego lub podstawowego wstawienie 2 wartości, takich jak „a” i „á”, spowodowałoby powtórzenie błędu klucza.

• utf8_binporównuje bity na ślepo. Bez składania skrzynek, bez usuwania akcentów.
• utf8_general_ciporównuje jeden bajt z jednym bajtem. Składa skrzynie i usuwanie akcentów, ale nie ma 2-znakowych porównań: ijnie jest równy ijw tym zestawieniu.
• utf8_*_cijest zbiorem reguł specyficznych dla języka, ale poza tym jest podobny unicode_ci. Niektóre przypadki szczególne: Ç, Č, ch,ll
• utf8_unicode_ciw porównaniu porównuje się ze starym standardem Unicode. ij= ij, ale ae! =æ
• utf8_unicode_520_cijest zgodny z nowszym standardem Unicode. ae=æ

Zobacz tabelę zestawień, aby uzyskać szczegółowe informacje na temat tego, co jest równe co w różnych zestawieniach utf8.

utf8, zgodnie z definicją MySQL, jest ograniczony do 1- do 3-bajtowych kodów utf8. To pomija Emoji i niektóre chińskie. Dlatego naprawdę powinieneś się przestawić na, utf8mb4jeśli chcesz wyjść daleko poza Europę.

Powyższe punkty dotyczą utf8mb4, po odpowiedniej zmianie pisowni. Idąc dalej utf8mb4i utf8mb4_unicode_520_cisą preferowane.

• utf16 i utf32 są wariantami utf8; nie ma dla nich praktycznie żadnego pożytku.
• ucs2 jest bliższy „Unicode” niż „utf8”; praktycznie nie ma z tego pożytku.

Naprawdę przetestowałem zapisywanie wartości takich jak „é” i „e” w kolumnie z unikalnym indeksem i powodują one zduplikowany błąd zarówno w „utf8_unicode_ci”, jak i „utf8_general_ci”. Możesz zapisać je tylko w kolumnie „utf8_bin”.

A mysql docs (w http://dev.mysql.com/doc/refman/5.7/en/charset-applications.html ) sugeruje w swoich przykładach zestawienie „utf8_general_ci”.

[mysqld]
character-set-server=utf8
collation-server=utf8_general_ci

Zaakceptowana odpowiedź jest nieaktualna.

Jeśli używasz MySQL 5.5.3+, użyj utf8mb4_unicode_cizamiast, utf8_unicode_ciaby upewnić się, że znaki wpisywane przez użytkowników nie będą powodować błędów.

utf8mb4obsługuje na przykład emoji, utf8ale może dostarczyć setki błędów związanych z kodowaniem, takich jak:

Incorrect string value: ‘\xF0\x9F\x98\x81…’ for column ‘data’ at row 1