Jak mogę iterować przez punkty kodowe Unicode ciągu Java?

Wiem o tym String#codePointAt(int), ale jest indeksowany przez charprzesunięcie, a nie przez przesunięcie punktu kodowego.

Myślę o spróbowaniu czegoś takiego:

• używając String#charAt(int)do uzyskania charat indeksu
• testowanie, czy charjest w zakresie wysokich surogatów
  • jeśli tak, użyj, String#codePointAt(int)aby uzyskać kod i zwiększ indeks o 2
  • jeśli nie, użyj podanej charwartości jako punktu kodowego i zwiększ indeks o 1

Ale moje obawy są

• Nie jestem pewien, czy punkty kodowe, które naturalnie znajdują się w zakresie z wysokim surogatem, będą przechowywane jako dwie charwartości, czy jedna
• wydaje się to okropnie kosztownym sposobem na iterację postaci
• ktoś musiał wymyślić coś lepszego.

Tak, Java używa kodowania UTF-16-esque dla wewnętrznych reprezentacji ciągów i tak, koduje znaki poza podstawową płaszczyzną wielojęzyczną ( BMP ) przy użyciu schematu zastępczego.

Jeśli wiesz, że będziesz mieć do czynienia ze znakami spoza BMP, oto kanoniczny sposób na iterację znaków ciągu Java:

final int length = s.length();
for (int offset = 0; offset < length; ) {
   final int codepoint = s.codePointAt(offset);

   // do something with the codepoint

   offset += Character.charCount(codepoint);
}

Dodano Java 8, CharSequence#codePointsktóra zwraca plik IntStreamzawierający punkty kodowe. Możesz użyć strumienia bezpośrednio, aby je iterować:

string.codePoints().forEach(c -> ...);

lub z pętlą for, zbierając strumień do tablicy:

for(int c : string.codePoints().toArray()){
    ...
}

Te sposoby są prawdopodobnie droższe niż rozwiązanie Jonathana Feinbergsa , ale są szybsze do odczytu / zapisu, a różnica w wydajności będzie zwykle nieistotna.

Iteracja po punktach kodowych jest zgłaszana jako żądanie funkcji w firmie Sun.

Zobacz wpis błędów Sun

Jest tam również przykład jak iterować po String CodePoints.

Pomyślałem, że dodam metodę obejścia, która działa z pętlami foreach ( ref ), a ponadto możesz łatwo przekonwertować ją na nową metodę String # codePoints języka Java 8, gdy przejdziesz do java 8:

Możesz go używać z każdym w ten sposób:

 for(int codePoint : codePoints(myString)) {
   ....
 }

Oto metoda pomocnicza:

public static Iterable<Integer> codePoints(final String string) {
  return new Iterable<Integer>() {
    public Iterator<Integer> iterator() {
      return new Iterator<Integer>() {
        int nextIndex = 0;
        public boolean hasNext() {
          return nextIndex < string.length();
        }
        public Integer next() {
          int result = string.codePointAt(nextIndex);
          nextIndex += Character.charCount(result);
          return result;
        }
        public void remove() {
          throw new UnsupportedOperationException();
        }
      };
    }
  };
}

Lub alternatywnie, jeśli chcesz po prostu przekonwertować ciąg na tablicę int (która może zużywać więcej pamięci RAM niż powyższe podejście):

 public static List<Integer> stringToCodePoints(String in) {
    if( in == null)
      throw new NullPointerException("got null");
    List<Integer> out = new ArrayList<Integer>();
    final int length = in.length();
    for (int offset = 0; offset < length; ) {
      final int codepoint = in.codePointAt(offset);
      out.add(codepoint);
      offset += Character.charCount(codepoint);
    }
    return out;
  }

Na szczęście używa "codePoints" bezpiecznie obsługuje zastępczą parę UTF-16 (wewnętrzna reprezentacja ciągu java).