Usuń ✅, 🔥, ✈, ♛ i inne takie emoji / obrazy / znaki z ciągów Java

Mam kilka ciągów znaków z różnymi rodzajami emoji / obrazów / znaków.

Nie wszystkie ciągi są w języku angielskim - niektóre z nich są w innych językach niełacińskich, na przykład:

▓ railway??
→ Cats and dogs
I'm on 🔥
Apples ⚛ 
✅ Vi sign
♛ I'm the king ♛ 
Corée ♦ du Nord ☁  (French)
 gjør at både ◄╗ (Norwegian)
Star me ★
Star ⭐ once more
早上好 ♛ (Chinese)
Καλημέρα ✂ (Greek)
another ✓ sign ✓
добрай раніцы ✪ (Belarus)
◄ शुभ प्रभात ◄ (Hindi)
✪ ✰ ❈ ❧ Let's get together ★. We shall meet at 12/10/2018 10:00 AM at Tony's.❉

... i wiele innych.

Chciałbym pozbyć się wszystkich tych znaków / obrazów i zachować tylko litery (i znaki interpunkcyjne) w różnych językach.

Próbowałem wyczyścić znaki przy użyciu biblioteki EmojiParser :

String withoutEmojis = EmojiParser.removeAllEmojis(input);

Problem polega na tym, że EmojiParser nie jest w stanie usunąć większości znaków. Znak ♦ jest jedynym, jaki do tej pory znalazłem, kiedy go usunąłem. Inne znaki, takie jak ✪ ❉ ★ ✰ ❈ ❧ ✂ ❋ ⓡ ✿ ♛ 🔥, nie są usuwane.

Czy istnieje sposób na usunięcie wszystkich tych znaków z ciągów wejściowych i zachowanie tylko liter i interpunkcji w różnych językach ?

Zamiast umieszczać na czarnej liście niektóre elementy, co powiesz na utworzenie białej listy znaków, które chcesz zachować? W ten sposób nie musisz się martwić dodawaniem nowych emoji.

String characterFilter = "[^\\p{L}\\p{M}\\p{N}\\p{P}\\p{Z}\\p{Cf}\\p{Cs}\\s]";
String emotionless = aString.replaceAll(characterFilter,"");

Więc:

• [\\p{L}\\p{M}\\p{N}\\p{P}\\p{Z}\\p{Cf}\\p{Cs}\\s]to zakres reprezentujący wszystkie cyfry ( \\p{N}), literę ( \\p{L}), znak ( \\p{M}), interpunkcję ( \\p{P}), białe znaki / separator ( \\p{Z}), inne formatowanie ( \\p{Cf}) i inne powyższe znaki U+FFFFw Unicode ( \\p{Cs}) i \\sznak nowej linii ( ). \\p{L}w szczególności obejmuje znaki z innych alfabetów, takich jak cyrylica, łacina, kanji itp.
• Zestaw ^znaków wyrażenia regularnego neguje dopasowanie.

Przykład:

String str = "hello world _# 皆さん、こんにちは！　私はジョンと申します。🔥";
System.out.print(str.replaceAll("[^\\p{L}\\p{M}\\p{N}\\p{P}\\p{Z}\\p{Cf}\\p{Cs}\\s]",""));
// Output:
//   "hello world _# 皆さん、こんにちは！　私はジョンと申します。"

Jeśli potrzebujesz więcej informacji, zapoznaj się z dokumentacją Java dla wyrażeń regularnych.

Nie przepadam za Javą, więc nie będę próbował pisać przykładowego kodu inline, ale sposób, w jaki to zrobię, to sprawdzenie, co Unicode nazywa „kategorią ogólną” każdego znaku. Istnieje kilka liter i kategorii interpunkcyjnych.

Możesz użyć Character.getType, aby znaleźć ogólną kategorię danego znaku. Prawdopodobnie powinieneś zachować te postacie, które należą do tych ogólnych kategorii:

COMBINING_SPACING_MARK
CONNECTOR_PUNCTUATION
CURRENCY_SYMBOL
DASH_PUNCTUATION
DECIMAL_DIGIT_NUMBER
ENCLOSING_MARK
END_PUNCTUATION
FINAL_QUOTE_PUNCTUATION
FORMAT
INITIAL_QUOTE_PUNCTUATION
LETTER_NUMBER
LINE_SEPARATOR
LOWERCASE_LETTER
MATH_SYMBOL
MODIFIER_LETTER
MODIFIER_SYMBOL
NON_SPACING_MARK
OTHER_LETTER
OTHER_NUMBER
OTHER_PUNCTUATION
PARAGRAPH_SEPARATOR
SPACE_SEPARATOR
START_PUNCTUATION
TITLECASE_LETTER
UPPERCASE_LETTER

(Wszystkie postacie, które chciałeś usunąć, mają kategorię ogólną OTHER_SYMBOL, której nie znalazłem na białej liście powyższych kategorii).

W oparciu o pełną listę emotikonów wer. 11.0 masz 1644 różnych punktów kodu Unicode do usunięcia. Na przykład ✅jest na tej liście jako U+2705.

Mając pełną listę emotikonów, musisz je odfiltrować za pomocą punktów kodowych . Iteracja po pojedynczym charlub bytenie będzie działać, ponieważ pojedynczy punkt kodowy może obejmować wiele bajtów. Ponieważ Java używa emoji UTF-16 zwykle zajmuje dwa chars.

String input = "ab✅cd";
for (int i = 0; i < input.length();) {
  int cp = input.codePointAt(i);
  // filter out if matches
  i += Character.charCount(cp); 
}

Mapowanie z punktu kodu Unicode U+2705na Javę intjest proste:

int viSign = 0x2705;

lub ponieważ Java obsługuje ciągi Unicode:

int viSign = "✅".codePointAt(0);

ICU4J jest twoim przyjacielem.

UCharacter.hasBinaryProperty(UProperty.EMOJI);

Pamiętaj, aby aktualizować swoją wersję icu4j i pamiętaj, że odfiltruje ona tylko oficjalne emoji Unicode, a nie znaki symboli. Połącz z filtrowaniem innych typów znaków według potrzeb.

Więcej informacji: http://icu-project.org/apiref/icu4j/com/ibm/icu/lang/UProperty.html#EMOJI

Podałem kilka przykładów poniżej i pomyślałem, że łacina wystarczy, ale ...

Czy istnieje sposób na usunięcie wszystkich tych znaków z ciągu wejściowego i zachowanie tylko liter i interpunkcji w różnych językach?

Po edycji opracowałem nowe rozwiązanie, korzystając z Character.getTypemetody, i wydaje się, że jest to najlepsze ujęcie.

package zmarcos.emoji;

import java.util.Arrays;
import java.util.HashSet;
import java.util.Set;

public class TestEmoji {

    public static void main(String[] args) {
        String[] arr = {"Remove ✅, 🔥, ✈ , ♛ and other such signs from Java string",
            "→ Cats and dogs",
            "I'm on 🔥",
            "Apples ⚛ ",
            "✅ Vi sign",
            "♛ I'm the king ♛ ",
            "Star me ★",
            "Star ⭐ once more",
            "早上好 ♛",
            "Καλημέρα ✂"};
        System.out.println("---only letters and spaces alike---\n");
        for (String input : arr) {
            int[] filtered = input.codePoints().filter((cp) -> Character.isLetter(cp) || Character.isWhitespace(cp)).toArray();
            String result = new String(filtered, 0, filtered.length);
            System.out.println(input);
            System.out.println(result);
        }

        System.out.println("\n---unicode blocks white---\n");
        Set<Character.UnicodeBlock> whiteList = new HashSet<>();
        whiteList.add(Character.UnicodeBlock.BASIC_LATIN);
        for (String input : arr) {
            int[] filtered = input.codePoints().filter((cp) -> whiteList.contains(Character.UnicodeBlock.of(cp))).toArray();
            String result = new String(filtered, 0, filtered.length);
            System.out.println(input);
            System.out.println(result);
        }

        System.out.println("\n---unicode blocks black---\n");
        Set<Character.UnicodeBlock> blackList = new HashSet<>();        
        blackList.add(Character.UnicodeBlock.EMOTICONS);
        blackList.add(Character.UnicodeBlock.MISCELLANEOUS_TECHNICAL);
        blackList.add(Character.UnicodeBlock.MISCELLANEOUS_SYMBOLS);
        blackList.add(Character.UnicodeBlock.MISCELLANEOUS_SYMBOLS_AND_ARROWS);
        blackList.add(Character.UnicodeBlock.MISCELLANEOUS_SYMBOLS_AND_PICTOGRAPHS);
        blackList.add(Character.UnicodeBlock.ALCHEMICAL_SYMBOLS);
        blackList.add(Character.UnicodeBlock.TRANSPORT_AND_MAP_SYMBOLS);
        blackList.add(Character.UnicodeBlock.GEOMETRIC_SHAPES);
        blackList.add(Character.UnicodeBlock.DINGBATS);
        for (String input : arr) {
            int[] filtered = input.codePoints().filter((cp) -> !blackList.contains(Character.UnicodeBlock.of(cp))).toArray();
            String result = new String(filtered, 0, filtered.length);
            System.out.println(input);
            System.out.println(result);
        }
        System.out.println("\n---category---\n");
        int[] category = {Character.COMBINING_SPACING_MARK, Character.COMBINING_SPACING_MARK, Character.CONNECTOR_PUNCTUATION, /*Character.CONTROL,*/ Character.CURRENCY_SYMBOL,
            Character.DASH_PUNCTUATION, Character.DECIMAL_DIGIT_NUMBER, Character.ENCLOSING_MARK, Character.END_PUNCTUATION, Character.FINAL_QUOTE_PUNCTUATION,
            /*Character.FORMAT,*/ Character.INITIAL_QUOTE_PUNCTUATION, Character.LETTER_NUMBER, Character.LINE_SEPARATOR, Character.LOWERCASE_LETTER,
            /*Character.MATH_SYMBOL,*/ Character.MODIFIER_LETTER, /*Character.MODIFIER_SYMBOL,*/ Character.NON_SPACING_MARK, Character.OTHER_LETTER, Character.OTHER_NUMBER,
            Character.OTHER_PUNCTUATION, /*Character.OTHER_SYMBOL,*/ Character.PARAGRAPH_SEPARATOR, /*Character.PRIVATE_USE,*/
            Character.SPACE_SEPARATOR, Character.START_PUNCTUATION, /*Character.SURROGATE,*/ Character.TITLECASE_LETTER, /*Character.UNASSIGNED,*/ Character.UPPERCASE_LETTER};
        Arrays.sort(category);
        for (String input : arr) {
            int[] filtered = input.codePoints().filter((cp) -> Arrays.binarySearch(category, Character.getType(cp)) >= 0).toArray();
            String result = new String(filtered, 0, filtered.length);
            System.out.println(input);
            System.out.println(result);
        }
    }

}

Wynik:

---only letters and spaces alike---

Remove ✅, 🔥, ✈ , ♛ and other such signs from Java string
Remove      and other such signs from Java string
→ Cats and dogs
 Cats and dogs
I'm on 🔥
Im on 
Apples ⚛ 
Apples  
✅ Vi sign
 Vi sign
♛ I'm the king ♛ 
 Im the king  
Star me ★
Star me 
Star ⭐ once more
Star  once more
早上好 ♛
早上好 
Καλημέρα ✂
Καλημέρα 

---unicode blocks white---

Remove ✅, 🔥, ✈ , ♛ and other such signs from Java string
Remove , ,  ,  and other such signs from Java string
→ Cats and dogs
 Cats and dogs
I'm on 🔥
I'm on 
Apples ⚛ 
Apples  
✅ Vi sign
 Vi sign
♛ I'm the king ♛ 
 I'm the king  
Star me ★
Star me 
Star ⭐ once more
Star  once more
早上好 ♛

Καλημέρα ✂


---unicode blocks black---

Remove ✅, 🔥, ✈ , ♛ and other such signs from Java string
Remove , ,  ,  and other such signs from Java string
→ Cats and dogs
→ Cats and dogs
I'm on 🔥
I'm on 
Apples ⚛ 
Apples  
✅ Vi sign
 Vi sign
♛ I'm the king ♛ 
 I'm the king  
Star me ★
Star me 
Star ⭐ once more
Star  once more
早上好 ♛
早上好 
Καλημέρα ✂
Καλημέρα 

---category---

Remove ✅, 🔥, ✈ , ♛ and other such signs from Java string
Remove , ,  ,  and other such signs from Java string
→ Cats and dogs
 Cats and dogs
I'm on 🔥
I'm on 
Apples ⚛ 
Apples  
✅ Vi sign
 Vi sign
♛ I'm the king ♛ 
 I'm the king  
Star me ★
Star me 
Star ⭐ once more
Star  once more
早上好 ♛
早上好 
Καλημέρα ✂
Καλημέρα 

Kod działa poprzez przesyłanie strumienia do punktów kodowych. Następnie za pomocą lambda do filtrowania znaków wint tablicy, a następnie przekonwertujemy tablicę na String.

Te litery i spacje korzysta z wykorzystaniem metod znak do filtra, nie jest dobra ze znaków interpunkcyjnych. Nieudana próba .

Te bloki Unicode białe filtry wykorzystujące bloków Unicode określa się jako programista dozwolone. Nieudana próba .

Bloków Unicode czarny filtr używając bloków Unicode określa się jako programista nie dozwolony. Nieudana próba .

Kategoria filtr stosując metodę statyczną Character.getType. Programista może określić w categorytablicy, jakie typy są dozwolone. PRACE 😨😱😰😲😀.

Wypróbuj ten projekt simple-emoji-4j

Kompatybilny z Emoji 12.0 (2018.10.15)

Prosty z:

EmojiUtils.removeEmoji(str)

Użyj wtyczki jQuery o nazwie RM-Emoji. Oto jak to działa:

$('#text').remove('emoji').fast()

Jest to tryb szybki, w którym niektóre emoji mogą nie być dostępne, ponieważ wykorzystuje algorytmy heurystyczne do wyszukiwania emoji w tekście. Użyj .full()metody, aby zeskanować cały ciąg i usunąć wszystkie emoji gwarantowane.