ruby 1.9: nieprawidłowa sekwencja bajtów w UTF-8

Piszę robota w języku Ruby (1.9), który zużywa dużo kodu HTML z wielu przypadkowych witryn.
Próbując wyodrębnić linki, zdecydowałem się po prostu użyć .scan(/href="(.*?)"/i)zamiast nokogiri / hpricot (duże przyspieszenie). Problem w tym, że teraz otrzymuję dużo " invalid byte sequence in UTF-8" błędów.
Z tego, co zrozumiałem, net/httpbiblioteka nie ma żadnych konkretnych opcji kodowania, a rzeczy, które wchodzą, są w zasadzie nieprawidłowo oznaczone.
Jaki byłby najlepszy sposób pracy z przychodzącymi danymi? Próbowałem .encodez ustawionymi zamiennikami i nieprawidłowymi opcjami, ale jak dotąd bez powodzenia ...

W Ruby 1.9.3 możliwe jest użycie String.encode do "zignorowania" nieprawidłowych sekwencji UTF-8. Oto fragment, który będzie działał zarówno w wersji 1.8 ( iconv ), jak i 1.9 ( kodowanie String # ):

require 'iconv' unless String.method_defined?(:encode)
if String.method_defined?(:encode)
  file_contents.encode!('UTF-8', 'UTF-8', :invalid => :replace)
else
  ic = Iconv.new('UTF-8', 'UTF-8//IGNORE')
  file_contents = ic.iconv(file_contents)
end

lub jeśli masz naprawdę kłopotliwe dane wejściowe, możesz wykonać podwójną konwersję z UTF-8 na UTF-16 iz powrotem na UTF-8:

require 'iconv' unless String.method_defined?(:encode)
if String.method_defined?(:encode)
  file_contents.encode!('UTF-16', 'UTF-8', :invalid => :replace, :replace => '')
  file_contents.encode!('UTF-8', 'UTF-16')
else
  ic = Iconv.new('UTF-8', 'UTF-8//IGNORE')
  file_contents = ic.iconv(file_contents)
end

Zaakceptowana odpowiedź ani inna odpowiedź mi nie pasuje. Znalazłem ten post, który zasugerował

string.encode!('UTF-8', 'binary', invalid: :replace, undef: :replace, replace: '')

To rozwiązało problem.

Moje obecne rozwiązanie polega na uruchomieniu:

my_string.unpack("C*").pack("U*")

Pozwoli to przynajmniej pozbyć się wyjątków, które były moim głównym problemem

Spróbuj tego:

def to_utf8(str)
  str = str.force_encoding('UTF-8')
  return str if str.valid_encoding?
  str.encode("UTF-8", 'binary', invalid: :replace, undef: :replace, replace: '')
end

Zalecam użycie parsera HTML. Po prostu znajdź najszybszy.

Przetwarzanie kodu HTML nie jest tak łatwe, jak mogłoby się wydawać.

Przeglądarki analizują nieprawidłowe sekwencje UTF-8 w dokumentach HTML UTF-8, po prostu umieszczając symbol „ ”. Zatem po przeanalizowaniu nieprawidłowej sekwencji UTF-8 w kodzie HTML otrzymany tekst jest prawidłowym ciągiem.

Nawet wewnątrz wartości atrybutów musisz dekodować jednostki HTML, takie jak amp

Oto świetne pytanie, które podsumowuje, dlaczego nie można wiarygodnie przeanalizować HTML za pomocą wyrażenia regularnego: RegEx pasuje do otwartych tagów z wyjątkiem tagów niezależnych XHTML

To wydaje się działać:

def sanitize_utf8(string)
  return nil if string.nil?
  return string if string.valid_encoding?
  string.chars.select { |c| c.valid_encoding? }.join
end

attachment = file.read

begin
   # Try it as UTF-8 directly
   cleaned = attachment.dup.force_encoding('UTF-8')
   unless cleaned.valid_encoding?
     # Some of it might be old Windows code page
     cleaned = attachment.encode( 'UTF-8', 'Windows-1252' )
   end
   attachment = cleaned
 rescue EncodingError
   # Force it to UTF-8, throwing out invalid bits
   attachment = attachment.force_encoding("ISO-8859-1").encode("utf-8", replace: nil)
 end

Napotkałem ciąg znaków, który zawierał mieszankę angielskiego, rosyjskiego i kilku innych alfabetów, co spowodowało wyjątek. Potrzebuję tylko języka rosyjskiego i angielskiego, a to obecnie działa dla mnie:

ec1 = Encoding::Converter.new "UTF-8","Windows-1251",:invalid=>:replace,:undef=>:replace,:replace=>""
ec2 = Encoding::Converter.new "Windows-1251","UTF-8",:invalid=>:replace,:undef=>:replace,:replace=>""
t = ec2.convert ec1.convert t

Podczas gdy rozwiązanie Nakilona działa, przynajmniej jeśli chodzi o omijanie błędu, w moim przypadku miałem ten dziwny, przerobiony znak pochodzący z Microsoft Excela przekonwertowany na CSV, który rejestrował się w ruby ​​jako (pobierz to) cyrylicę K, która w ruby był pogrubionym K. Aby to naprawić, użyłem „iso-8859-1”, a mianowicie. CSV.parse(f, :encoding => "iso-8859-1"), co zmieniło moje dziwaczne, deaky cyrillic K w znacznie łatwiejsze w zarządzaniu /\xCA/, które mogłem następnie usunąć za pomocąstring.gsub!(/\xCA/, '')

Przed użyciem scanupewnij się, że Content-Typenagłówek żądanej strony to text/html, ponieważ mogą istnieć linki do rzeczy, takich jak obrazy, które nie są zakodowane w UTF-8. Strona może być również hrefw formacie innym niż HTML, jeśli wybrałeś element w rodzaju <link>elementu. Sposób sprawdzenia tego zależy od używanej biblioteki HTTP. Następnie upewnij się, że wynikiem jest tylko ascii z String#ascii_only?(nie UTF-8, ponieważ HTML powinien używać tylko ascii, encje mogą być używane w inny sposób). Jeśli oba te testy przejdą pomyślnie, można go bezpiecznie używać scan.

Jeśli nie „przejmujesz się” danymi, możesz po prostu zrobić coś takiego:

search_params = params[:search].valid_encoding? ? params[:search].gsub(/\W+/, '') : "nothing"

Po prostu mi to valid_encoding?zdawało. Moje jest polem wyszukiwania, więc w kółko znajdowałem tę samą dziwność, więc użyłem czegoś w stylu: po prostu nie psuj systemu. Ponieważ nie kontroluję doświadczenia użytkownika, aby przeprowadzić automatyczną weryfikację przed wysłaniem tych informacji (np. Automatyczna informacja zwrotna z napisem „dummy up!”), Mogę po prostu wziąć to, usunąć i zwrócić puste wyniki.