Otrzymuję SocketTimeoutException w Jsoup: upłynął limit czasu odczytu

Otrzymuję SocketTimeoutException, gdy próbuję przeanalizować wiele dokumentów HTML za pomocą Jsoup.
Na przykład mam listę linków:

<a href="www.domain.com/url1.html">link1</a>
<a href="www.domain.com/url2.html">link2</a>
<a href="www.domain.com/url3.html">link3</a>
<a href="www.domain.com/url4.html">link4</a>

Dla każdego linku parsuję dokument powiązany z adresem URL (z atrybutu href), aby uzyskać inne informacje na tych stronach.
Mogę sobie więc wyobrazić, że zajmuje to dużo czasu, ale jak wyłączyć ten wyjątek?
Oto cały ślad stosu:

java.net.SocketTimeoutException: Read timed out
    at java.net.SocketInputStream.socketRead0(Native Method)
    at java.net.SocketInputStream.read(Unknown Source)
    at java.io.BufferedInputStream.fill(Unknown Source)
    at java.io.BufferedInputStream.read1(Unknown Source)
    at java.io.BufferedInputStream.read(Unknown Source)
    at sun.net.www.http.HttpClient.parseHTTPHeader(Unknown Source)
    at sun.net.www.http.HttpClient.parseHTTP(Unknown Source)
    at sun.net.www.protocol.http.HttpURLConnection.getInputStream(Unknown Source)
    at java.net.HttpURLConnection.getResponseCode(Unknown Source)
    at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:381)
    at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:364)
    at org.jsoup.helper.HttpConnection.execute(HttpConnection.java:143)
    at org.jsoup.helper.HttpConnection.get(HttpConnection.java:132)
    at app.ForumCrawler.crawl(ForumCrawler.java:50)
    at Main.main(Main.java:15)

Dziękuję kumple!

EDYCJA: Hum ... Przepraszamy, właśnie znalazłem rozwiązanie:

Jsoup.connect(url).timeout(0).get();

Mam nadzieję, że to może być przydatne dla kogoś innego ... :)

Myślę, że możesz to zrobić

Jsoup.connect("...").timeout(10 * 1000).get(); 

co ustawia limit czasu na 10 sekund.

Ok - próbowałem to zaproponować jako zmianę odpowiedzi MarcoS, ale zmiana została odrzucona. Niemniej jednak następujące informacje mogą być przydatne dla przyszłych odwiedzających:

Według Javadocs , domyślny limit czasu za org.jsoup.Connectionto 30 sekund.

Jak już wspomniano, można to ustawić za pomocą timeout(int millis)

Ponadto, jak zauważa OP w edycji, można to również ustawić za pomocą timeout(0). Jednak, jak stwierdza javadocs:

Limit czasu równy zero jest traktowany jako nieskończony limit czasu.

Na https://jsoup.org/apidocs/org/jsoup/Connection.html jest błąd . Domyślny limit czasu nie wynosi 30 sekund. To 3 sekundy. Wystarczy spojrzeć na javadoc w kodach. Mówi 3000 ms.

Miałem ten sam błąd:

java.net.SocketTimeoutException: Read timed out
    at java.net.SocketInputStream.socketRead0(Native Method)
    at java.net.SocketInputStream.socketRead(SocketInputStream.java:116)
    at java.net.SocketInputStream.read(SocketInputStream.java:171)
    at java.net.SocketInputStream.read(SocketInputStream.java:141)

i tylko ustawienie .userAgent(Opera)działało dla mnie.

Więc użyłem Connection userAgent(String userAgent)metody klasy Connection do ustawienia agenta użytkownika Jsoup.

Coś jak:

Jsoup.connect("link").userAgent("Opera").get();

To powinno działać: Jsoup.connect(url.toLowerCase()).timeout(0);.

Ustaw limit czasu podczas łączenia z jsoup.