Najpierw zrzeczenie się odpowiedzialności: wszystkie opublikowane fragmenty kodu są podstawowymi przykładami. Będziesz musiał poradzić sobie z trywialnymi IOException
i RuntimeException
podobnymi NullPointerException
, ArrayIndexOutOfBoundsException
i sam się żonić.
Przygotowanie
Najpierw musimy znać przynajmniej adres URL i zestaw znaków. Parametry są opcjonalne i zależą od wymagań funkcjonalnych.
String url = "http://example.com";
String charset = "UTF-8"; // Or in Java 7 and later, use the constant: java.nio.charset.StandardCharsets.UTF_8.name()
String param1 = "value1";
String param2 = "value2";
// ...
String query = String.format("param1=%s¶m2=%s",
URLEncoder.encode(param1, charset),
URLEncoder.encode(param2, charset));
Parametry zapytania muszą mieć name=value
format i być konkatenowane przez &
. Normalnie kodowałbyś również adresy URL parametrów zapytania za pomocą określonego zestawu znaków URLEncoder#encode()
.
To String#format()
tylko dla wygody. Wolę, gdybym potrzebował operatora konkatenacji String +
więcej niż dwa razy.
Odpalanie żądania HTTP GET z (opcjonalnie) parametrami zapytania
To banalne zadanie. Jest to domyślna metoda żądania.
URLConnection connection = new URL(url + "?" + query).openConnection();
connection.setRequestProperty("Accept-Charset", charset);
InputStream response = connection.getInputStream();
// ...
Każdy ciąg zapytania powinien być powiązany z adresem URL za pomocą ?
. Accept-Charset
Nagłówek może wskazywać serwer co kodujący parametry są w. Jeśli nie wysyła żadnych znaków zapytania, wtedy można opuścić Accept-Charset
nagłówek precz. Jeśli nie musisz ustawiać żadnych nagłówków, możesz nawet użyć URL#openStream()
metody skrótu.
InputStream response = new URL(url).openStream();
// ...
Tak czy inaczej, jeśli druga strona jest a HttpServlet
, wówczas doGet()
zostanie wywołana jej metoda i parametry będą dostępne przez HttpServletRequest#getParameter()
.
Do celów testowych możesz wydrukować treść odpowiedzi na standardowe wyjście, jak poniżej:
try (Scanner scanner = new Scanner(response)) {
String responseBody = scanner.useDelimiter("\\A").next();
System.out.println(responseBody);
}
Ustawianie URLConnection#setDoOutput()
się true
niejawnie ustawia metody żądania aby móc pisać. Standardowy HTTP POST, podobnie jak formularze sieciowe, jest typu, w application/x-www-form-urlencoded
którym ciąg zapytania jest zapisywany w treści żądania.
URLConnection connection = new URL(url).openConnection();
connection.setDoOutput(true); // Triggers POST.
connection.setRequestProperty("Accept-Charset", charset);
connection.setRequestProperty("Content-Type", "application/x-www-form-urlencoded;charset=" + charset);
try (OutputStream output = connection.getOutputStream()) {
output.write(query.getBytes(charset));
}
InputStream response = connection.getInputStream();
// ...
Uwaga: ilekroć chcesz programowo przesłać formularz HTML, nie zapomnij wziąć name=value
par dowolnych <input type="hidden">
elementów do ciągu zapytania i oczywiście także name=value
pary <input type="submit">
elementów, które chcesz programowo „nacisnąć” (ponieważ jest to zwykle używane po stronie serwera, aby rozróżnić, czy przycisk został naciśnięty, a jeśli tak, to który).
Można też rzucić otrzymany URLConnection
aby HttpURLConnection
i wykorzystanie jej HttpURLConnection#setRequestMethod()
w zamian. Ale jeśli próbujesz użyć połączenia dla wyjścia trzeba jeszcze zestaw URLConnection#setDoOutput()
do true
.
HttpURLConnection httpConnection = (HttpURLConnection) new URL(url).openConnection();
httpConnection.setRequestMethod("POST");
// ...
Tak czy inaczej, jeśli druga strona jest a HttpServlet
, wówczas doPost()
zostanie wywołana jej metoda i parametry będą dostępne przez HttpServletRequest#getParameter()
.
Właściwie uruchamianie żądania HTTP
Możesz jawnie uruchomić żądanie HTTP URLConnection#connect()
, ale żądanie zostanie automatycznie uruchomione na żądanie, jeśli chcesz uzyskać jakiekolwiek informacje o odpowiedzi HTTP, takie jak użycie treści odpowiedzi URLConnection#getInputStream()
i tak dalej. Powyższe przykłady dokładnie to robią, więc connect()
wywołanie jest w rzeczywistości zbędne.
Zbieranie informacji o odpowiedzi HTTP
Status odpowiedzi HTTP :
Potrzebujesz HttpURLConnection
tutaj. Najpierw rzuć to, jeśli to konieczne.
int status = httpConnection.getResponseCode();
Nagłówki odpowiedzi HTTP :
for (Entry<String, List<String>> header : connection.getHeaderFields().entrySet()) {
System.out.println(header.getKey() + "=" + header.getValue());
}
Kodowanie odpowiedzi HTTP :
Gdy Content-Type
zawiera charset
parametr, wówczas treść odpowiedzi jest prawdopodobnie oparta na tekście i chcielibyśmy następnie przetworzyć treść odpowiedzi za pomocą kodowania znaków określonego po stronie serwera.
String contentType = connection.getHeaderField("Content-Type");
String charset = null;
for (String param : contentType.replace(" ", "").split(";")) {
if (param.startsWith("charset=")) {
charset = param.split("=", 2)[1];
break;
}
}
if (charset != null) {
try (BufferedReader reader = new BufferedReader(new InputStreamReader(response, charset))) {
for (String line; (line = reader.readLine()) != null;) {
// ... System.out.println(line) ?
}
}
} else {
// It's likely binary content, use InputStream/OutputStream.
}
Utrzymanie sesji
Sesja po stronie serwera jest zwykle wspierana przez plik cookie. Niektóre formularze internetowe wymagają zalogowania i / lub śledzenia przez sesję. Możesz używać CookieHandler
interfejsu API do przechowywania plików cookie. Przed wysłaniem wszystkich żądań HTTP musisz przygotować znak „ CookieManager
a CookiePolicy
” ACCEPT_ALL
.
// First set the default cookie manager.
CookieHandler.setDefault(new CookieManager(null, CookiePolicy.ACCEPT_ALL));
// All the following subsequent URLConnections will use the same cookie manager.
URLConnection connection = new URL(url).openConnection();
// ...
connection = new URL(url).openConnection();
// ...
connection = new URL(url).openConnection();
// ...
Pamiętaj, że wiadomo, że nie zawsze działa to poprawnie we wszystkich okolicznościach. Jeśli to się nie powiedzie, najlepiej ręcznie zebrać i ustawić nagłówki plików cookie. Zasadniczo musisz pobrać wszystkie Set-Cookie
nagłówki z odpowiedzi logowania lub pierwszego GET
żądania, a następnie przekazać je przez kolejne żądania.
// Gather all cookies on the first request.
URLConnection connection = new URL(url).openConnection();
List<String> cookies = connection.getHeaderFields().get("Set-Cookie");
// ...
// Then use the same cookies on all subsequent requests.
connection = new URL(url).openConnection();
for (String cookie : cookies) {
connection.addRequestProperty("Cookie", cookie.split(";", 2)[0]);
}
// ...
split(";", 2)[0]
Jest tam, aby pozbyć atrybutów plików cookie, które są nieistotne dla po stronie serwera jak expires
, path
itp Alternatywnie, można również użyć cookie.substring(0, cookie.indexOf(';'))
zamiast split()
.
Tryb przesyłania strumieniowego
HttpURLConnection
Wola domyślnie buforowania całego ciała żądania przed wysłaniem go w rzeczywistości, niezależnie od tego, czy masz ustawioną stałą długość zawartości samodzielnie za pomocą connection.setRequestProperty("Content-Length", contentLength);
. Może to powodować, OutOfMemoryException
ilekroć jednocześnie wysyłasz duże żądania POST (np. Przesyłanie plików). Aby tego uniknąć, chcesz ustawić HttpURLConnection#setFixedLengthStreamingMode()
.
httpConnection.setFixedLengthStreamingMode(contentLength);
Ale jeśli długość zawartości nie jest tak naprawdę wcześniej znana, możesz skorzystać z trybu przesyłania strumieniowego, ustawiając HttpURLConnection#setChunkedStreamingMode()
odpowiednio. Spowoduje to ustawienie Transfer-Encoding
nagłówka HTTP, do chunked
którego będzie wymuszane wysyłanie treści żądania we fragmentach. Poniższy przykład wyśle ciało w kawałkach po 1 KB.
httpConnection.setChunkedStreamingMode(1024);
Agent użytkownika
Może się zdarzyć, że żądanie zwróci nieoczekiwaną odpowiedź, podczas gdy działa poprawnie z prawdziwą przeglądarką internetową . Strona serwera prawdopodobnie blokuje żądania na podstawie User-Agent
nagłówka żądania. URLConnection
Wola domyślnie ustawić go Java/1.6.0_19
gdzie ostatnia część jest oczywiście wersja JRE. Możesz to zmienić w następujący sposób:
connection.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36"); // Do as if you're using Chrome 41 on Windows 7.
Użyj ciągu User-Agent z najnowszej przeglądarki .
Obsługa błędów
Jeśli kod odpowiedzi HTTP to 4nn
(Błąd klienta) lub 5nn
(Błąd serwera), możesz przeczytać, HttpURLConnection#getErrorStream()
aby sprawdzić, czy serwer wysłał jakieś przydatne informacje o błędzie.
InputStream error = ((HttpURLConnection) connection).getErrorStream();
Jeśli kod odpowiedzi HTTP to -1, coś poszło nie tak z obsługą połączeń i odpowiedzi. HttpURLConnection
Realizacja jest w starszych JRE nieco buggy z utrzymaniem połączenia żyje. Możesz to wyłączyć, ustawiając http.keepAlive
właściwość systemową na false
. Możesz to zrobić programowo na początku swojej aplikacji poprzez:
System.setProperty("http.keepAlive", "false");
Przesyłanie plików
Zwykle używasz multipart/form-data
kodowania dla mieszanej zawartości POST (dane binarne i znakowe). Kodowanie jest bardziej szczegółowo opisane w RFC2388 .
String param = "value";
File textFile = new File("/path/to/file.txt");
File binaryFile = new File("/path/to/file.bin");
String boundary = Long.toHexString(System.currentTimeMillis()); // Just generate some unique random value.
String CRLF = "\r\n"; // Line separator required by multipart/form-data.
URLConnection connection = new URL(url).openConnection();
connection.setDoOutput(true);
connection.setRequestProperty("Content-Type", "multipart/form-data; boundary=" + boundary);
try (
OutputStream output = connection.getOutputStream();
PrintWriter writer = new PrintWriter(new OutputStreamWriter(output, charset), true);
) {
// Send normal param.
writer.append("--" + boundary).append(CRLF);
writer.append("Content-Disposition: form-data; name=\"param\"").append(CRLF);
writer.append("Content-Type: text/plain; charset=" + charset).append(CRLF);
writer.append(CRLF).append(param).append(CRLF).flush();
// Send text file.
writer.append("--" + boundary).append(CRLF);
writer.append("Content-Disposition: form-data; name=\"textFile\"; filename=\"" + textFile.getName() + "\"").append(CRLF);
writer.append("Content-Type: text/plain; charset=" + charset).append(CRLF); // Text file itself must be saved in this charset!
writer.append(CRLF).flush();
Files.copy(textFile.toPath(), output);
output.flush(); // Important before continuing with writer!
writer.append(CRLF).flush(); // CRLF is important! It indicates end of boundary.
// Send binary file.
writer.append("--" + boundary).append(CRLF);
writer.append("Content-Disposition: form-data; name=\"binaryFile\"; filename=\"" + binaryFile.getName() + "\"").append(CRLF);
writer.append("Content-Type: " + URLConnection.guessContentTypeFromName(binaryFile.getName())).append(CRLF);
writer.append("Content-Transfer-Encoding: binary").append(CRLF);
writer.append(CRLF).flush();
Files.copy(binaryFile.toPath(), output);
output.flush(); // Important before continuing with writer!
writer.append(CRLF).flush(); // CRLF is important! It indicates end of boundary.
// End of multipart/form-data.
writer.append("--" + boundary + "--").append(CRLF).flush();
}
Jeśli druga strona to a HttpServlet
, wówczas doPost()
zostanie wywołana jej metoda, a części będą dostępne przez HttpServletRequest#getPart()
(uwaga, więc nie getParameter()
i tak dalej!). getPart()
Sposób jest jednak stosunkowo nowe, to wprowadza się serwletu 3,0 (GlassFish 3 Tomcatem 7, etc). Przed serwletem 3.0 najlepszym wyborem jest użycie Apache Commons FileUpload do parsowania multipart/form-data
żądania. Zobacz także tę odpowiedź, aby zapoznać się z przykładami podejść do FileUpload i Servelt 3.0.
Radzenie sobie z niezaufanymi lub źle skonfigurowanymi stronami HTTPS
Czasami musisz podłączyć adres URL HTTPS, być może dlatego, że piszesz skrobak sieciowy. W takim przypadku możesz spotkać się z osobą javax.net.ssl.SSLException: Not trusted server certificate
w niektórych witrynach HTTPS, która nie aktualizuje swoich certyfikatów SSL, java.security.cert.CertificateException: No subject alternative DNS name matching [hostname] found
lub javax.net.ssl.SSLProtocolException: handshake alert: unrecognized_name
w niektórych źle skonfigurowanych witrynach HTTPS.
Poniższy jednorazowy static
inicjalizator w klasie skrobaka internetowego powinien uczynić HttpsURLConnection
bardziej łagodnym co do tych witryn HTTPS i tym samym nie rzucać już tych wyjątków.
static {
TrustManager[] trustAllCertificates = new TrustManager[] {
new X509TrustManager() {
@Override
public X509Certificate[] getAcceptedIssuers() {
return null; // Not relevant.
}
@Override
public void checkClientTrusted(X509Certificate[] certs, String authType) {
// Do nothing. Just allow them all.
}
@Override
public void checkServerTrusted(X509Certificate[] certs, String authType) {
// Do nothing. Just allow them all.
}
}
};
HostnameVerifier trustAllHostnames = new HostnameVerifier() {
@Override
public boolean verify(String hostname, SSLSession session) {
return true; // Just allow them all.
}
};
try {
System.setProperty("jsse.enableSNIExtension", "false");
SSLContext sc = SSLContext.getInstance("SSL");
sc.init(null, trustAllCertificates, new SecureRandom());
HttpsURLConnection.setDefaultSSLSocketFactory(sc.getSocketFactory());
HttpsURLConnection.setDefaultHostnameVerifier(trustAllHostnames);
}
catch (GeneralSecurityException e) {
throw new ExceptionInInitializerError(e);
}
}
Ostatnie słowa
Apache HttpComponents HttpClient jest znacznie wygodniejszy w tym wszystkim :)
Analiza i wyodrębnianie HTML
Jeśli wszystko, czego potrzebujesz, to analizowanie i wyodrębnianie danych z HTML, lepiej użyj parsera HTML, takiego jak Jsoup