Czy istnieje sposób, aby zapisać całą komunikację przeglądarki HTTP i HTTPS (w tym żądanie, odpowiedź, pełne nagłówki i treść) do plików na moim komputerze?
Komunikacja HTTPS musi być zapisana w postaci odszyfrowanej.
Idealnie szukałbym czegoś takiego jak rozszerzenie do przeglądarki Firefox lub Google Chrome.
Musi działać w systemie Linux.
Odpowiedzi:
HAR jest archiwum HTTP i jest dokładnie tym, co chcesz zapisać (zawiera niezaszyfrowane HTTPS).
Na szczęście jest to teraz podstawowa funkcja wszystkich głównych przeglądarek (nie było to, kiedy zadałeś pytanie). Nie potrzebujesz już rozszerzeń stron trzecich.
W przeglądarce Firefox (v41 +):
Inna przeglądarka:
W najnowszej wersji wszystkich przeglądarek możesz łatwo zapisać HAR:
HTTPFox to rozszerzenie Firefoksa, które wykona zadanie.
=== EDYCJA ===
Kliknij prawym przyciskiem myszy panel żądań i kliknij „Kopiuj wszystkie wiersze”. Następnie możesz zapisać go w dowolnym edytorze - na przykład w arkuszu kalkulacyjnym Openoffice. Zobacz obraz, który podałem.
Error loading content (NS_ERROR_DOCUMENT_NOT_CACHED). Ale potrzebuję odpowiedzi wszystkich żądań, więc HttpFox nie może być rozwiązaniem tego problemu.
Skrzypek jest zdecydowanie czymś, co należy rozważyć, nawet jeśli nie jest to rozszerzenie, ale osobna aplikacja.
Znalazłem tę odpowiedź, chcąc to zrobić, i żadna z odpowiedzi tutaj mi nie odpowiadała, ponieważ musiałem zrzucić ciała odpowiedzi HTTPS, podobnie jak OP. Dla tych, którzy lądują tutaj tak jak ja, oto co znalazłem.
W końcu wylądowałem na mitmproxy , który nie jest rozszerzeniem Firefoksa, ale osiąga cel rejestrowania całego ruchu Firefox. To wszystko Python, więc zainstalowałem go z pip install mitmproxy- jeśli chcesz, użyj menedżera pakietów.
Zacząłem mitmproxyod wstępnej konfiguracji / debugowania, a następnie mitmdumpzrzuciłem strumień, gdy tylko go uruchomiłem i poprawiłem.
Właśnie ustawiłem Firefoksa na używanie 127.0.0.1:8080jako serwera proxy (8080 jest domyślnym portem mitmproxy) i widziałem cały mój ruch Firefoxa przechodzący przez mitmproxy. Aby włączyć ruch HTTPS, musisz zaakceptować certyfikat, który tworzy mitmproxy - po skonfigurowaniu proxy wystarczy przejść do „magicznego adresu” http://mitm.it w przeglądarce Firefox, kliknąć przycisk „Inne”, zaznaczyć pola zaufać certyfikatu i naciśnij OK.
Aby zrzucić niezaszyfrowaną treść odpowiedzi, musiałem użyć bardzo prostego skryptu wbudowanego :
from libmproxy.model import decoded
def response(context, flow):
with decoded(flow.response): # automatically decode gzipped responses.
with open("body.txt","ab") as f:
f.write(flow.response.content)
Gist tutaj - pobierz go jako save_response.pyi używaj z mitmdump -s save_response.py. Ciała odpowiedzi zaczną się gromadzić body.txt.
mitmproxy ma również wiele przydatnych filtrów , które możesz określić, aby mitmdump pobierał tylko to, czego potrzebujesz.
httpFox, httpScoop (tylko Mac) i httpWatch (IE, Firefox, tylko Windows) to wszystkie narzędzia, których używam do tego celu. Dodatkowo możesz także spróbować Fiddlera (jak wcześniej sugerowano), a jeśli używasz komputera Mac, możesz wypróbować Charlesa Proxy. Moim osobistym ulubionym jest httpWatch (możesz łatwo filtrować nagłówki, treść, adres URL itp.), Ale jest to kosztowne, więc może nie być opcją.
Możesz także przyjrzeć się projektowi HAR (HAR oznacza HTTP Archive) i jest standardowym podejściem do rejestrowania transakcji HTTP, nagłówków, treści itp. Wiele wymienionych narzędzi jest w stanie wyeksportować twoje pliki HAR do przeglądania za pomocą he HAR Viewer (z którym zapoznasz się, jeśli spojrzałeś na funkcję wodospadu w Firebug). W rzeczywistości możesz użyć Firebug do wygenerowania tych plików / dzienników również za pomocą NetExport.
FWIW httpScoop to dobra metoda debugowania / śledzenia ruchu HTTP w sieci bezprzewodowej, napisałem o tym jakiś czas temu: http://blog.adtools.co.uk/trace-debug-mobile-application-http- request-using-macos /
Wireshark może być używany do przechwytywania pakietów sieciowych, w tym rzeczy w warstwie protokołu http, i zapisywania ich na komputerze. Może również przechwytywać informacje https, ale wątpię, czy można je skonfigurować tak, aby cokolwiek odszyfrować.