Pytania otagowane jako web-scraping

Web scraping to proces wyodrębniania określonych informacji ze stron internetowych, które nie zapewniają łatwo API ani innych metod automatycznego wyszukiwania danych. Pytania dotyczące „Jak rozpocząć pracę ze skrobaniem” (np. Z Excel VBA) powinny być * dokładnie zbadane *, ponieważ dostępne są liczne próbki kodu funkcjonalnego. Metody skrobania sieci obejmują aplikacje innych firm, tworzenie niestandardowego oprogramowania, a nawet ręczne zbieranie danych w ustandaryzowany sposób.

8
Jak mogę szybciej zgarniać
Praca tutaj jest zeskrobać API witrynę, która rozpoczyna się od https://xxx.xxx.xxx/xxx/1.jsoncelu https://xxx.xxx.xxx/xxx/1417749.jsoni zapisz go dokładnie MongoDB. Do tego mam następujący kod: client = pymongo.MongoClient("mongodb://127.0.0.1:27017") db = client["thread1"] com = db["threadcol"] start_time = time.time() write_log = open("logging.log", "a") min = 1 max = 1417749 for n in range(min, max): response = …


1
Nie można pozwolić, aby mój skrypt automatycznie wygenerował kilka wartości do użycia w ładunku
Utworzyłem skrypt, aby pobrać elementy HTML ze strony docelowej, wysyłając następnie dwa żądania https. Mój skrypt potrafi to zrobić bezbłędnie. Musiałem jednak skopiować cztery wartości z narzędzi chrome dev, aby wypełnić cztery klucze payloadw celu wysłania ostatecznych żądań HTTP do strony docelowej. To jest link początkowy, a poniżej znajduje się …

2
Nie można przeanalizować nazwy użytkownika, aby upewnić się, że jestem zalogowany na stronie internetowej
Napisałem skrypt w Pythonie, aby zalogować się na stronie internetowej i przeanalizować nazwę użytkownika, aby upewnić się, że naprawdę mogę się zalogować. Wydaje mi się, że sposób, w jaki próbowałem poniżej, prowadzi mnie tam. Jednak, aby osiągnąć sukces, użyłem na stałe plików cookie pobranych z narzędzi chrome dev w skrypcie. …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.