Jak używać PyCharm do debugowania projektów Scrapy

Pracuję nad Scrapy 0.20 z Pythonem 2.7. Odkryłem, że PyCharm ma dobry debugger Pythona. Chcę przetestować moje pająki Scrapy przy jego użyciu. Czy ktoś wie, jak to zrobić, proszę?

Co próbowałem

File->Setting->Project structure->Add content root.

Ale nie wiem, co jeszcze mam zrobić

scrapyKomenda jest skrypt Pythona, który oznacza, że można go uruchomić od wewnątrz pycharm.

Kiedy przyjrzysz się plikowi binarnemu scrapy ( which scrapy), zauważysz, że w rzeczywistości jest to skrypt w Pythonie:

#!/usr/bin/python

from scrapy.cmdline import execute
execute()

Oznacza to, że takie polecenie scrapy crawl IcecatCrawlermożna również wykonać w ten sposób:python /Library/Python/2.7/site-packages/scrapy/cmdline.py crawl IcecatCrawler

Spróbuj znaleźć pakiet scrapy.cmdline. W moim przypadku lokalizacja była tutaj:/Library/Python/2.7/site-packages/scrapy/cmdline.py

Utwórz konfigurację uruchamiania / debugowania w PyCharm z tym skryptem jako skryptem. Wypełnij parametry skryptu poleceniem scrapy i pająkiem. W tym przypadku crawl IcecatCrawler.

Lubię to:

Umieść punkty przerwania w dowolnym miejscu kodu indeksującego i powinno działać ™.

Po prostu musisz to zrobić.

Utwórz plik Python w folderze robota w swoim projekcie. Użyłem main.py.

• Projekt
  • Gąsienica
    • Gąsienica
      • Pająki
      • ...
    • main.py
    • scrapy.cfg

Wewnątrz swojego main.py umieść poniższy kod.

from scrapy import cmdline    
cmdline.execute("scrapy crawl spider".split())

Aby uruchomić plik main.py, musisz utworzyć „Uruchom konfigurację”.

Robiąc to, jeśli umieścisz punkt przerwania w swoim kodzie, zatrzyma się na tym.

Od 2018.1 stało się to znacznie łatwiejsze. Możesz teraz wybrać Module namew swoim projekcie Run/Debug Configuration. Ustaw to scrapy.cmdlinei na Working directorykatalog główny projektu scrapy (tego, który jest settings.pyw nim).

Tak jak to:

Teraz możesz dodać punkty przerwania, aby debugować swój kod.

Uruchamiam scrapy w virtualenv z Pythonem 3.5.0 i ustawiam parametr „script”, aby /path_to_project_env/env/bin/scrapyrozwiązać problem.

pomysł intellij również działa.

utwórz main.py :

#!/usr/bin/env python
# -*- coding: utf-8 -*-
#coding=utf-8
import sys
from scrapy import cmdline
def main(name):
    if name:
        cmdline.execute(name.split())



if __name__ == '__main__':
    print('[*] beginning main thread')
    name = "scrapy crawl stack"
    #name = "scrapy crawl spa"
    main(name)
    print('[*] main thread exited')
    print('main stop====================================================')

pokaż poniżej:

Aby dodać trochę do zaakceptowanej odpowiedzi, po prawie godzinie stwierdziłem, że muszę wybrać poprawną konfigurację Run Configuration z rozwijanej listy (w pobliżu środka paska narzędzi ikony), a następnie kliknąć przycisk Debug, aby uruchomić. Mam nadzieję że to pomoże!

Używam również PyCharm, ale nie używam jego wbudowanych funkcji debugowania.

Do debugowania używam ipdb. Skonfigurowałem skrót klawiaturowy do wstawiania import ipdb; ipdb.set_trace()w dowolnym wierszu, w którym chcę, aby pojawił się punkt przerwania.

Następnie mogę wpisać, naby wykonać następną instrukcję, swejść w funkcję, wpisać dowolną nazwę obiektu, aby zobaczyć jego wartość, zmienić środowisko wykonywania, typ, caby kontynuować wykonywanie ...

Jest to bardzo elastyczne, działa w środowiskach innych niż PyCharm, w których nie kontrolujesz środowiska wykonawczego.

Po prostu wpisz swoje wirtualne środowisko pip install ipdbi umieść import ipdb; ipdb.set_trace()w linii, w której chcesz wstrzymać wykonanie.

Zgodnie z dokumentacją https://doc.scrapy.org/en/latest/topics/practices.html

import scrapy
from scrapy.crawler import CrawlerProcess

class MySpider(scrapy.Spider):
    # Your spider definition
    ...

process = CrawlerProcess({
    'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)'
})

process.crawl(MySpider)
process.start() # the script will block here until the crawling is finished

Używam tego prostego skryptu:

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

process = CrawlerProcess(get_project_settings())

process.crawl('your_spider_name')
process.start()

Rozszerzając wersję odpowiedzi @ Rodrigo dodałem ten skrypt i teraz mogę ustawić nazwę pająka z konfiguracji zamiast zmieniać ją w ciągu.

import sys
from scrapy import cmdline

cmdline.execute(f"scrapy crawl {sys.argv[1]}".split())