Jak przewijać stronę internetową za pomocą selenium webdriver w Pythonie?

Obecnie używam webdrivera selenu do analizowania strony znajomych na Facebooku i wyodrębniania wszystkich identyfikatorów ze skryptu AJAX. Ale muszę przewinąć w dół, aby znaleźć wszystkich przyjaciół. Jak mogę przewinąć w dół w Selenium. Używam Pythona.

Możesz użyć

driver.execute_script("window.scrollTo(0, Y)") 

gdzie Y to wysokość (na monitorze FullHD jest to 1080). (Dzięki @lukeis)

Możesz także użyć

driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

aby przewinąć do dołu strony.

Jeśli chcesz przewinąć do strony z nieskończonym ładowaniem , takiej jak strony społecznościowe, facebook itp. (Dzięki @Cuong Tran)

SCROLL_PAUSE_TIME = 0.5

# Get scroll height
last_height = driver.execute_script("return document.body.scrollHeight")

while True:
    # Scroll down to bottom
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

    # Wait to load page
    time.sleep(SCROLL_PAUSE_TIME)

    # Calculate new scroll height and compare with last scroll height
    new_height = driver.execute_script("return document.body.scrollHeight")
    if new_height == last_height:
        break
    last_height = new_height

inną metodą (dzięki Juanse) jest wybranie obiektu i

label.sendKeys(Keys.PAGE_DOWN);

Jeśli chcesz przewinąć w dół nieskończoną stronę (np. Linkedin.com ), możesz użyć tego kodu:

SCROLL_PAUSE_TIME = 0.5

# Get scroll height
last_height = driver.execute_script("return document.body.scrollHeight")

while True:
    # Scroll down to bottom
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

    # Wait to load page
    time.sleep(SCROLL_PAUSE_TIME)

    # Calculate new scroll height and compare with last scroll height
    new_height = driver.execute_script("return document.body.scrollHeight")
    if new_height == last_height:
        break
    last_height = new_height

Źródła: https://stackoverflow.com/a/28928684/1316860

Możesz użyć send_keysdo symulacji naciśnięcia klawisza END(lub PAGE_DOWN) (co normalnie przewija stronę):

from selenium.webdriver.common.keys import Keys
html = driver.find_element_by_tag_name('html')
html.send_keys(Keys.END)

ta sama metoda, jak pokazano tutaj :

w Pythonie możesz po prostu użyć

driver.execute_script("window.scrollTo(0, Y)")

(Y to pozycja w pionie, do której chcesz przewinąć)

element=find_element_by_xpath("xpath of the li you are trying to access")

element.location_once_scrolled_into_view

pomogło to, gdy próbowałem uzyskać dostęp do „li”, które nie było widoczne.

W moim celu chciałem bardziej przewijać w dół, pamiętając o położeniu okien. Moje rozwiązanie było podobne i używanewindow.scrollY

driver.execute_script("window.scrollTo(0, window.scrollY + 200)")

który przejdzie do aktualnej pozycji przewijania y + 200

Oto jak przewijasz stronę w dół:

driver.execute_script("window.scrollTo(0, 1000);")

Najłatwiejszym sposobem rozwiązania tego problemu było wybranie etykiety, a następnie wysłanie:

label.sendKeys(Keys.PAGE_DOWN);

Mam nadzieję, że to działa!

Żadna z tych odpowiedzi nie działała dla mnie, przynajmniej nie do przewijania strony wyników wyszukiwania na Facebooku, ale po wielu testach znalazłem to rozwiązanie:

while driver.find_element_by_tag_name('div'):
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    Divs=driver.find_element_by_tag_name('div').text
    if 'End of Results' in Divs:
        print 'end'
        break
    else:
        continue

Podczas pracy z YouTube elementy pływające podają wartość „0” jako wysokość przewijania, więc zamiast używać „return document.body.scrollHeight” spróbuj użyć tego jednego „return document.documentElement.scrollHeight” dostosuj czas wstrzymania przewijania zgodnie z Twoim Internetem W przeciwnym razie będzie działać tylko jeden raz, a następnie zepsuje się.

SCROLL_PAUSE_TIME = 1

# Get scroll height
"""last_height = driver.execute_script("return document.body.scrollHeight")

this dowsnt work due to floating web elements on youtube
"""

last_height = driver.execute_script("return document.documentElement.scrollHeight")
while True:
    # Scroll down to bottom
    driver.execute_script("window.scrollTo(0,document.documentElement.scrollHeight);")

    # Wait to load page
    time.sleep(SCROLL_PAUSE_TIME)

    # Calculate new scroll height and compare with last scroll height
    new_height = driver.execute_script("return document.documentElement.scrollHeight")
    if new_height == last_height:
       print("break")
       break
    last_height = new_height

Szukałem sposobu na przewijanie dynamicznej strony internetowej i automatyczne zatrzymywanie po osiągnięciu końca strony i znalezieniu tego wątku.

Post od @Cuong Tran , z jedną główną modyfikacją, był odpowiedzią, której szukałem. Pomyślałem, że inni mogą uznać modyfikację za pomocną (ma ona wyraźny wpływ na działanie kodu), stąd ten post.

Modyfikacja polega na przeniesieniu instrukcji przechwytującej wysokość ostatniej strony wewnątrz pętli (tak, aby każde sprawdzenie było porównywane z wysokością poprzedniej strony).

Tak więc poniższy kod:

Ciągle przewija dynamiczną stronę internetową w dół ( .scrollTo()), zatrzymując się tylko wtedy, gdy w jednej iteracji wysokość strony pozostaje taka sama.

(Jest jeszcze jedna modyfikacja, w której instrukcja break znajduje się w innym warunku (w przypadku, gdy strona się zacina), który można usunąć).

    SCROLL_PAUSE_TIME = 0.5


    while True:

        # Get scroll height
        ### This is the difference. Moving this *inside* the loop
        ### means that it checks if scrollTo is still scrolling 
        last_height = driver.execute_script("return document.body.scrollHeight")

        # Scroll down to bottom
        driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

        # Wait to load page
        time.sleep(SCROLL_PAUSE_TIME)

        # Calculate new scroll height and compare with last scroll height
        new_height = driver.execute_script("return document.body.scrollHeight")
        if new_height == last_height:

            # try again (can be removed)
            driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

            # Wait to load page
            time.sleep(SCROLL_PAUSE_TIME)

            # Calculate new scroll height and compare with last scroll height
            new_height = driver.execute_script("return document.body.scrollHeight")

            # check if the page height has remained the same
            if new_height == last_height:
                # if so, you are done
                break
            # if not, move on to the next loop
            else:
                last_height = new_height
                continue

Ten kod przewija się do dołu, ale nie wymaga za każdym razem czekania. Będzie się stale przewijać, a następnie zatrzymywać na dole (lub po przekroczeniu limitu czasu)

from selenium import webdriver
import time

driver = webdriver.Chrome(executable_path='chromedriver.exe')
driver.get('https://example.com')

pre_scroll_height = driver.execute_script('return document.body.scrollHeight;')
run_time, max_run_time = 0, 1
while True:
    iteration_start = time.time()
    # Scroll webpage, the 100 allows for a more 'aggressive' scroll
    driver.execute_script('window.scrollTo(0, 100*document.body.scrollHeight);')

    post_scroll_height = driver.execute_script('return document.body.scrollHeight;')

    scrolled = post_scroll_height != pre_scroll_height
    timed_out = run_time >= max_run_time

    if scrolled:
        run_time = 0
        pre_scroll_height = post_scroll_height
    elif not scrolled and not timed_out:
        run_time += time.time() - iteration_start
    elif not scrolled and timed_out:
        break

# closing the driver is optional 
driver.close()

Jest to znacznie szybsze niż oczekiwanie 0,5-3 sekund za każdym razem na odpowiedź, kiedy ta odpowiedź może zająć 0,1 sekundy

Przewiń ładowanie stron. Przykład: medium, quora itp

last_height = driver.execute_script("return document.body.scrollHeight")
    while True:
        driver.execute_script("window.scrollTo(0, document.body.scrollHeight-1000);")
        # Wait to load the page.
        driver.implicitly_wait(30) # seconds
        new_height = driver.execute_script("return document.body.scrollHeight")
    
        if new_height == last_height:
            break
        last_height = new_height
        # sleep for 30s
        driver.implicitly_wait(30) # seconds
    driver.quit()

jeśli chcesz przewijać w określonym widoku / ramce (WebElement), jedyne, co musisz zrobić, to zastąpić „body” określonym elementem, który chcesz przewijać. otrzymuję ten element poprzez „getElementById” w poniższym przykładzie:

self.driver.execute_script('window.scrollTo(0, document.getElementById("page-manager").scrollHeight);')

tak jest na przykład w YouTube ...

Ta ScrollTo()funkcja już nie działa. To jest to, czego użyłem i działało dobrze.

driver.execute_script("document.getElementById('mydiv').scrollIntoView();")

driver.execute_script("document.getElementById('your ID Element').scrollIntoView();")

to działa w moim przypadku.