无法在我的脚本中运行循环

Question

这是The Link这个帖子的后续问题。我希望我的脚本从第一页解析姓名和电话，然后单击下一页按钮并执行相同操作，直到所有下一页链接都用尽。但是，当我单独执行下面的脚本（while 循环中的部分）时，它可以工作，但是当两者都被包裹在 while 循环中时，后一部分，我的意思是分页部分无法执行。我尝试了几次，但结果总是一样的。我该如何修复它，以便它从第一页解析文档并单击下一页链接来完成剩下的工作？

脚本：

while True:
    for item in wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR, ".ajaxBtn"))):
        item.click()
        time.sleep(3)
        root = fromstring(driver.page_source)
        try:
            name = root.cssselect("#popclick .modal-header .h4")[0].text.strip()
            phone = root.cssselect("td:contains('Phone:')+td")[0].text.strip()
        except:
            pass
        print(name,phone)
        wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#popclick .modal-header button"))).click()
        driver.execute_script("window.scrollTo(0, {})".format(item.location['y']))

    try:
        link = wait.until(EC.element_to_be_clickable((By.LINK_TEXT, ">")))
        link.click()
        wait.until(EC.staleness_of(link))
    except:
        break

Answer 1

当您只是遍历所有页面时，您单击顶部分页（可见的一个）上的“>”按钮，但是当您在抓取的同时执行相同操作时，您会将页面向下滚动到底部分页。在这种情况下，顶部分页不再可见，因此您的循环制动

try:
    link = wait.until(EC.element_to_be_clickable((By.LINK_TEXT, ">")))
    link.click()

因为你不能点击顶部的“>”。

您需要处理底部分页。只需替换

link = wait.until(EC.element_to_be_clickable((By.LINK_TEXT, ">")))

与

link = driver.find_elements_by_link_text(">")[1]