每次 while 循环开始时迭代下一行

Question

我有一个 csv 文件，其中包含从流式 API 抓取的链接。我在 while 循环中有一个脚本（称为“selenium.py”），其中 selenium webdriver 对每个 url 进行屏幕截图，然后将其保存在文件中。每分钟都会向 csv 文件添加更多行。

我的代码是：

df = pd.read_csv('screenshot.csv', header = 0, usecols= ['url','guid'])
while True: 
   i = 0  
   for i, row in df.iterrows():
       r = driver.get(row['url'])
       driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
       i += 1
       for n in range(2):
           file_name = str(row['guid'])
           fn_1 = "date_stamp{n:0>5}.png".format(n = n)
           date_stamp= str(datetime.datetime.now()).split('.')[0]
           fn_1 = date_stamp
           fn=driver.save_screenshot(file_name+ ' ' + date_stamp + '.png')
           sourcepath='/Users/user/'
           destinationpath = '/Users/user/Screen'
           sourcefiles = os.listdir(sourcepath)
           filename= file_name+ ' ' + date_stamp + '.png'

我需要什么：

我是这样在jupyter中运行脚本的：

while True: %run "Selenium.py" time.sleep(60.0 - ((time.time() - starttime) % 60.0))

我需要每次脚本运行时，迭代增加一行。

有什么帮助吗？

Answer 1

将您在Selenium.py 中所做的一切捆绑到一个函数中，例如：

def take_screenshot():
    # your code here

然后在 jupyter 中导入您的文件：

import Selenium

然后你可以调用函数：

while True:
    Selenium.take_screenshot()
    time.sleep(60.0 - ((time.time() - starttime) % 60.0))

Answer 2

首先，您需要将 csv 的读取移动到 while 循环中：

df = pd.read_csv('screenshot.csv', header = 0, usecols= ['url','guid'])
while True: 

变成

while True: 
    df = pd.read_csv('screenshot.csv', header = 0, usecols= ['url','guid'])

现在，您可以跟踪已读取的行数并在读取 csv 时使用 skiprows。即

i = 1
while True:
  df = pd.read_csv('screenshot.csv', header=0, usecols=['url','guid'], skiprows=lambda x: x in range(1, i))
  for i, row in df.iterrows():
    r = driver.get(row['url'])
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    i += 1

也就是说，你最好不要在这里使用 pandas，而是逐行读取每一行，或者将其存储到一个 dict 中，或者将它存储到一个集合中的“seen”guid/urls 中（这样你就不用获取它们两次）。