初学者抓取项目：如何将 Twitter id 转换为用户名？

Question

感谢@BittoBennichan，我已经能够build这个小python东西，它可以抓取Twitter上发布的媒体中标记的用户ID：

from bs4 import BeautifulSoup
from selenium import webdriver
import time

# Create a new instance of the Firefox driver
driver = webdriver.Firefox()

# go to page
driver.get("http://twitter.com/XXXXXX/media")

#You can adjust it but this works fine
SCROLL_PAUSE_TIME = 2

# Get scroll height
last_height = driver.execute_script("return document.body.scrollHeight")

while True:
    # Scroll down to bottom
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

    # Wait to load page
    time.sleep(SCROLL_PAUSE_TIME)

    # Calculate new scroll height and compare with last scroll height
    new_height = driver.execute_script("return document.body.scrollHeight")
    if new_height == last_height:
        break
    last_height = new_height


# Now that the page is fully scrolled, grab the source code.
src = driver.page_source

#Past it into BS
soup = BeautifulSoup(src, 'html.parser')
divs = soup.find_all('div',class_='account')

#PRINT RESULT
#print('printing results')
#for div in divs:
#    print(div['data-user-id'])


#SAVE IN FILE
print('Saving results')    
with open('file.txt','w') as f:
   for div in divs:
        f.write(div['data-user-id']+'\n')   

所以程序运行良好。它检索 id 并打印它们或将它们写入 txt 文件。我现在可以将这个 id 列表粘贴到 Calc 中，并添加一个数据透视表来查看每个 id 被标记了多少次。 但！我还有一些问题：

-我只得到 id，而不是用户名。现在有什么更简单的方法：在收集 id 的同时收集用户名并将它们放在文件中？或者后期将ids文件转换成用户名文件？最后的解决方案怎么可能？

-我无法无限向下滚动。我回到了 2018 年 9 月，但仅此而已。它只是说“回到顶部”。现在，是因为我没有登录 Twitter 还是因为某些内置限制？

如果您有任何意见、想法等...任何帮助将不胜感激。 谢谢！

编辑1： 我从here 找到了这个（Tweepy）解决方案：

def get_usernames(ids):
    """ can only do lookup in steps of 100;
        so 'ids' should be a list of 100 ids
    """
    user_objs = api.lookup_users(user_ids=ids)
    for user in user_objs:
        print(user.screen_name)

所以，由于我的列表超过 100，我应该这样做：

对于更大的 id 集，您可以将其放入 for 循环并调用 因此，同时遵守 twitter API 限制。

Answer 1

您的代码没有为我生成 ID，因此最初无法测试这些解决方案。不确定问题是什么，因为我没有调查它，但似乎我的源 html 没有任何class='account'。所以我在代码中将其更改为只说“查找所有具有属性“data-user-id”的 div 标签：

 divs = soup.find_all('div', {"data-user-id" : re.compile(r".*")})

1) 要拥有 csv，您只需编写并保存为 csv，而不是 txt。另一种选择是创建一个带有 id 的数据框，然后使用 pandas 写入带有 df.to_csv('path/to/file.csv') 的 csv

2) 将其放入列表中也很容易。

创建 ID 列表 - for Loop

#TO PUT INTO LIST (FOR LOOP)
id_list = []
for div in divs:
    id_list.append(div['data-user-id'])

print (id_list)

创建 ID 列表 - 列表理解

#TO PUT INTO LIST (LIST COMPREHENSION)
id_list = [ div['data-user-id'] for div in divs ]

写入 CSV

#SAVE IN FILE
import csv
print('Saving results')    
with open('file.csv','w', newline='') as f:
    writer = csv.writer(f)
    for div in divs:
        writer.writerow([div['data-user-id']])