【问题标题】:Python: How can I gather and parse csv data from a webpage?Python:如何从网页中收集和解析 csv 数据?
【发布时间】:2013-04-12 05:13:54
【问题描述】:

我有一个使用 cgi 脚本打印出 csv 数据的网页。我想使用 Python 解析数据。到目前为止,我知道我可以使用 urllib 来请求 url 并将 html 获取到一个巨大的字节字符串中。但是,它包含的远不止我需要的 csv 数据,包括 html 标记、换行符等……我想用这些数据做的是能够过滤行和列。这些数据最终将进入另一个 csv 文件,我可以将其用作数据以显示在图表(高图)中。

如何仅解析 csv 的 html?是否有一个库可以将 csv 收集到字典甚至更好的 csv 文件中?

谢谢

【问题讨论】:

  • Scrapy 可能是scrapy.org
  • 感谢您的建议。看起来 Scrapy 绝对可以工作。不幸的是,这比我想象的要简单地过滤网页中的行和列要多得多:(
  • 是的,直接访问数据库会让事情变得更容易

标签: python csv cgi urllib


【解决方案1】:

试试

1) 使用你提到的 urllib

2) 使用Beautiful soup 获取您需要的部分文档

3) 使用标准csv parserpandas 解析上一步收到的数据

【讨论】:

    猜你喜欢
    • 2020-03-02
    • 2013-05-31
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-02-19
    • 2020-09-17
    • 2012-01-22
    • 1970-01-01
    相关资源
    最近更新 更多