【问题标题】:How to show live JSON data on server如何在服务器上显示实时 JSON 数据
【发布时间】:2020-12-14 14:25:05
【问题描述】:

我是网络抓取的新手。我现在可以轻松地抓取数据。现在,我想在我的网站上显示一些实时航班数据。它是JSON 数据。我该怎么做,我不需要教程,我只是知道我应该用什么来做这个?。

【问题讨论】:

  • 我不明白您所说的“我网站上的航班数据”是什么意思。您的网站所在的位置是否有任何类型的网络服务?您想要一个自动将数据保存在您网站内的网络抓取工具吗?
  • @dcariotti 是的。我有 scaper,我不清楚如何将抓取的实时数据发送到网站。该站点通过对以php 结尾的url 的请求来显示数据。我需要post requests 到那个 URL。基本上,实时数据如何流式传输到网站。不是我自己的,但有人要求我将数据发送到他们的网站。感谢您的回复。

标签: python json python-3.x web-scraping


【解决方案1】:

您的问题有两种不同的方法:

  1. 向您的网站发出 POST 请求并保存数据
  2. 使用发布/订阅

真正的答案是:这取决于您的网站,因为如果您想使用Point 1.,您必须在您的网站内编写一个端点来请求表单数据并将数据保存在数据库中。

假设您使用 requests 库向名为 https://example.com/v1/flight_data 的端点发出 HTTP 请求,并且您的网站下有一个 Flask webapp:

# scraper
requests.post("https://example.com/v1/flight_data", data=<dictionary_with_data>)

# webapp
@app.route("v1/flight_data")
def post_flight_data():
    data = request.json
    # manipulate and save these data


Point 2. 可以用 Redis 创建,阅读更多关于它的信息here

如果您不想将数据存储在 Postgres 或 MySQL 等“普通”数据库中,我建议您使用 Redis,但请检查一下并在很短的时间后将其删除。

【讨论】:

  • 我得到了一些细节。我需要抓取它,将它托管在我自己的服务器上,然后另一个站点从那里获取它。所以,我假设,我将抓取的数据分享给 Flask?然后我是否创建一个 API 或其他东西让他们从我的网站上刮下来?..这是我没有得到的部分
  • 不,将它分成两个项目:scraper 将始终处于活动状态,对吗?刮板将数据发送到 Flask 应用程序。 webapp 随时准备响应。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2021-12-14
  • 2021-12-26
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2021-10-01
相关资源
最近更新 更多