将网络数据保存到 PostGIS答案

【问题标题】：Save web data into PostGIS将网络数据保存到 PostGIS
【发布时间】：2011-11-20 12:56:02
【问题描述】：

是否可以在使用 PHP 实现其 API 时存储从网站（Nestoria）收集的数据？我可以使用 PHP 提取数据并将结果显示在 Web 浏览器上，但我需要将它们转储或保存到我的 PostGIS 数据库中。（我在 Windows 7 上使用 XAMPP 和 PostGIS）

【问题讨论】：

您是否有权抓取 Nestoria 的数据？
@Mapperz：只要 akinboj 遵守nestoria.co.uk/help/api 上的“法律细节”，我不明白为什么不这样做。
我倾向于说这是一个更适合 StackOverflow 的问题，因为它实际上是关于抓取和存储一般数据，而不是关于 GIS。如果在对非地理空间部分进行排序后存储地理空间数据时遇到问题，请随时提出另一个问题。
您可以通过 Nestoria API 访问数据，但需要小心 - 他们有这样的子句“数据不得被搜索引擎索引”。所以大多数网站都可以索引 - 他们正在保护自己的网站。这很容易侵权。

标签： postgis php

【解决方案1】：

大多数公司不会对您这样做有问题，例如 Ebay 的 API。然而，正如 Mapperz 指出的那样——Nestoria 的条款要求您不要与他们竞争内容的原创性。因此，任何来自其 API 并存储在您的数据库中的数据都不应被搜索引擎索引。

这并不像您想象的那么难遵守。您可以通过 iframe 加载内容，该 iframe 在正在加载的页面的 HTML 中使用“NoIndex, NoFollow”元标记属性，或者在页面加载后使用 AJAX/JavaScript 将内容从数据库拉到页面的 DOM。

我个人会选择第二个选项（AJAX）。

【讨论】：

@Rexbit，Mapperz；我应该提到我只是将它用于学术目的，所以我不必担心他们的条款。事实是页面加载后我仍然无法将结果转储到我的数据库中。有什么进一步的帮助吗？