我需要抓取一个包含以下文本的简单网页：
值=29 时间=128769
值经常变化。
我想提取值（在本例中为 29）并将其存储在数据库中。我想每 6 小时刮一次这个页面。我对在任何地方显示值不感兴趣，我只是对 cron 感兴趣。希望我说得通。
如果我可以使用 Google 的 App Engine 完成此操作，请告知我。
谢谢！
【问题讨论】：
标签： database google-app-engine screen-scraping cron
如果我能完成，请告诉我 使用 Google 的 App Engine。
当然！例如，在 Python 中，urlfetch（以 URL 作为参数）来获取内容，然后是简单的 re.search(r'Value=(\d+)').group(1)（如果内容与您显示的一样简单）来获取值，然后是 db.put存储它。您想要详细说明 Python 的详细信息，还是更喜欢 Java？
编辑：urllib / urllib2 也是可行的（GAE 现在确实支持它们）。
所以cron.yaml 应该是这样的：
cron:
- description: refresh "value"
url: /refvalue
schedule: every 6 hours
和app.yaml 类似：
application: valueref
version: 1
runtime: python
api_version: 1
handlers:
- url: /refvalue
script: refvalue.py
login: admin
当然，您可能在其中一个或两个中都有其他条目，但这是“刷新值”所需的子集。一个可能的refvalue.py 可能是：
import re
import wsgiref.handlers
from google.appengine.ext import db
from google.appengine.ext import webapp
from google.appengine.api import urlfetch
class Value(db.Model):
thevalue = db.IntegerProperty()
when = db.DateTimeProperty(auto_now_add=True)
class RefValueHandler(webapp.RequestHandler):
def get(self):
resp = urlfetch.fetch('http://whatever.example.com')
mo = re.match(r'Value=(\d+)', resp.content)
if mo:
val = int(mo.group(1))
else:
val = None
valobj = Value(thevalue=val)
valobj.put()
def main():
application = webapp.WSGIApplication(
[('/refvalue', RefValueHandler),], debug=True)
wsgiref.handlers.CGIHandler().run(application)
if __name__ == '__main__':
main()
根据您的网络应用程序正在执行的其他操作，您可能希望将 class Value 移动到单独的文件（例如 models.py 与其他模型），然后您当然必须导入（从此.py 文件和其他人对您保存的所有值做了一些有趣的事情）。这里我考虑了一些可能的异常（在目标页面上没有找到Value=），但没有考虑其他（目标页面的服务器没有响应或给出错误）；很难确切地知道您需要考虑哪些异常以及如果它们发生您想要做什么（我在这里所做的非常简单地将None 记录为异常时的值，但您可能想要做更多。 .. 或更少——我将把它留给你！-)
【讨论】：