【发布时间】:2014-03-02 21:59:00
【问题描述】:
我正在编写一个网络爬虫。所有链接都存储在 MySQL 数据库中。因为我将在多个节点上运行爬虫,所以我需要尽快将 URL 设置为“正在被爬取”以保持高效。
我的网络爬虫是用 C# 编写的。现在,它会下载 URL 和 ID,然后将 URL 设置为使用 ID 进行爬网。问题是需要 2 个不同的查询。有没有办法把它们结合起来?
这是我当前的代码:
string stm = "SELECT * FROM pages WHERE IsCrawled = 0 LIMIT 1;";
MySqlCommand cmd = new MySqlCommand(stm, conn);
cmd.ExecuteScalar();
id = -1;
using (rdr = cmd.ExecuteReader())
{
if (rdr.Read())
{
URL = rdr.GetString(1);
id = rdr.GetInt32(0);
}
}
MySqlCommand update = new MySqlCommand("UPDATE pages SET IsCrawled = 1 WHERE ID = '"+id+"'", conn);
update.ExecuteScalar();
再次,我想将查询组合在一起。
【问题讨论】:
-
Convert.ToString返回string。如果你想使用它的返回值,你应该顺便给它一个字符串引用。 -
我认为如果您使用的是 orm(linq、ado.net 等),您可以按照您的要求进行操作。使用这种方法,我认为你不走运。