【发布时间】:2013-06-24 20:05:20
【问题描述】:
我目前正在尝试开发一个 API,而我现在所处的阶段是用完整的数据集(ID、名字、姓氏、出生日期等)填充一个表。
我写这篇文章的方式是使用一个从 1 到 500,000 的 cfloop(因为我不知道 ID 的范围是什么范围),并且在每个 cfloop 中我调用一个函数来向服务器并检索内容。
然后我对返回的 JSON 进行反序列化,调用一个函数来查询我的表以查看当前项目 ID 是否已经存在,如果不存在,则调用一个函数来插入记录。
但是 cfloop 似乎在 300 请求标记附近停止,所以我想知道是否有更好的方法来做我正在做的事情?也许通过使用我从未有过使用经验的 CFTHREAD 标签。
这部分代码如下:
<cfset Variables.url = "someurl.html" />
<cfloop from=100000 to=500000 index="itemNo">
<cfset Variables.itemID = itemNo />
<cfset getItemData = Application.cfcs.Person.getPersonData(Variables.url,Variables.itemID) />
<cfif StructKeyExists(Variables,"getPersonData.FileContent")>
<cfset Variables.getPersonData = DeserializeJSON(getPersonData.FileContent)>
<cfscript>
// CHECK IF PERSON ALREADY IN DATABASE
Variables.getPerson = Application.cfcs.Person.getPersonRecord(Variables.itemID);
// INSERT ITEM IN TO TABLE
Variables.DOB = CreateDate(Year(Variables.getPersonData.Item.DateOfBirth.Year),Month(Variables.getPersonData.Item.DateOfBirth.Month),Day(Variables.getPersonData.Item.DateOfBirth.Day));
Variables.insPerson = Application.cfcs.Person.insPerson(Variables.getPersonData.personID,Variables.getPersonData.Item.FirstName,Variables.getPersonData.Item.LastName,Variables.getPersonData.Item.CommonName,Variables.DOB);
</cfscript>
</cfif>
</cfloop>
【问题讨论】:
-
"cfloop 似乎在 300 请求标记附近停止" - 它是否给出错误消息?日志中有任何内容吗?
-
cfcs.Person.getPersonData() 从哪里得到它的数据?
-
-
首先,您需要查看 API 是什么。 en.wikipedia.org/wiki/Application_programming_interface -- 您似乎所做的只是对可能存在或不存在的数据进行大量调用,并尝试将其加载到数据库中。这并不比屏幕抓取好。放下 ColdFusion 锤子,想想像批量加载这样的优雅解决方案。
-
我同意@Claude 的观点,如果有任何方法可以避免发出 50 万个 HTTP 请求,那么就采用这种方法。如果真的没有办法解决它,这里有一些提示:你的进程可能/将会崩溃,所以你必须保持你身边的状态来跟踪你有什么和没有尝试过。如果您关心此进程的运行速度,请不要使用 CFHTTP,它在高流量时性能不佳,并且由于您已经看到的内存问题,它无法运行。而是使用支持 keep-alives 的 Java HTTP 库之一:hc.apache.org/httpcomponents-client-ga/index.html
标签: multithreading coldfusion cfhttp cfloop cfthread