SE系统前期数据采集和处理工作基本完成,几分钟后将进行第二次大规模数据采集!
期待成功!!
*********************************************
XDSE RAW data Crawling....
Begin at:Wed, 02 May 2007 23:34:11 GMT
closed all threads
Finished to Crawling WebRawData!  : )
End at:Thu, 03 May 2007 01:44:54 GMT
*********************************************
Begin Extracting and Puriying....
Begin at:Thu, 03 May 2007 17:39:41 GMT
Finished to Extracting and Purifying!  : )
End at:Thu, 03 May 2007 17:41:23 GMT

第三阶段出问题了~~~原因~~~有部分页面没有按照网页制作标准来,导致系统不能识别是那种编码的内容
修正中....最终将转换成GB2312这样将对%80的GB编码也进行了次编码~~~导致效率降低~~~

相关文章:

  • 2021-10-07
  • 2021-07-26
  • 2021-08-30
  • 2022-02-08
  • 2021-06-12
  • 2022-01-18
  • 2022-12-23
  • 2021-12-24
猜你喜欢
  • 2022-12-23
  • 2022-12-23
  • 2021-12-15
  • 2021-10-08
  • 2022-12-23
  • 2021-07-01
  • 2022-12-23
相关资源
相似解决方案