替代包含标题的innerhtml？

Question

我正在尝试从以下页面提取数据：

http://www.bmreports.com/servlet/com.logica.neta.bwp_PanBMDataServlet?param1=&param2=&param3=&param4=&param5=2009-04-22&param6=37#

这既方便又低效，将所有嵌入为 csv 文件的数据包含在标题中，设置为名为 gs_csv 的变量。

我如何提取这个？ Document.body.innerhtml 跳过数据所在的标头，包含标头的替代方案是什么（或者更好的是，与 gs_csv 关联的值）？

（对不起，这一切都是新手，我一直在搜索大量文档，并尝试了很多，但到目前为止没有任何效果）。

---

感谢 Sinan（这主要是他转录成 Python 的解决方案）。

import win32com.client 

import time 

import os 

import os.path

ie = Dispatch("InternetExplorer.Application") 

ie.Visible=False 

ie.Navigate("http://www.bmreports.com/servlet/com.logica.neta.bwp_PanBMDataServlet?param1=&param2=&param3=&param4=&param5=2009-04-22&param6=37#")

time.sleep(20)

webpage=ie.document.body.innerHTML

s1=ie.document.scripts(1).text 

s1=s1[s1.find("gs_csv")+8:-11]

scriptfilepath="c:\FO Share\bmreports\script.txt" 

scriptfile = open(scriptfilepath, 'wb') 

scriptfile.write(s1.replace('\n','\n')) 

scriptfile.close()

ie.quit

Answer 1

未经测试：您是否尝试查看 Document.scripts 包含的内容？

更新：

出于某种原因，我很难使用 Windows 脚本主机来让它工作（但是，我不经常使用它，抱歉）。无论如何，这是有效的 Perl 源代码：

use strict;
use warnings;

use Win32::OLE;
$Win32::OLE::Warn = 3;

my $ie = get_ie();

$ie->{Visible} = 1;

$ie->Navigate(
    'http://www.bmreports.com/servlet/com.logica.neta.bwp_PanBMDataServlet?'
    .'param1=&param2=&param3=&param4=&param5=2009-04-22&param6=37#'
);

sleep 1 until is_ready( $ie );

my $scripts = $ie->Document->{scripts};

for my $script (in $scripts ) {
    print $script->text;
}

sub is_ready { $_[0]->{ReadyState} == 4 }

sub get_ie {
    Win32::OLE->new('InternetExplorer.Application', 
        sub { $_[0] and $_[0]->Quit },
    );
}

__END__

C:\Temp> ie > output

output 现在包含脚本标签中的所有内容。

Answer 2

使用 ajax 获取该页面的源代码，并使用 jquery 解析响应文本（如 XML）。获取您在

中遇到的第一个标签的文本应该很简单

我与 jquery 脱节，否则我会发布代码示例。

编辑：我假设您正在谈论在客户端获取 csv。

Answer 3

如果这只是一个一次性脚本，那么提取这个 csv 数据就像这样简单：

import urllib2

response = urllib2.urlopen('http://www.bmreports.com/foo?bar?')
html = response.read()
csv = data.split('gs_csv=')[1].split('</SCRIPT>')[0]

#process csv data here

Answer 4

感谢 Sinan（这主要是他转录成 Python 的解决方案）。

导入 win32com.client

导入时间导入操作系统

导入 os.path

ie = Dispatch("InternetExplorer.Application") ie.Visible=False

ie.Navigate("http://www.bmreports.com/servlet/com.logica.neta.bwp_PanBMDataServlet?param1=&param2=&param3=&param4=&param5=2009-04-22&param6=37#")

time.sleep(20)

网页=ie.document.body.innerHTML

s1=ie.document.scripts(1).text s1=s1[s1.find("gs_csv")+8:-11]

scriptfilepath="c:\FO Share\bmreports\script.txt"

scriptfile = open(scriptfilepath, 'wb')

scriptfile.write(s1.replace('\n','\n'))

scriptfile.close()

即退出