Silverlight 4页面上的网页抓取答案

【问题标题】：Web scraping on silverlight 4 pageSilverlight 4页面上的网页抓取
【发布时间】：2015-10-01 19:53:47
【问题描述】：

有一个嵌入了银光应用程序的网页，我想抓取它。我想知道是否有在 C#、Java 或 Python 中支持 silverlight 的网络抓取解决方案或浏览器自动化解决方案（或任何技巧/黑客）。

我目前正在尝试silvernium，但它是一个相当过时的项目，似乎无法与 silverlight 4 一起正常工作。

以下是页面中SL对象的部分html信息：

<object data="data:application/x-silverlight-2," type="application/x-silverlight-2" width="100%" height="100%">

<param name="source" value="PATH/WebSilverlight.xap"/>
<param name="onerror" value="onSilverlightError"/>
<param name="background" value="white"/>
<param name="minRuntimeVersion" value="4.0.50524.0"/>
<param name="autoUpgrade" value="true"/>
<param name="windowless" value="true"/>
<param name="enableautozoom" value="true"/>
...

【问题讨论】：

标签： silverlight selenium web-scraping silverlight-4.0

【解决方案1】：

我已成功与Telerik testing framework 合作

在C#中支持silverlight的自动化解决方案

它是免费的，一旦你习惯了它 - 非常容易，因为它有丰富的 API 和跨浏览器兼容性。也许最棘手的部分是最初配置测试。

简单示例：

Settings mySettings = new Settings();
mySettings.Web.DefaultBrowser = BrowserType.InternetExplorer;
Manager myManager = new Manager(mySettings);
myManager.Start();    
myManager.LaunchNewBrowser();

myManager.ActiveBrowser.NavigateTo("http://www.example.com");

Element mybtn = myManager.ActiveBrowser.Find.ByTagIndex("input", 3);
myManager.ActiveBrowser.Actions.Click(mybtn);

myManager.Dispose();

Windows Inspect tool 是一个很好的补充。它使您能够选择任何 UI 元素并在一些棘手的情况下查看元素的可访问性数据。

更新：

我搜索了一些以前使用过的有用文档链接。使用 Silverlight UI 自动化查看 Getting started 和 Locating elements。

【讨论】：

听起来很有希望，我今天拿到 Windows 机器后会尝试一下，还是有办法在 osx 中尝试？
很遗憾，这项技术不适合程序应该运行的生产环境的要求，但很高兴知道它，再次感谢。

【解决方案2】：

最后，我使用基于计算机视觉的技术SikuliX 实施了一种解决方法，并像普通用户一样从 Silverlight 网络应用程序中获取打印的 PDF 以获取信息。这是一个script，它展示了如何与 Selenium 一起运行它。

另一种选择是破解请求并保持会话活跃，同时使用Scrapy、abot、crawler4j 或任何其他类似技术导航到您需要的信息。

【讨论】：