如何使 Web 抓取应用程序用户友好

Question

我正在创建一个我希望“普通”用户能够使用的网络爬虫应用程序。我担心网络抓取应用程序对于大多数用户来说可能过于复杂，因为用户需要：

1. 了解 URL 结构（域、路径等）。
2. 了解爬行的“深度”。
3. 了解文件扩展名并能够设置“过滤器”来缩小抓取范围，从而获得更好的性能（否则他们会对程序感到失望）。
4. 了解 URL 在页面中的位置（图片来源、链接、纯文本 URL 等...）。

我可以做些什么来帮助用户快速熟悉我的程序？或者更好的是，我该怎么做才能让程序足够直观，让用户“明白”？我知道这似乎很宽泛，但是如果您可以将您的答案限制在网络爬虫上，那应该会有所帮助。我已经阅读了一般可用性、用户界面设计等方面的内容......但我正在努力解决我正在工作的领域。谢谢。

Answer 1

仅仅因为网络爬虫的实现很复杂，并不意味着它必须很复杂才能使用。只提供真正需要的东西，其余的使用合理的默认值。这将使您获得 80% 的用例，然后依靠其他 20% 更愿意有更深入的了解。

1. 他们为什么必须理解这一点？取决于预期的用途，但我会假设大多数用途都是在抓取完整网站的情况下使用，因此只需要域。
2. Gert G 建议使用具有扩展文件夹结构的滑块是一个很好的建议。对于相关网站，这不一定是动态的，只是说明其含义。
3. 忘记公开文件扩展名，而是提供带有图标的常见文件类型，甚至可能对它们进行分组（例如，所有常见的图像类型，jpg、png、gif，归入一种“图像”类型）。仅在高级配置部分下提供原始文件扩展名设置，需要的人会理解。
4. 我真的不明白他们为什么需要理解这一点？这当然是爬虫的工作。

Answer 2

一些想法：

• 制作交互式用户界面（例如深度滑块，显示文件夹和子文件夹在移动滑块时打开的小图片）
• 避免混乱。将设置划分为逻辑选项卡。
• 为您需要教他们的东西制作视频教程。

Answer 3

也许您可以拥有一张“网络”图片，其中显示来自两个或三个网站的两个或三个页面。当用户选择在哪里找到链接（例如，图像、纯文本、链接等）时，他们选择的页面部分将在图像中突出显示。