下面我们就来聊聊,这款软件的优秀之处。
后羿采集器把采集工作分为两种类型:智能模式和流程图模式。
这个可以说是后羿采集器最良心的功能了。
我在本文动笔之前曾经想过先写几篇后羿采集器的使用教程,但是看了他们的官网教程后就知道没这个必要了,因为写的实在是太详细了。
基本的数据抓取非常简单:我们只要点击「添加字段」那个按钮,就会出现一个选择魔棒,然后点选要抓取的数据,就能采集数据了:
对于这三种基础翻页类型,后羿采集器也是完全支持的。
对于一些多项联动筛选的网页,后羿采集器也能很好的处理。我们可以利用后裔采集器里的流程图模式,去自定义一些交互规则。
例如下图,我就利用了流程图模式里的点击组件模拟点击筛选按钮,非常方便。
相比之下,后羿采集器提供了更多的功能:强大的过滤配置,完整的正则功能和全面的文字处理配置。当然,功能强大的同时也带来了复杂度的提升,需要有更多的耐心去学习使用。
下面是官网上和数据清洗有关的教程,大家可以参考学习:
本文前面也介绍过了,流程图模式的本质就是图形化编程。我们可以利用后裔采集器提供的各种控件,模拟编程语言中的各种条件控制语句,从而模拟真人浏览网页的各种行为爬取数据。
无论是什么爬虫软件,他们都是基于一定的规则去抓取数据的。XPath/CSS/Regex就是几个常见的匹配规则。后羿采集器支持自定义这几种选择器,可以更灵活的选择要抓取的数据。
比如说某个网页里存在数据A,但只有鼠标移到对应的文字上才会以弹窗的形式显示出来,这时候我们就可以自己写一个对应的选择器去筛选数据。
这几个都是后羿采集器的付费功能,我没有开会员,所以也不知道使用体验怎么样。在此我做个小小的科普,给大家解释一下这几个名词是什么意思。
这个功能就是内置了验证码识别器,可以实现机器打码or手动打码,也是绕过网站风控的一种方法。
个人认为后羿采集器是一款非常优秀的数据采集软件。它提供的免费功能可以解决绝大部分编程小白的数据抓取需求。
如果有一些编程基础,可以明显的看出一些功能是对编程语言逻辑的封装,比如说流程图模式是对流程控制的封装,数据清洗功能是对字符串处理函数的封装。这些高阶功能扩展了后羿采集器的能力,也增大了学习难度。
我个人看来,如果是轻量的数据抓取需求,更倾向于使用webscraper;需求比较复杂,后羿采集器是个不错的选择;如果涉及到定时抓取等高级需求,自己写爬虫代码反而更加可控。
总而言之,后羿采集器是一款优秀的数据采集软件,非常推荐大家学习和使用。