八爪鱼『如何用八爪鱼采集数据?』
恳请看到最后的“三好学生”们顺手点赞表示一下鼓励哈哈哈~~
接着执行1次【点击翻页】,翻到第2页,依次点击链接提取详情页数据;
输入网址后进入采集界面,可以看到,初始页面分为①网页显示、②数据预览和③流程图三大区域。
但有高效途径又何乐而不为呢?只需选择一款好用的数据采集器就能快速解决问题啦当前的数据采集软件有很多,比如集搜客、后裔采集器、八爪鱼等,本次我们就一起来了解八爪鱼这款工具
第一,以上设置完成后,依次点击右上方的【保存】和【采集】按钮,启动本地采集。
表格是一种很常见的网页样式,比如现在有一个新浪财经的网页 ,如何采集其中具体数据呢?
下面是整体采集流程图:
我们还以上一个采集文献详情数据为例,回到主页面下拉到页面底部,可以看到页号及翻页箭头。
第三,在黄色操作提示框中,选择【循环点击每个链接】。(因为是按顺序依次采集每个详情页数据,所以需要循环点击链接。)
因为我们想让八爪鱼自动翻页,依次采集第2页、第3页…..直到最后1页的数据。这就需要建立一个【翻页循环】。
需要说明的是,八爪鱼采集流程执行逻辑遵循先从上至下、再由内而外的原则。
第一,选中页面上第1个链接(会呈绿色实线框选状态)。
第一,以上设置完成后,依次点击右上方的【保存】和【采集】按钮,启动本地采集。
第一,任意点击选中页面上的一个图书列表。选中后的列表会呈绿色框选状态,其中红色虚线框内的称为【子元素】。(需要注意的是,要确保待采集的所有内容都在绿色框内。)
………·
在下方的数据预览部分,对于列表中已提取出的所有字段,我们可以根据实际需求进行修改字段名称或删除等操作。
以上就是本次分享的全部内容了~
那么如何将这些字段数据采集下来并以Excel形式保存呢?
第四,在黄色操作提示框中,选择【采集数据】。
到这里为止,我们学习了八爪鱼爬数据的基础操作,但是上面例子当中采集的数据量大概率是满足不了实际需求的。
接下来我们在数据预览区域,编辑修改字段名称。
选中箭头图标,在弹出的提示框中选择【循环点击单个链接】。
第二,点击【选中全部】后,同类标题链接都被选中。
第三,在提示框中,选择【选中全部】。可以看到页面中所有股票列表中的子元素都呈绿框选中状态。
选择以后,会发现页面跳转到了第1个链接的详情页。
通过这篇文章,相信即使没有使用过八爪鱼的小伙伴,应该也对采集数据的基础操作有了了解。
接下来我们以具体例子,了解如何采集列表数据、表格数据以及翻页采集详情页数据。
可以看到表格内每条股票信息各占一行,且一行股票中包含代码、名称、最新评级、评级机构、所属行业等多个字段信息。
去寻找原因和解决方案,发现是由于Xpath定位不好导致的,需要通过修改Xpath来解决。于是去安装了浏览器的Xpath插件,定位到第二页翻页的源码,将循环翻页步骤的Xpath进行以下修改后,才成功采集到了目标数据。
安装打开八爪鱼首页后,可以看到界面简洁,从上到下有搜索框、采集模板以及教程。采集时可以直接在搜索框输入目标网址,或者在左侧选择【新建】创建采集任务。
第三,在黄色操作提示框中,继续选择【选中全部】。
打开Excel文件,可以看到成功采集的数据~
接下来看具体操作:
如何采集更多的数据呢?观察网页会发现,通过翻页可以获取更多信息。那在八爪鱼当中我们该如何操作呢?
接下来对列表中已提取出的所有字段,根据实际需求进行修改名称或删除等操作。
第四,按照需要提取数据。依次点击选中字段后,在黄色操作提示框选择【采集该元素文本】或其他。这里只提取文章标题、作者、摘要、关键词、被引量和年份。
第四,在黄色操作提示框中,选择【采集数据】。此时,八爪鱼提取出列表中的字段。
在版块③中,点击每个步骤框可以进入基础、高级选项设置页面,点击…按钮可对当前步骤进行删除等操作。此外,将鼠标移动到流程中的 ↓位置,会出现 + 按钮,点击可添加流程步骤。
观察可以发现,该网页上的图书信息以列表形式呈现,每个列表结构相同,都包含书名、出版信息、评分、评价数、图书简介等。那么如何让八爪鱼识别所有列表,并采集所需类型的数据呢?
在版块②中可以对数据字段进行编辑、添加、删除等操作;
此时可以看到在下方的列表当中显示出了其他同类数据。
采集完成后,可以选择以特定格式导出数据。
在八爪鱼中采集数据的第一步基本都是输入目标网址,点击【开始采集】。
第二,在提示框中,选择【选中子元素】,这样第1个股票的具体字段会被选中。
在上面的操作中,我们采集的是主页面上的相关数据。但实际上,网页之间会有链接关系,如果我们对主页上某个条目感兴趣,会点击进入详情页进一步了解。那如何爬取多个同类详情页数据呢?
第一,选中页面上第一行第一个单元格,再点击操作提示框下方的TR,选中至一整行。
第二,在弹出的黄色操作提示框中选择【选中子元素】。
这时可以看到页面右侧的循环流程图发生了变化,循环翻页内嵌套【循环列表】及【点击翻页】。
在首页【输入框】中输入目标网址(以豆瓣读书为例),点击【开始采集】,八爪鱼会自动打开网页。
同时可以看到,列表其他元素在红色线框内,说明八爪鱼还自动识别出了页面中其他股票列表中的同类【子元素】。
其次记录第1页的所有目标链接,并依次点击每个链接进入详情页提取数据,直到点击最后1个链接提取数据后,退出循环【循环-点击元素-提取列表数据】;
以百度学术对“知识交互作用”的检索页面为例,在八爪鱼首页输入目标网址后,开始建立采集流程。
最后我们启动采集,并将数据以Excel格式导出。
在配置完采集流程初次进行翻页采集时,得到的采集结果存在大量重复,观察发现只是循环提取前两页数据,而不会转到第三页及以后。
在翻页采集过程中可能会遇到一些问题。比如我就猝不及防调入坑中,所幸及时爬出……
这时可以看到出现黄色操作提示框,提示我们发现了同类链接(红色虚线框选状态)。
以上设置完成后,就可以依次点击右上方的【保存】和【采集】按钮,启动本地采集啦。
那么什么是采集流程呢?它是指从特定网页上抓取数据的指令。由于每个网站的页面布局不同,因此采集流程不能通用,要根据具体需要自定义配置。
对于编程小白来说,学习工作当中需要用到大量数据该如何是好?正所谓工欲善其事必先利其器,难道真的需要从头开始上手爬虫技术嘛?当然在时间充裕时,有这个想法并付诸行动很是值得肯定。
其中点击版块①右上角的黄色图标,会打开【操作提示框】;
此时当前列表数据的全部具体字段已被识别出来,并且八爪鱼还自动识别出了其他同类元素。 www.cl55.vip
在八爪鱼中,我们需要建立【循环提取数据】的流程: www.pp777.vip
当前循环结束后再执行1次【点击翻页】,翻到第3页; www.pp776.vip
由于检索出的文献数量较多,这里将循环翻页次数设置为6,目标采集60条文献数据 www.pp775.vip
因此,在这个流程里,八爪鱼先自动打开目标网页【打开网页】,接着在第一页里找到并记录下网页上的翻页按钮【循环翻页】; www.pp774.vip
第二,采集完成后,选择合适的导出方式(Excel、CSV、HTML)导出数据。这里导出为Excel。 www.pp773.vip
第二,采集完成后,选择以Excel格式导出,即可得到成功采集的数据。 www.pp772.vip
点击采集选项之后,可以看到数据预览区域显示出所有待采集字段的数据。 www.pp771.vip
直到翻到最后一页后,执行最后一次循环提取全部数据,整个采集结束。