八爪鱼采集器

八爪鱼采集器是一款全网通用的互联网数据采集器，通过模拟人浏览网页的行为，将网页数据转化为结构化数据，存储于EXCEL或数据库等多种形式。它提供基于云计算的大数据云采集解决方案，实现精准、高效、大规模的数据采集。

更新日志

1. 自动导出支持批量启动和停止
2. 模板任务开放基础设置和云采集完成邮件通知等
3. 个人中心优化改版
4. 智能识别优化
5. 浏览模式下，支持网页的前进后退等基础操作
6. 支持本地任务运行浏览器自动最大化的设置
7. 任务配置文本输入增加回车enter快捷操作入口
8. 修复其他已知bug

软件特色

模板采集

模板采集模式内置上百种主流网站数据源，如京东、天猫、大众点评等热门采集网站，只需参照模板简单设置参数，就可以快速获取网站公开数据。

智能采集

八爪鱼采集可根据不同网站，提供多种网页采集策略与配套资源，可自定义配置，组合运用，自动化处理。从而帮助整个采集过程实现数据的完整性与稳定性。

云采集

由5000多台云服务器支撑的云采集，7*24小时不间断运行，可实现定时采集，无需人员值守，灵活契合业务场景，帮你提升采集效率，保障数据时效性。

API接口

通过八爪鱼API，可以轻松获取八爪鱼任务信息和采集到的数据，灵活调度任务，比如远程控制任务启动与停止，高效实现数据采集与归档。基于强大的API体系，还可以无缝对接公司内部各类管理平台，实现各类业务自动化。

自定义采集

针对不同用户的采集需求，八爪鱼可提供自动生成爬虫的自定义模式，可准确批量识别各种网页元素，还有翻页、下拉、ajax、页面滚动、条件判断等多种功能，支持不同网页结构的复杂网站采集，满足多种采集应用场景。

便捷定时功能

简单几步点击设置，即可实现采集任务的定时控制，不论是单次采集的定时设置，还是预设某一天或是每周每月的定时采集，都可以同时对多个任务自由进行设置，根据需要对选择时间进行多重组合，灵活调配自己的采集任务。

全自动数据格式化

八爪鱼内置了强大的数据格式化引擎，支持字符串替换、正则表达式替换或匹配、去除空格、添加前缀或后缀、日期时间格式化、HTML转码等多项功能，采集过程中全自动处理，无需人工干预，即可得到所需格式数据。

多层级采集

很多主流新闻、电商类的网站，里面包含一级商品列表页，也包含二级商品详情页，还有三级评论详情页面;不论网站有多少层级，八爪鱼都可以不限制层级的采集数据，满足各类业务采集需求。

功能介绍

简单来讲，使用八爪鱼可以非常容易的从任何网页精确采集你需要的数据，生成自定义的、规整的数据格式。八爪鱼数据采集系统能做的包括但并不局限于以下内容：

1. 金融数据，如季报，年报，财务报告, 包括每日最新净值自动采集;

2. 各大新闻门户网站实时监控，自动更新及上传最新发布的新闻;

3. 监控竞争对手最新信息，包括商品价格及库存;

4. 监控各大社交网站，博客，自动抓取企业产品的相关评论;

5. 收集最新最全的职场招聘信息;

6. 监控各大地产相关网站，采集新房二手房最新行情;

7. 采集各大汽车网站具体的新车二手车信息;

8. 发现和收集潜在客户信息;

9. 采集行业网站的产品目录及产品信息;

10. 在各大电商平台之间同步商品信息，做到在一个平台发布，其他平台自动更新。

持的格式有：MP4、MOV、WMV、AVI，碰到不能播放的视频格式请自行转换。

FAQ

问：如何采集电话号码?(服务类网站)

答：许多服务类的网站(58同城、赶集网、美团等)电话号码的采集

采集步骤：

1.确定采集的行业分类，将该分类的网页复制到八爪鱼采集器中打开

2.打开采集器，建立采集任务

3.输入采集网址，根据需要编辑采集规则

4.选择采集方式，开始采集

5.导出采集好的数据

注意事项：

采集不同的数据需要的规则略有不同，不懂怎么编辑规则的可以到规则市场寻找用户分享的完整采集规则

问：八爪鱼可以采集QQ空间吗?如何采集?

答：八爪鱼采集器可以采集QQ空间中所有的数据信息，但加了密码的空间是无法采集的，

自己的QQ空间则需要登录后再进行采集。

采集步骤：

1.创建采集任务，在八爪鱼采集器的浏览器中打开需要采集的空间;

2.编辑采集规则，采集需要的信息;

3.将采集好的数据导出。

smart模式下输入网址，提示登录失败?

采集的网页需要进行登陆的，smart模式因为不带自动登录系统的能力，所以会提示登录失败。

smart模式针对的是开放的网页，需要登录的网页，暂时无法进行采集，向导模式同样也是不支持采集需要登录的网页。

这类网站必须使用八爪鱼采集器的高级模式才能进行采集。

安装步骤

一、在本站下载最新版的八爪鱼采集器安装包，双击运行。

二、可以点击【浏览】，选择软件的安装路径;或者直接点击【下一步】，软件会安装在默认的位置。

三、耐心等待软件安装完毕，点击【关闭】就可以啦。

先我们新建一个任务-->进入流程设计页面-->添加一个循环步骤到流程中-->选中循环步骤-->勾选上软件右方的URL 列表勾选框-->打开URL列表文本框-->将准备好的URL列表填写到文本框中

接下来往循环中拖入一个打开网页的步骤-->选中打开网页步骤-->勾选上使用当前循环里的URL作为导航地址-->点击保存。系统会在界面下方的浏览器中打开循环中选中的URL对应的网页

到这里，循环打开网页的流程就配置完成了，运行流程的时候，系统会逐个的打开循环中设置的URL。最后我们不需要配置一个采集数据的步骤，这里就不在多讲，下图就是最终和流程。