八爪鱼·云采集服务平台
www.bazhuayu.com
大众点评商家(美食排行榜)数据采集
本文介绍采集使用八爪鱼7.0采集大众点评商家数据的方法
采集网站:
http://www.dianping.com/shoplist/search/15_10_0_score
使用功能点:
? Ajax翻页 ? 表格内容提取
相关采集教程:
八爪鱼采集原理 美团商家信息采集 大众点评评价采集
步骤1:创建采集任务
1)进入主界面选择,选择自定义模式
八爪鱼·云采集服务平台
www.bazhuayu.com
大众点评商家(美食排行榜)数据采集图1 2)将上面网址的网址复制粘贴到网站输入框中,点击“保存网址”
大众点评商家(美食排行榜)数据采集图2
八爪鱼·云采集服务平台
www.bazhuayu.com
3)保存网址后,页面将在八爪鱼采集器中打开,红色方框中的表格就是我们要采集的内容,这是一个类似表格结构的列表,可以参考之前的单网页表格信息采集进行任务的编辑
大众点评商家(美食排行榜)数据采集图3
步骤2:创建翻页循环
? 找到翻页按钮,设置翻页循环 ? 设置翻页ajax延时时间
1)将页面下拉到底部,找到下一页按钮,鼠标点击,在右侧操作提示框中, 选择“循环点击下一页”
八爪鱼·云采集服务平台
www.bazhuayu.com
大众点评商家(美食排行榜)数据采集图4
这个页面使用了ajax加载技术,需要进行下图的操作,设置ajax延时加载 (ajax判断方法:打开流程图,找到翻页循环框,手动执行翻页,看网站有没有进行加载)在右侧的高级选项框中,勾选Ajax加载数据,选择合适的超时时间,一般设置2秒;最后点击确定
八爪鱼·云采集服务平台
www.bazhuayu.com
大众点评商家(美食排行榜)数据采集图5 步骤3:商家信息采集
? 选中需要采集的字段信息,创建采集列表 ? 编辑采集字段名称
1)选择表格中两个以上要采集的单元格,步骤如下:移动鼠标选中表格里需要 采集的文本,右键点击,如图所示,商户名这一列的数据会被全部选中;
八爪鱼·云采集服务平台
www.bazhuayu.com
大众点评商家(美食排行榜)数据采集图6
2)右键点击第二个文本,如下图
八爪鱼·云采集服务平台
www.bazhuayu.com
大众点评商家(美食排行榜)数据采集图7
3)表格中需采集的内容会变成绿色,点击右侧“选中全部”
大众点评商家(美食排行榜)数据采集图8
4)点击“采集以下数据”
八爪鱼·云采集服务平台
www.bazhuayu.com
大众点评商家(美食排行榜)数据采集图9 5)修改采集字段名,并点击下方提示中的“保存并开始采集”
八爪鱼·云采集服务平台
www.bazhuayu.com
大众点评商家(美食排行榜)数据采集图10
6)根据采集的情况选择合适的采集方式,这里选择“启动本地采集”
大众点评商家(美食排行榜)数据采集图11
说明:本地采集占用当前电脑资源进行采集,如果存在采集时间要求或当前电脑无法长时间进行采集可以使用云采集功能,云采集在网络中进行采集,无需当前电脑支持,电脑可以关机,可以设置多个云节点分摊任务,10个节点相当于10台电脑分配任务帮你采集,速度降低为原来的十分之一;采集到的数据可以在云上保存三个月,可以随时进行导出操作。
步骤4:数据采集及导出
1)采集完成后,会跳出提示,选择导出数据
八爪鱼·云采集服务平台
www.bazhuayu.com
大众点评商家(美食排行榜)数据采集图12 2)选择合适的导出方式,将采集好的数据导出
大众点评商家(美食排行榜)数据采集图13
八爪鱼·云采集服务平台
www.bazhuayu.com
八爪鱼——70万用户选择的网页数据采集器。
1、操作简单,任何人都可以用:无需技术背景,会上网就能采集。完全可视化流程,点击鼠标完成操作,2分钟即可快速入门。
2、功能强大,任何网站都可以采:对于点击、登陆、翻页、识别验证码、瀑布流、Ajax脚本异步加载数据的网页,均可经过简单设置进行采集。
3、云采集,关机也可以。配置好采集任务后可关机,任务可在云端执行。庞大云采集集群24*7不间断运行,不用担心IP被封,网络中断。
4、功能免费+增值服务,可按需选择。免费版具备所有功能,能够满足用户的基本采集需求。同时设置了一些增值服务(如私有云),满足高端付费企业用户的需要。
大众点评商家(美食排行榜)数据采集



