八爪鱼·云采集服务平台
www.bazhuayu.com
url采集器使用方法
我们都知道，如果要访问一个网站，必须先要知道其URL。在进行多个网页数据采集的时候，其实也是一样的道理，需要我们把要采集的URL采集下来，然后在做相应的操作。网页URL链接提取一般有两种情况：提取页面内的链接；提取当前页地址栏的链接。针对这两种情况，八爪鱼采集器均有相关功能实现。下面为大家详细介绍URL采集器使用方法。
一、url采集器使用步骤
在网页里点击需要提取的链接，选择“采集以下链接地址”
url采集器使用步骤图1
八爪鱼·云采集服务平台
www.bazhuayu.com
二、八爪鱼提取当前地址栏的超链接
从左边栏拖出一个提取数据的步骤出来（如果当前页已经有其他的提取字段，这一步可省略） 点击“添加特殊字段”，选择“添加当前页面网址”。可以看到，当前地址栏的超链接被抓取下来
url采集器使用步骤图2
而批量提取网页链接的需求，一般是指批量提取页面内的超链接。以下是一个使用八爪鱼批量提取页面内超链接的完整示例。 采集网站：
八爪鱼·云采集服务平台
www.bazhuayu.com
https://s.taobao.com/search?initiative_id=tbindexz_20170918&ie=utf8&spm=a21bo.50862.201856-taobao-item.2&sourceId=tb.index&search_type=item&ssid=s5-e&commend=all&imgfile=&q=
手
表
&suggest=history_1&_input_charset=utf-8&wq=&suggest_query=&source=suggest
步骤1：创建采集任务
1）进入主界面，选择自定义模式
url采集器使用步骤图3
八爪鱼·云采集服务平台
www.bazhuayu.com
2）将上面网址的网址复制粘贴到网站输入框中，点击“保存网址”
url采集器使用步骤图4
3）保存网址后，页面将在八爪鱼采集器中打开，红色方框中的商品url 是这次演示采集的信息
url采集器使用步骤图5
八爪鱼·云采集服务平台
www.bazhuayu.com
步骤2：创建翻页循环
1）将页面下拉到底部，找到下一页按钮，鼠标点击，在右侧操作提示框中， 选择“循环点击下一页”
url采集器使用步骤图6
步骤3：商品url采集
1）如图，移动鼠标选中列表中商品的名称，右键点击，需采集的内容会变成绿色，然后点击“选中全部”
八爪鱼·云采集服务平台
www.bazhuayu.com
url采集器使用步骤图7
2）选择“采集以下链接地址”
url采集器使用步骤图8
八爪鱼·云采集服务平台
www.bazhuayu.com
3）点击“保存并开始采集”
url采集器使用步骤图9
4）根据采集的情况选择合适的采集方式，这里选择“启动本地采集”
url采集器使用步骤图10
八爪鱼·云采集服务平台
www.bazhuayu.com
步骤4：数据采集及导出
1）选择合适的导出方式，将采集好的数据导出
url采集器使用步骤图11
通过以上操作，目标网页内的商品超链接就被批量采集下来了。我们可以使用这些超链接，建立列表循环，来采集我们需要的其他字段数据，如下所示。
步骤5：创建url列表采集任务
1）重新创建一个采集任务，将导出后的商品链接复制，放到输入框中，点击“保存网址”
八爪鱼·云采集服务平台
www.bazhuayu.com
url采集器使用步骤图12
注意：输入框中的url列表数量不要超过2W个，超过的部分可以新建任务进行采集，url打开的页面必须是相同网站样式相近的，否则会导致数据采集缺失。
2）在页面中点击需要采集的文本数据，点击“采集数据”
url采集器使用步骤图13
八爪鱼·云采集服务平台
www.bazhuayu.com
3）打开流程图，修改采集字段名称，点击“保存并开始采集”
url采集器使用步骤图14
注意：点击右上角的“流程”按钮，即可展现出可视化流程图。
4）采集完成，点击“导出数据”
八爪鱼·云采集服务平台
www.bazhuayu.com
url采集器使用步骤图15
5）选择合适的导出方式，将采集好的数据导出
url采集器使用步骤图16
八爪鱼·云采集服务平台
www.bazhuayu.com
注：在八爪鱼中，要提取超链接，需要满足两个条件。
1、点击的字段在A标签，在网页源码中，A标签代表超链接，如果不是在 A 标签内，八爪鱼无法判断
2、A标签内有 href 属性，href 属性里的就是点击之后链接转向的地址，属性里显示什么，八爪鱼就提取什么。如果没有href属性，自然就没办法提取到。
这些都是八爪鱼自动判断的，其实看不懂也不影响操作。只是如果发现提取不到的时候，也许就是因为没满足这两个条件，要看当前网页源码的特点，根据特点找别的方式提取数据。
相关采集教程：
腾讯新闻采集：http://www.bazhuayu.com/tutorial/hottutorial/xwmt/tenxunnews 网易新闻采集：http://www.bazhuayu.com/tutorial/hottutorial/xwmt/wangyi 新浪新闻爬虫：http://www.bazhuayu.com/tutorial/hottutorial/xwmt/sina
顺企网企业信息采集：http://www.bazhuayu.com/tutorial/hottutorial/qyxx/shunqiwang 114黄页企业数据采集：http://www.bazhuayu.com/tutorial/hottutorial/qyxx/114huangye 白鲸社区企业信息收集：http://www.bazhuayu.com/tutorial/hottutorial/qyxx/bjsq 企查查爬虫：http://www.bazhuayu.com/tutorial/hottutorial/qyxx/qichacha 知乎爬虫：http://www.bazhuayu.com/tutorial/hottutorial/zimeiti/zhihu
黄页88企业信息采集：http://www.bazhuayu.com/tutorial/hottutorial/qyxx/huangye88
豆瓣爬虫教程：http://www.bazhuayu.com/tutorial/hottutorial/zimeiti/douban qq采集教程：http://www.bazhuayu.com/tutorial/hottutorial/zimeiti/qq
八爪鱼——70万用户选择的网页数据采集器。
1、操作简单，任何人都可以用：无需技术背景，会上网就能采集。完全可视化流程，点击鼠标完成操作，2分钟即可快速入门。
八爪鱼·云采集服务平台
www.bazhuayu.com
2、功能强大，任何网站都可以采：对于点击、登陆、翻页、识别验证码、瀑布流、Ajax脚本异步加载数据的网页，均可经过简单设置进行采集。 3、云采集，关机也可以。配置好采集任务后可关机，任务可在云端执行。庞大云采集集群24*7不间断运行，不用担心IP被封，网络中断。 4、功能免费+增值服务，可按需选择。免费版具备所有功能，能够满足用户的基本采集需求。同时设置了一些增值服务（如私有云），满足高端付费企业用户的需要。
url采集器使用方法 - 图文
