八爪鱼·云采集网络爬虫软件
www.bazhuayu.com
python抓取网页数据的常见方法
很多时候爬虫去抓取数据，其实更多是模拟的人操作，只不过面向网页，我们看到的是html在CSS样式辅助下呈现的样子，但爬虫面对的是带着各类标签的html。下面介绍python抓取网页数据的常见方法。
一、Urllib抓取网页数据
Urllib是python内置的HTTP请求库
包括以下模块：urllib.request 请求模块、urllib.error 异常处理模块、urllib.parse url解析模块、urllib.robotparser robots.txt解析模块
urlopen
关于urllib.request.urlopen参数的介绍：
urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None) url参数的使用 先写一个简单的例子：
八爪鱼·云采集网络爬虫软件
www.bazhuayu.com
import urllib.request
response = urllib.request.urlopen(' print(response.read().decode('utf-8'))
urlopen一般常用的有三个参数，它的参数如下： urllib.requeset.urlopen(url,data,timeout)
response.read()可以获取到网页的内容，如果没有read()，将返回如下内容 data参数的使用
上述的例子是通过请求百度的get请求获得百度，下面使用urllib的post请求
这里通过http://httpbin.org/post网站演示（该网站可以作为练习使用urllib的一个站点使用，可以
模拟各种请求操作）。
import urllib.parse import urllib.request
data = bytes(urllib.parse.urlencode({'word': 'hello'}), encoding='utf8')
八爪鱼·云采集网络爬虫软件
www.bazhuayu.com
print(data)
response = urllib.request.urlopen('http://httpbin.org/post', data=data) print(response.read())
这里就用到urllib.parse，通过bytes(urllib.parse.urlencode())可以将post数据进行转换放到urllib.request.urlopen的data参数中。这样就完成了一次post请求。
所以如果我们添加data参数的时候就是以post请求方式请求，如果没有data参数就是get请求方式 timeout参数的使用
在某些网络情况不好或者服务器端异常的情况会出现请求慢的情况，或者请求异常，所以这个时候我们需要给
请求设置一个超时时间，而不是让程序一直在等待结果。例子如下：
import urllib.request
response = urllib.request.urlopen('http://httpbin.org/get', timeout=1) print(response.read())
八爪鱼·云采集网络爬虫软件
www.bazhuayu.com
运行之后我们看到可以正常的返回结果，接着我们将timeout时间设置为0.1 运行程序会提示如下错误
所以我们需要对异常进行处理，代码更改为
import socket import urllib.request import urllib.error try:
八爪鱼·云采集网络爬虫软件
www.bazhuayu.com
response = urllib.request.urlopen('http://httpbin.org/get', timeout=0.1)
except urllib.error.URLError as e:
if isinstance(e.reason, socket.timeout): print('TIME OUT')
响应
响应类型、状态码、响应头
import urllib.request
response = urllib.request.urlopen(' print(type(response))
可以看到结果为： 我们可以通过response.status、response.getheaders().response.getheader(\，获取状态码以及头部信息 response.read()获得的是响应体的内容 八爪鱼·云采集网络爬虫软件 www.bazhuayu.com 当然上述的urlopen只能用于一些简单的请求，因为它无法添加一些header信息，如果需要添加头部信息去访问目标站的，这个时候就要用到urllib.request。 二、requests抓取网页数据 Requests是用python语言基于urllib编写的，采用的是Apache2 Licensed开源协议的HTTP库 Requests它会比urllib更加方便，可以节约我们大量的工作。（用了requests之后，你基本都不愿意用urllib了）一句话，requests是python实现的最简单易用的HTTP库，建议爬虫使用requests库。 默认安装好python之后，是没有安装requests模块的，需要单独通过pip安装 requests功能详解 总体功能的一个演示 import requests response = requests.get(\ 八爪鱼·云采集网络爬虫软件 www.bazhuayu.com print(type(response)) print(response.status_code) print(type(response.text)) print(response.text) print(response.cookies) print(response.content) print(response.content.decode(\ 我们可以看出response使用起来确实非常方便，这里有个问题需要注意一下： 很多情况下的网站如果直接response.text会出现乱码的问题，所以这个使用response.content 这样返回的数据格式其实是二进制格式，然后通过decode()转换为utf-8，这样就解决了通过response.text直接返回显示乱码的问题. 请求发出后，Requests 会基于 HTTP 头部对响应的编码作出有根据的推测。当你访问 response.text 之时，Requests 会使用其推测的文本编码。你可以找出 Requests 使用了什么编码，并且能够使用 r.encoding 属性来改变它.如： 八爪鱼·云采集网络爬虫软件 www.bazhuayu.com response =requests.get(\ response.encoding=\ print(response.text) 不管是通过response.content.decode(\的方式还是通过response.encoding=\的方式都可以避免乱码的问题发生 各种请求方式 requests里提供个各种请求方式 import requests requests.post(\ requests.put(\ requests.delete(\ requests.head(\ requests.options(\ 基本GET请求 import requests 八爪鱼·云采集网络爬虫软件 www.bazhuayu.com response = requests.get(' print(response.text) 带参数的GET请求，例子1 import requests response = requests.get(\ print(response.text) 三、使用pycurl进行web提交 PycURl是一个C语言写的libcurl的python绑定库。libcurl 是一个自由的，并且容易使用的用在客户端的 URL 传输库。 由于PycURl 是由C语言原生实现的，所以一般来说会比其会比纯python实现的liburl、liburl2模块快不少，可能也会比Requests的效率更高。特别是使用PycURL的多并发请求时，效率更高。 八爪鱼·云采集网络爬虫软件 www.bazhuayu.com pycurl 的用法 示例1：以下是一个通过get方法获取大众点评杭州站页面的请求时间统计和字符统计的一个用法，也可以将结果显示，只需要将最后一行的打开即可。 #! /usr/bin/env python # -*- coding: utf-8 -*- import sys import pycurl import time class Test: def __init__(self): self.contents = '' def body_callback(self, buf): self.contents = self.contents + buf sys.stderr.write(\start_time = time.time() 八爪鱼·云采集网络爬虫软件 www.bazhuayu.com url = 'http://www.dianping.com/hangzhou' t = Test() c = pycurl.Curl() c.setopt(c.URL, url) c.setopt(c.WRITEFUNCTION, t.body_callback) c.perform() end_time = time.time() duration = end_time - start_time print c.getinfo(pycurl.HTTP_CODE), c.getinfo(pycurl.EFFECTIVE_URL) c.close() print 'pycurl takes %s seconds to get %s ' % (duration, url) print 'lenth of the content is %d' % len(t.contents) #print(t.contents) 八爪鱼·云采集网络爬虫软件 www.bazhuayu.com 四、使用python selenium抓取网页数据 针对动态网页，这里讲一个简单的原理，大部分动态的部分会放在html里面的js代码里面，这个时候就需要用到，是一个内置的浏览器webdriver。所谓内置的浏览器，你可以简单理解为一个看不到的浏览器。当然也有firefox插件的浏览器，不过上面讲的内置浏览器会更常用一些。 import urllib from bs4 import BeautifulSoup from selenium import webdriver import time import csv csvFile = open(\writer = csv.writer(csvFile) # Animation writer.writerow(('bilibili',' ',' ',' ',' ',' ')) 八爪鱼·云采集网络爬虫软件 www.bazhuayu.com writer.writerow(('paimin','minchen','bofangshu','danmushu','zonghezhishu')) driverThree = webdriver.PhantomJS()driverThree.get(\#!/bangumi/0/0/7/\ time.sleep(5) pageSourceThree = driverThree.page_source bs0bjThree = BeautifulSoup(pageSourceThree,\j = bs0bjThree.findAll(\k = bs0bjThree.findAll(\ l = bs0bjThree.findAll(\m = bs0bjThree.findAll(\for b in range(10): titleThree = j[b].get_text() IndexThre = k[b].get_text() 八爪鱼·云采集网络爬虫软件 www.bazhuayu.com num = len(IndexThre) IndexThree = IndexThre[0:num-4] bofangliang = l[b].get_text() danmuliang = m[b].get_text() writer.writerow((b+1,titleThree,bofangliang,danmuliang,IndexThree)) driverThree.close() # Comic writer.writerow(('tecentac',' ',' ',' ')) writer.writerow(('paimin','minchen','piaoshu')) driverFour = webdriver.PhantomJS()driverFour.get(\time.sleep(5) pageSourceFour = driverFour.page_source bs0bjFour = BeautifulSoup(pageSourceFour,\ 八爪鱼·云采集网络爬虫软件 www.bazhuayu.com n = bs0bjFour.findAll(\bs0bjFour.findAll(\for c in range(10): titleFour = n[c].get_text() piaoshu = o[c].get_text() writer.writerow((c+1,titleFour,piaoshu)) driverFour.close() 这个例子讲的是爬取两个网址的数据，并写入csv文档中。 第一步，通过上面讲的内置浏览器，解析出页面的js代码，然后抓取其动态的部分 第二步，和前面一样，了解标签的规律后进行循环抓取，然后写入数据库。 首先打开对应路径的csv文件，路径需要自己设置，然后进行数据爬取，最后再写入csv文件。打开csv文件，可以看到这些数据。当然，后续你也可以针对csv文件进行读取工作，不过，后面会讲到写入数据库的做法。这个应用场景会更多一些。 八爪鱼·云采集网络爬虫软件 www.bazhuayu.com 相关文章阅读： 美团商家信息采集：http://www.bazhuayu.com/tutorialdetail-1/mtsj_7.html 使用八爪鱼v7采集企查查企业信息： http://www.bazhuayu.com/tutorialdetail-1/qichachacj.html 天猫店铺数据的采集方法：http://www.bazhuayu.com/tutorialdetail-1/tmdpcj-7.html 百度地图坐标内容采集方法： http://www.bazhuayu.com/tutorialdetail-1/bddtzbcj.html 彩票开奖数据采集：http://www.bazhuayu.com/tutorialdetail-1/cpkjdatacj.html 起点中文网小说采集方法以及详细步骤： http://www.bazhuayu.com/tutorialdetail-1/qidianstorycj.html 亚马逊商品评论采集：http://www.bazhuayu.com/tutorialdetail-1/ymxspplcj.html 八爪鱼——90万用户选择的网页数据采集器。 八爪鱼·云采集网络爬虫软件 www.bazhuayu.com 1、操作简单，任何人都可以用：无需技术背景，会上网就能采集。完全可视化流程，点击鼠标完成操作，2分钟即可快速入门。 2、功能强大，任何网站都可以采：对于点击、登陆、翻页、识别验证码、瀑布流、Ajax脚本异步加载数据的网页，均可经过简单设置进行采集。 3、云采集，关机也可以。配置好采集任务后可关机，任务可在云端执行。庞大云采集集群24*7不间断运行，不用担心IP被封，网络中断。 4、功能免费+增值服务，可按需选择。免费版具备所有功能，能够满足用户的基本采集需求。同时设置了一些增值服务（如私有云），满足高端付费企业用户的需要。
python抓取网页数据的常见方法
