随着网络的迅速发展，如何有效地提取并利用信息已经成为一个巨大的挑战。为了更高效地获取指定信息，需定向抓取并分析网页资源，从而促进了网络爬虫的发展。本章将介绍使用Python编写网络爬虫的方法。
学习目标：
理解网络爬虫的基本操作流程
掌握通过requests库进行数据抓取的方法
掌握通过正则表达式进行数据解析的方法
掌握运用beautifulsoup4库解析和处理数据的方法
1 概述
网络爬虫（Web Spider）又称网络蜘蛛或网络机器人，是一段用来实现自动采集网站数据的程序。 网络爬虫不仅能够为搜索引擎采集网络信息，而且还可以作为定向信息采集器，定向采集某些网站中的特定信息。 对于定向信息的爬取，网络爬虫主要采取数据抓取、数据解析、数据入库的操作流程。
（1）数据抓取：发送构造的HTTP请求，获得包含所需数据的HTTP响应；
（2）数据解析：对HTTP响应的原始数据进行分析、清洗，以提取出所需要的数据；
（3）数据入库：将数据进一步保存到数据库（或文本文件）中，用于构建知识库。
Python提供了许多与网络爬虫相关的库。其中，在数据抓取方面requests；在数据解析方面包括re（正则表达式），beautifulsoup4。
2 数据抓取
2.1 requests库概述
requests库提供了很多功能特性，几乎涵盖了所有Web服务的需求，包括URL获取、HTTP长连接和连接缓存、HTTP会话、浏览器式的SSL验证、身份认证、Cookie会话、文件分块上传、流下载、HTTP(S)代理功能、连接超时处理等。 由于requests库是第三方库，因此，需要通过pip3指令进行安装，pip3安装命令如下：
pip install requests通常需要使用国内代理：
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/ requests安装完requests库后，在Python交互模式下输入导入requests库的语句：
import requests如果没有提示错误，则说明安装成功。
2.2 使用requests库
网络爬虫工作流程的第一步是数据的抓取，也就是使用requests库实现发送HTTP请求和获取HTTP响应的内容。
2.2.1发送HTTP请求
requests库提供了几乎所有的HTTP请求方法：
调用get()函数是获取网页最常用的方式，在调用requests.get()函数后，返回的网页内容会保存为一个Response对象。
import requests #导入requests库
r = requests.get('http://www.baidu.com') #使用get函数打开百度链接
print(type(r)) #查看返回值r的类型
#<class 'requests.models.Response'>有时我们需要在URL中传递参数。
例如：在采集百度搜索结果时，需要传递wd参数（搜索词）。requests允许使用params关键字参数，以一个字符串字典来提供这些参数。
import requests #导入requests库
payload = {'wd': 'Python'} #定义字典
r = requests.get("http://www.baidu.com/s", params=payload) #传入URL参数
print(r.url) #输出URL的值
#'http://www.baidu.com/s?wd=Python'用浏览器打开被编码的URL得到百度搜索关键字“Python”的结果。
2.2.2获取HTTP响应的内容
和浏览器的交互过程一样，requests.get()代表发送HTTP请求的过程，它返回的Response对象代表HTTP响应。我们可以通过Response对象的不同属性来获取不同内容，其语法格式如下：
对象名.属性名Response对象的常用属性：
除了属性，Response对象还提供了两个常用的方法：
（1）json()方法：如果HTTP响应内容包含JSON格式数据，则该方法解析JSON数据。
提示：JSON的全称是“JavaScript Object Notation”，即JavaScript对象表示法，是一种基于文本又独立于语言的轻量级数据交换格式，易于阅读和理解。
例如：这段代码报错了，因为ip的问题，ip好像过期了
import requests #导入requests库
r = requests.get('http://ip.taobao.com/service/getIpInfo.php?ip=140.205.220.96')
print(r.json()) #调用json()方法
#{'code': 0, 'data': {'ip': '122.88.60.28', 'country': '中国', 'area': '', 'region': '江苏', 'city': '南京', 'county': 'XX', 'isp': '铁通', 'country_id': 'CN', 'area_id': '', 'region_id': '320000', 'city_id': '320100', 'county_id': 'xx', 'isp_id': '100020'}}
（2）raise_for_status()方法：该方法能在非成功响应后产生异常，即只要返回的请求状态status_code不是200，该方法就会产生一个异常，可用try-except异常处理结果进行处理。
提示:一般情况下，需要在发送HTTP请求之后，调用raise_for_status()方法判断有无发生异常，如果没有发生异常，则进行数据的处理，否则不进行数据处理。
2.2.3 简单应用
例：爬取“http://www.bjjqe.com”网站的内容，并将爬取到的内容输出。
import requests #导入requests库
#异常处理
try:r = requests.get('http://www.bjjqe.com')#使用get函数打开指定的urlr.raise_for_status() #如果状态不是200，则引发异常r.encoding = 'utf-8' #更改编码方式print(r.text) #用字符串的形式显示页面内容
except:print("网站连接失败！") #发生异常则输出“网站连接失败！”运行效果：
3 数据解析
3.1 正则表达式
3.1.1正则表达式基础
正则表达式是用于处理字符串的强大工具，它使用预定义的特定模式去匹配一类具有共同特征的字符串，主要用于快速、准确地完成复杂字符串的查找、替换等。
具体应用时，可以单独使用某种类型的元字符，但处理复杂字符串时，经常需要将多个正则表达式元字符进行组合。下面给出了几个示例。 （1）'[a-zA-Z0-9]'可以匹配一个任意大小写字母或数字。 （2）'^(\w){6,15}$'匹配长度为6～15的字符串，可以包含数字、字母和下划线。 （3）'^\w+@(\w+\.)+\w+$'检查给定字符串是否为合法电子邮件地址。 （4）'\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}$'检查给定字符串是否为合法IP地址。
3.1.2re模块
在Python中，主要使用re模块来实现正则表达式的操作，该模块的常用方法下表所示。
（1） 直接使用re模块方法
import re #导入re模块
#引入 Python 的正则表达式模块 re，它提供了处理正则表达式的功能。
text = 'Python.C.Java...PHP' #定义text字符串
print(re.split('[\.]+',text)) #调用split()函数对text进行分割
#'[\.]+' 匹配连续的一个或多个点号作为分隔符。
#['Python', 'C', 'Java', 'PHP']
print(re.findall('[a-zA-Z]+',text)) #调用findall()函数查找由大小写字母组成的字符串
#['Python', 'C', 'Java', 'PHP']
#'[a-zA-Z]+' 匹配连续的一个或多个字母，形成单词。（2）使用正则表达式对象
编译后的正则表达式对象不仅可以提高字符串的处理速度，还提供了更加强大的字符串处理功能。此处，我们首先使用re模块的compile()方法将正则表达式编译成正则表达式对象，然后使用正则表达式对象提供的方法进行字符串处理。
import re #导入re模块
p = re.compile(r'\d+') #将正则表达式编译成正则表达式对象
print(p.findall('one1two2three3four4'))#调用findall()方法查找数字
#['1','2','3','4']
#'\d+' 匹配连续的一个或多个数字。例子：爬取“http://www.bjjqe.com”网站的内容，解析数据，将该网站上的“.jpg“图片下载到本地。
代码：（目标网站已更换为https://www.wenjingketang.com/bookHome/）
import requests #导入requests库
import re #导入re模块
#定义一个getHtml()函数，根据填写的url参数获取数据
def getHtml(url):#异常处理try:r = requests.get(url) #使用get函数打开指定的urlr.raise_for_status() #如果状态不是200，则引发异常r.encoding = 'utf-8' #更改编码方式return r.text #返回页面内容except:return "" #发生异常返回空字符
#定义一个getImg()函数，根据填写的html参数获取图片并存储
def getImg(html):reg=r'src="(.+?\.jpg)"' #定义正则表达式#非贪婪模式匹配任意数量的任意字符（除了换行符），直到遇到第一个 .jpg。imglist=re.findall(reg,html) #查找页面中所有符合条件的字符串#在这个例子中，它会找到所有符合 src="...jpg" 格式的图片链接，并将它们作为列表返回。print(imglist) #输出列表结果#打印出找到的所有图片链接，便于调试和验证。i = 0 #定义i用于给下载的图片命名for url in imglist: #遍历with open(str(i)+".jpg","wb") as fd: #以写入方式打开二进制文件#以二进制写入模式打开一个新文件，文件名为当前计数值 i 加上扩展名 .jpg。#路径前加上“http://www.bjjqe.com”response=requests.get("https://www.wenjingketang.com/bookHome/"+url) #获取内容#尝试获取图片的实际内容。注意这里直接在图片 URL 前添加了固定的域名 "https://www.wenjingketang.com/bookHome/"fd.write(response.content) #写入文件print('图片',i,"保存成功\n") #输出提示信息i+=1 #i加1
html = getHtml("https://www.wenjingketang.com/bookHome/") #调用获取页面内容函数
getImg(html) #调用获取图片并存储函数 程序运行效果：
图片会保存在代码的同目录下
3.2 beautifulsoup4库
beautifulsoup4库也称为Beautiful Soup库或bs4库，用于解析和处理HTML和XML文件，其最大优点是能够根据HTML和XML语法建立解析树，进而提高解析效率。
例如：有以下HTML文件：
<html><head></head><body><a>first</a><a>second</a></body>
</html>
由于beautifulsoup4库是第三方库，因此，需要通过pip3指令进行安装，pip3安装命令如下：
pip install beautifulsoup4beautifulsoup4库中最重要的类是BeautifulSoup，它的实例化对象相当于一个页面。
可采用from-import语句导入库中的BeautifulSoup类，然后使用BeautifulSoup()创建一个BeautifulSoup对象。
例如：
import requests #导入requests库
from bs4 import BeautifulSoup #从bs4库中导入BeautifulSoup类
r = requests.get('http://www.baidu.com') #使用get函数打开百度链接
r.encoding = 'utf-8' #更改编码方式
soup = BeautifulSoup(r.text) #创建BeautifulSoup对象
print(type(soup)) #查看soup类型
#<class 'bs4.BeautifulSoup'>创建的BeautifulSoup对象是一个树形结构，它包含HTML页面中的标签元素，如<head>、<body>等。也就是说，HTML中的主要结构都变成了BeautifulSoup对象的一个属性，可通过“对象名.属性名”形式获取属性值。
| 属 性 | 描 述 |
| head | HTML页面的<head>内容 |
| title | HTML页面标题，在<head>中，由<title>标记 |
| body | HTML页面的<body>内容 |
| p | HTML页面中第一个<p>内容 |
| a | HTML页面中第一个<a>内容 |
| strings | HTML页面所有呈现在Web上的字符串，即标签的内容 |
| stripped_strings | HTML页面所有呈现在Web上的非空格字符串 |
每一个标签在beautifulsoup4库中又是一个对象，称为Tag对象。
例如：
print(type(soup.p))#查看“soup.p”类型
#<class 'bs4.element.Tag'>Tag对象有4个常用属性：
| 属 性 | 描 述 |
| name | 字符串，标签的名字，如head，title等 |
| attrs | 字典，包含了页面标签的所有属性（尖括号内的其他项），如href |
| contents | 列表，这个标签下所有子标签的内容 |
| string | 字符串，标签所包围的文字，网页中真实的文字（尖括号之间的内容） |
当需要列出对应标签的所有内容或找到非第一个标签时，可以使用BeautifulSoup对象的find_all()方法。该方法会遍历整个HTML文件，按照条件返回标签内容（列表类型）。其语法格式如下：
对象名.find_all(name, attrs,recursive, string, limit)name表示标签名；
attrs表示按照标签属性值检索（需列出属性名和值）；
recursive表示查找层次（Beautiful Soup默认检索当前标签的所有子孙节点，如果只搜索标签的直接子节点，可以使用参数recursive = False）；
string表示按照关键字检索string属性内容（采用string = 开始）；
limit表示返回结果的个数，默认返回全部结果。
例：爬取“https://www.wenjingketang.com/bookHome”网站的内容，解析数据，输出该网站中的图书信息。
import requests #导入requests库
import re #导入re模块
from bs4 import BeautifulSoup #导入BeautifulSoup
#定义一个getHtml()函数，根据填写的url参数获取数据
def getHtml(url):#异常处理try:r = requests.get(url) #使用get函数打开指定的urlr.raise_for_status() #如果状态不是200，则引发异常r.encoding = 'utf-8' #更改编码方式return r.text #返回页面内容except:return "" #发生异常返回空字符
#定义数据解析函数，用于找到符合条件的数据并输出
def getcon(html):bsObj = BeautifulSoup(html) #将html对象转化为BeautifulSoup对象#找到所有class为bk_show_info的div来只获取图书的信息divList = bsObj.find_all('div',{'class':'bk_show_info'}) allbook = [] #存储全部数据，二维列表for divs in divList:book_info = [] #存储单本图书信息，一维列表book_name = divs.h4['data-name'] #获取图书名称book_info.append(book_name) #将图书名称存储到book_infop_list = divs.find_all('p') #查找单本图书的其他信息（在标签p中）for p_content in p_list:book_info.append(p_content.string) #将p标签中的信息存入book_infoallbook.append(book_info) #将单本图书的信息存入allbook#输出获取到的图书信息for book in allbook:print(book)
html = getHtml("https://www.wenjingketang.com/bookHome/") #调用获取页面内容函数
getcon(html) #调用解析数据函数
因为网站内容有变化，代码跑不通先学到这里了。。。。。。
4 典型案例