python爬虫实战，爬取网页壁纸图片
使用python爬取壁纸图片，保存到本地。
爬取彼岸图网，网站地址https://pic.netbian.com/
本人小白，记录一下学习过程。
开始前的准备
安装python环境，略。
python编辑器pycharm2024.2.3
本次代码用到的库
import requests #用于发送HTTP请求、处理响应内容等。
import re #正则表达式
import os #文件和目录的操作
使用库之前需要先进行安装
首先进行国内pip源设置
我是在windows电脑上操作的，文件资源管理器，输入%USERPROFILE%，然后按下回车
然后新建目录pip，然后再进入pip目录创建pip.ini，将下面阿里云地址保存到pip.ini中
[global]
index-url = http://mirrors.aliyun.com/pypi/simple/
[install]
trusted-host=mirrors.aliyun.com
然后打开pycharm，打开终端，执行安装命令
pip install requests
pip install re
pip install os
整体思路
获取所需要的信息
打开浏览器的，然后打开f12，输入网站地址https://pic.netbian.com/4kmeinv/
可以看到请求地址https://pic.netbian.com/4kmeinv/以及请求方法get
还需要用到user-agent，用来模拟用户操作
图片共53页，我们需要把这53页图片全部爬取下来
点击第53页可以看到此时的请求地址为https://pic.netbian.com/4kmeinv/index_53.html
第一页的地址为https://pic.netbian.com/4kmeinv/index.html
后面每一页的地址都是https://pic.netbian.com/4kmeinv/index_页码.html
编写完整代码
import requests
import re
"""
. 表示除空格外任意字符（除\n外）
* 表示匹配字符零次或多次
? 表示匹配字符零次或一次
.*? 非贪婪匹配
"""
import os"""
爬取所有图片、该网站图片共53页、第一页url为https://pic.netbian.com/4kmeinv/index.html
后面的url为https://pic.netbian.com/4kmeinv/index_页码.html
"""url = "https://pic.netbian.com/4kmeinv/index.html"
headers = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36"
}#range(2,54) 从2开始循环，到53结束，
#当循环到53时，设置url为https://pic.netbian.com/4kmeinv/index_53}.html ，此时需要到下次循环才会爬取第53页的数据
for index in range(2,55):# 对图片地址发起请求response = requests.get(url=url, headers=headers)# 使用检测到的编码来解码相应内容response.encoding = response.apparent_encodingprint(f"当前是第{index-1}页,当前url为:{url}")#print(response.text)url = f"https://pic.netbian.com/4kmeinv/index_{index}.html"parr = re.compile('src="(/uploads.*?)".alt="(.*?)"')image = re.findall(parr, response.text)#定义文件保存路径path = f"C:\\tmp\壁纸图片\第{index-1}页"if not os.path.isdir(path):os.mkdir(path)else:#若已存在则直接跳过当前循环continuefor i in image:#i[0]是下载地址，i[1]是图片名字#拼接下载地址link = "https://pic.netbian.com" + i[0]image_name = i[1]image_name = image_name.replace("*", "x")print(link,image_name)with open(path+"/{}.jpg".format(image_name), "wb") as img:res = requests.get(link)img.write(res.content)img.close()print("\n-----------------------------------------\n")
运行截图
#执行完成后，再次执行，可以直观的看到每次请求的url
代码解释
#range(2,54) 从2开始循环，到53结束，
#当循环到53时，设置url为https://pic.netbian.com/4kmeinv/index_53}.html ，此时需要到下次循环才会爬取第53页的数据
for index in range(2,55):# 对图片地址发起请求response = requests.get(url=url, headers=headers)# 使用检测到的编码来解码相应内容response.encoding = response.apparent_encoding#打印出当前是第几页print(f"当前是第{index-1}页,当前url为:{url}")#如果需要可以打印response.text，查看每一页的请求返回结果#print(response.text)#使用index拼接下一次循环时请求的地址url = f"https://pic.netbian.com/4kmeinv/index_{index}.html"#对请求结果进行查找，查找包含/uploads和alt的内容#<img src="/uploads/allimg/240911/190656-1726052816af84.jpg" alt="花丛美女章若楠 4K壁纸 3840x2400" />parr = re.compile('src="(/uploads.*?)".alt="(.*?)"')image = re.findall(parr, response.text)#此时image值的格式如下：#('/uploads/allimg/240911/190656-1726052816af84.jpg', '花丛美女章若楠 4K壁纸 3840x2400')
#对image进行循环for i in image:#i[0]是下载地址 /uploads/allimg/240911/190656-1726052816af84.jpg#i[1]是图片名字 花丛美女章若楠 4K壁纸 3840x2400#拼接下载地址link = "https://pic.netbian.com" + i[0]image_name = i[1]#有的图片中包含* 是特殊字符，将其转换为x 示例:1024*4080 --> 1024x4080image_name = image_name.replace("*", "x")print(link,image_name)with open(path+"/{}.jpg".format(image_name), "wb") as img:res = requests.get(link)img.write(res.content)img.close()
图片正确的下载地址如图所示，所以需要进行拼接
