前言
在本文中,我们将介绍如何使用Python来获取某汽车网站的参数详情,并将有用的数据提取出来保存到本地。我们将使用requests库来发送网络请求,同时利用随机User-Agent和代理IP来模拟真实用户的访问行为,以避免被服务器封禁。
目标网站
1. 准备工作
首先,我们需要安装一些必要的Python库,如果你还没有安装它们,请使用pip命令进行安装:
pip install requests fake_useragent
1.1 读取代理池文件
为了使我们的请求看起来更加自然,我们准备了一个代理IP池,用于每次请求时随机选择一个代理IP。
import random
from fake_useragent import UserAgent
import requests
import time
import hashlib
import json# 读取代理池文件
file_path = "E:/Python/代理池/proxies.txt"
proxies = []
with open(file_path, 'r') as file:for line in file:# 去除每行末尾的换行符,并将代理添加到列表中proxy = line.strip()proxies.append(proxy)
这里我们从proxies.txt
文件中读取代理IP,然后存储在一个列表中。
1.2 定义API请求的目标URL及请求参数
接下来定义我们要请求的API URL以及需要传递的参数。
# API请求的目标URL
url = "https://mhapi.yiche.com/hcar/h_car/api/v1/param/get_param_details?cid=508¶m=%7B%22cityId%22%3A%22201%22%2C%22serialId%22%3A%221729%22%7D"# 请求参数
p = '{"cityId":"201","serialId":"1729"}'
pstr = json