在Python中，爬虫发送请求的方法有多种，主要依赖于不同的库来实现。以下是几种常用的方法和库：
1. 使用 requests 库
requests 是一个非常流行且易于使用的HTTP库，适用于发送各种类型的HTTP请求。
示例：
import requestsurl = 'https://example.com'
response = requests.get(url)if response.status_code == 200:print(response.text)
else:print(f"Failed to retrieve the page: {response.status_code}")
特点：
- 简单易用，支持GET、POST、PUT、DELETE等请求方法。
- 支持会话（Session）保持，方便处理需要登录的网站。
- 支持自动处理重定向、Cookies等。
2. 使用 urllib 库
urllib 是Python标准库的一部分，提供了基本的HTTP请求功能。
示例：
import urllib.requesturl = 'https://example.com'
with urllib.request.urlopen(url) as response:html = response.read().decode('utf-8')print(html)
特点：
- 无需额外安装，因为它是Python标准库的一部分。
- 功能相对基础，不如
requests强大和易用。
3. 使用 http.client 库
http.client 也是Python标准库的一部分，提供了更底层的HTTP请求功能。
示例：
import http.clientconn = http.client.HTTPSConnection("example.com")
conn.request("GET", "/")
response = conn.getresponse()if response.status == 200:print(response.read().decode('utf-8'))
else:print(f"Failed to retrieve the page: {response.status}")conn.close()
特点：
- 提供了对HTTP协议的更底层控制。
- 使用起来相对复杂，不如
requests和urllib方便。
4. 使用 aiohttp 库（异步请求）
aiohttp 是一个异步HTTP客户端/服务器库，适用于需要处理大量并发请求的场景。
示例：
import aiohttp
import asyncioasync def fetch(session, url):async with session.get(url) as response:return await response.text()async def main():async with aiohttp.ClientSession() as session:html = await fetch(session, 'https://example.com')print(html)# 运行异步主函数
asyncio.run(main())
特点：
- 支持异步请求，适合处理高并发场景。
- 需要掌握异步编程的概念。
5. 使用 Scrapy 框架
Scrapy 是一个功能强大的爬虫框架，适用于复杂的爬虫任务。
特点：
- 提供了完整的爬虫解决方案，包括请求发送、响应处理、数据提取等。
- 支持异步请求和分布式爬取。
- 需要学习Scrapy的框架和概念。
总结
- 简单任务：推荐使用
requests库，因为它简单易用且功能强大。 - 标准库需求：如果不想安装第三方库，可以使用
urllib或http.client。 - 高并发任务：推荐使用
aiohttp库进行异步请求。 - 复杂爬虫任务：推荐使用
Scrapy框架，它提供了完整的爬虫解决方案。
选择哪种方法取决于你的具体需求和场景。