爬虫技术已经成为数据科学、市场分析、内容聚合等领域的核心技术之一。随着网页结构的多样性和反爬机制的不断完善，编写高效、稳定的爬虫变得尤为重要。本文将通过一个专业的爬虫框架，讲解如何使用 Python 抓取网页数据，解析并存储成 CSV 文件。
什么是网页爬虫？
网页爬虫（Web Crawler），也被称为网络蜘蛛或网络机器人，是一种通过编程自动抓取互联网上的网页信息的工具。爬虫广泛应用于搜索引擎、数据分析、内容推荐等多个场景。它的核心任务是访问网页、解析网页内容并存储有价值的数据。
目标：爬取网页内容并存储为 CSV 文件
在这篇文章中，我们将实现一个简单的爬虫，抓取指定网站的多个页面内容，解析网页中的指定信息，并将其存储到 CSV 文件中。为了确保数据抓取的稳定性，我们还将采取一些常用的反反爬虫措施，如设置请求头、随机延迟等。
1. 使用 requests 获取网页内容
requests 是 Python 中最常用的 HTTP 请求库，能够简化 HTTP 请求的发送和响应的处理。我们将使用 requests.get 方法来获取网页的 HTML 内容。
代码实现：
import requests# 设置请求头，模拟浏览器访问
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}# 获取网页内容
def fetch_page(url):try:response = requests.get(url, headers=headers)response.raise_for_status() # 如果响应状态码不是200，抛出异常response.encoding = response.apparent_encoding # 自动检测编码return response.textexcept requests.RequestException as e:print(f"请求失败: {e}")return None
解释：
headers：用来模拟浏览器访问。很多网站会检查请求是否来自真实用户，通过设置User-Agent来模拟常见浏览器。requests.get：向目标网址发送 GET 请求并获取网页内容。response.raise_for_status()：如果响应的 HTTP 状态码不是 200（即请求失败），抛出异常。response.encoding：自动检测网页编码，确保正确解析中文等字符。
2. 解析网页内容
通过 BeautifulSoup 可以轻松解析 HTML，并提取网页中需要的数据。我们将解析网页中的特定元素，如标题和链接，并将这些数据存储到列表中。
代码实现：
from bs4 import BeautifulSoup# 解析网页内容
def parse_page(html):soup = BeautifulSoup(html, 'html.parser')# 根据网页结构提取数据，以下为示例data = []for item in soup.find_all('div', class_='item'):title = item.find('h3').get_text()link = item.find('a')['href']data.append([title, link])return data
解释：
BeautifulSoup(html, 'html.parser')：解析网页 HTML 内容。soup.find_all('div', class_='item')：查找所有class为item的div元素，这里假设每个div存储一个条目的信息。item.find('h3').get_text()：提取h3标签中的文本，作为条目的标题。item.find('a')['href']：获取a标签的href属性，即条目的链接。
3. 存储数据
爬取并解析数据后，我们将把数据保存到 CSV 文件中，便于后续分析或使用。csv 模块提供了简单的写入功能。
代码实现：
import csv# 保存数据到CSV文件
def save_to_csv(data, filename):with open(filename, mode='a', newline='', encoding='utf-8') as file:writer = csv.writer(file)writer.writerows(data)
解释：
open(filename, mode='a', newline='', encoding='utf-8')：以追加模式打开 CSV 文件，如果文件不存在则会创建新文件。csv.writer(file)：创建 CSV 写入对象。writer.writerows(data)：将爬取的数据写入 CSV 文件。
4. 控制爬取流程
为了避免过于频繁的请求导致被封禁，我们通常会加入随机延迟。可以使用 time.sleep 和 random.uniform 来模拟用户行为。
代码实现：
import time
import random# 主函数
def main():base_url = 'https://example.com/page/' # 替换为目标网址for page_num in range(1, 6): # 假设我们爬取5页url = f"{base_url}{page_num}"print(f"爬取页面: {url}")html = fetch_page(url)if html:data = parse_page(html)save_to_csv(data, 'output.csv')time.sleep(random.uniform(1, 3)) # 随机等待，模拟人工爬取，避免被封锁if __name__ == '__main__':main()
解释：
base_url：爬虫的基本网址，可以替换为实际的目标网址。for page_num in range(1, 6)：爬取 5 页数据，模拟分页抓取。time.sleep(random.uniform(1, 3))：模拟人类浏览行为，设置 1 到 3 秒的随机延迟，避免请求过于频繁。
5. 综合使用
将这些模块和函数组合在一起，就完成了一个基本的网页爬虫。该爬虫能够：
- 获取指定页面的 HTML 内容。
- 解析页面数据并提取关键信息。
- 将数据存储到 CSV 文件中。
- 适当地控制请求频率，避免被封禁。
总结
这篇文章详细介绍了如何使用 Python 编写一个简单且专业的爬虫。通过 requests 获取网页内容，利用 BeautifulSoup 解析 HTML，最后将数据保存到 CSV 文件中。我们还通过加入请求头、随机延迟等技术手段，确保爬虫不会过于频繁地访问目标网站，从而避免被封禁。
掌握了这些基本技术后，你可以扩展和优化爬虫，进行更多高级操作，如处理 JavaScript 渲染的页面、并发抓取、反反爬虫等。