Python 爬虫项目实战二：豆瓣图书信息采集与分析

一、项目背景

爬虫技术在数据采集和分析中有着广泛应用，本文将以实际案例为例，利用Python语言实现一个豆瓣图书信息采集与分析的爬虫项目。通过该项目，你将学习如何从豆瓣网站上获取图书信息，并进行基本的数据分析和可视化。

二、环境准备

在开始之前，请确保你已经安装了Python解释器和以下必要的第三方库：

• requests：用于发送HTTP请求和获取响应。
• BeautifulSoup4：用于解析HTML和XML文档。
• pandas：用于数据处理和分析。
• matplotlib：用于数据可视化。

你可以使用pip安装这些库：

bash

pip install requests beautifulsoup4 pandas matplotlib

三、实现步骤

1. 发送请求获取页面内容

首先，我们需要发送HTTP请求获取豆瓣图书页面的HTML内容。

python

import requestsdef fetch_douban_books():url = 'https://book.douban.com/top250'headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'}response = requests.get(url, headers=headers)if response.status_code == 200:return response.textelse:print("Failed to fetch page:", response.status_code)return None

2. 解析页面内容

使用BeautifulSoup解析HTML页面，定位图书信息所在的标签。

python

from bs4 import BeautifulSoupdef parse_html(html):soup = BeautifulSoup(html, 'html.parser')book_list = soup.find_all('tr', class_='item')books = []for book in book_list:title = book.find('div', class_='pl2').a['title']rating = book.find('span', class_='rating_nums').text.strip()comment_count = book.find('span', class_='pl').text.strip().strip('()')books.append({'title': title,'rating': rating,'comment_count': comment_count})return books

3. 数据处理与分析

将获取的图书信息存储到DataFrame中，并进行数据分析与可视化。

python

import pandas as pd
import matplotlib.pyplot as pltdef analyze_books(books):df = pd.DataFrame(books)df['rating'] = df['rating'].astype(float)df['comment_count'] = df['comment_count'].astype(int)# 数据统计print("平均评分:", df['rating'].mean())print("评论数最多的图书:", df.loc[df['comment_count'].idxmax()]['title'])# 可视化plt.figure(figsize=(10, 6))df.sort_values(by='rating', ascending=False, inplace=True)plt.barh(df['title'][:10], df['rating'][:10], color='skyblue')plt.xlabel('Rating')plt.title('Top 10 Highest Rated Books on Douban')plt.gca().invert_yaxis()plt.show()# 主函数
if __name__ == '__main__':html = fetch_douban_books()if html:books = parse_html(html)analyze_books(books)

结果展示

运行上述代码后，你将获得豆瓣图书Top250的基本信息，包括书名、评分和评论数，并且通过数据分析和可视化展示出评分最高的前10本书籍。

四、总结

通过本文的实例，你学习了如何使用Python编写爬虫程序从豆瓣网站上获取图书信息，并通过数据处理和可视化对数据进行分析。这种基于爬虫技术的数据采集和分析方法在实际应用中具有广泛的应用场景，例如市场调研、竞争分析等。希望本文能够帮助你更好地理解和应用Python爬虫技术！