1 功能描述
随着互联网的普及，音乐平台成为人们获取音乐的重要渠道。通过网络爬虫技术，可以高效地获取音乐平台上的歌曲信息，为音乐爱好者提供个性化的推荐服务，或者为音乐市场分析提供数据支持。本次实验旨在通过Python编写网络爬虫程序，从指定的音乐平台爬取歌曲信息，并进行简单的数据分析和可视化。通过本次实验，学生将掌握网络爬虫的基本原理和实现方法，以及数据分析和可视化的技能。
2.方法和技术
(1)、实验环境
操作系统：Windows 10 / macOS / Linux（根据实际情况填写）
Python版本：Python 3.9
主要库及版本：
requests：2.25.1
BeautifulSoup4：4.9.3
selenium：3.141.0
pandas：1.2.4
matplotlib：3.4.2
seaborn：0.11.1
(2)、爬虫设计
(1).目标网站分析
本次实验选择[目标音乐平台名称]作为爬取目标。通过对目标网站的HTML结构进行分析，发现歌曲信息主要分布在[具体页面结构描述]。为了遵守目标网站的爬虫政策，避免频繁请求导致被封IP，爬虫程序中设置了合理的请求间隔时间。
(2).爬虫实现思路
请求头设置：为了模拟正常用户访问，设置了请求头，包括User-Agent、Referer等信息。
数据解析方法：使用BeautifulSoup库解析HTML页面，提取所需的歌曲信息。对于动态加载的数据，使用selenium库模拟浏览器行为获取数据。
(3).爬取流程
初始化请求头和目标URL。
发送HTTP请求，获取目标页面的HTML内容。
使用BeautifulSoup解析HTML，提取歌曲信息。
将提取的数据保存为CSV或JSON格式。。
3. 源代码
（1）、python代码
import requests
from bs4 import BeautifulSoup
from openpyxl import Workbook,load_workbook
import os
def get_music_chart(name,dizhi):headers = {'user-agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/133.0.0.0 Mobile Safari/537.36 Edg/133.0.0.0'}url = 'https://www.kugou.com/yy/rank/home/1-{}.html?from=rank'.format(dizhi)response = requests.get(url,headers=headers)response.encoding = response.apparent_encodingprint(response.status_code)if response.status_code == 200:print(f'酷狗音乐{name}榜网页请去成功')else:print(f"请求失败，状态码: {response.status_code}")text=response.textsoup = BeautifulSoup(text, 'html.parser')return soup
def jx(name,dizhi):soup=get_music_chart(name,dizhi)shuju_list=[]f1=soup.find_all("div",attrs={"class":"pc_temp_songlist"})for k in f1:shuj_music=[]number=k.find_all("span",attrs={"class":"pc_temp_num"})music_name=k.find_all("span",attrs={"style":"color: #999;"})user=k.find_all("a",attrs={"data-active":"playDwn"})music_time=k.find_all("span",attrs={"class":"pc_temp_time"})for x,y,z,w in zip(number,music_name,user,music_time):shuju_list.append([x.text.split()[0],y.text.split()[1],z.text.split()[0],w.text.split()[0]])#shuju_list.append(shuj_music)return shuju_listclass Excel_write():def __init__(self,name,wangzhi):self.name=nameself.excel_file = "酷狗音乐{}.xlsx".format(self.name)self.wangzhi=wangzhiif not os.path.exists(self.excel_file):self.wk = Workbook();#创建excel工作薄self.wk.create_sheet("数据表",0);#sheet表名，位置(从0开始)# 默认选择当前活跃选项卡self.wb =self.wk['数据表']self.wb.append(["排名",'歌名','歌手','歌曲时间']);#横向插入数据self.wk.save(self.excel_file)self.wk_load = load_workbook(filename=self.excel_file)self.wb_load = self.wk_load['数据表']def nr_write(self):shuju=jx(self.name,self.wangzhi)for i in shuju:self.wb_load.append(i)self.wk_load.save(filename=self.excel_file)
def main():wangzhi={'酷狗飙升榜':6666,'酷狗TOP500':8888,'蜂鸟流行音乐榜':59703,'抖音热歌榜':52144,'快手热歌榜':52767,'DJ热歌榜':24971,'内地榜':31308,'香港地区榜':31313}for name, wangzhi in wangzhi.items():xieru=Excel_write(name,wangzhi)xieru.nr_write()if __name__ == "__main__":main()
（2）、运行结果
运行生成文件图
爬取数据图
4. 心得体会
通过本次Python网络爬虫的实践，我们不仅掌握了从基础到高级的爬虫开发技巧，还了解了如何应对实际操作中的各种挑战。在未来的学习和工作中，我们需要不断优化和迭代爬虫策略，以适应目标网站结构和反爬虫机制的变化。同时，持续学习新的工具和方法，保持对新技术的敏感度和适应能力，是提升爬虫开发水平的关键。
本次网络爬虫项目成功地实现了对酷狗音乐网站不同榜单数据的爬取，掌握了requests库，BeautifulSoup库，openpyxl库的使用，将数据保存为excel表格形式，方便后期的数据分析和应用提供了坚实的数据基础。在项目实施过程中，克服了目标网站的反爬虫机制、页面解析困难以及数据存储冲突等一系列问题，提高了自己在网络爬虫开发和数据处理方面的能力。尽管本次爬虫项目取得了一定的成果，但仍然存在一些可以改进和拓展的地方。例如，可以进一步优化爬虫的性能，提高数据抓取的速度和效率；增加对更多网站或数据来源的支持，扩大数据收集的范围；加强数据的清洗和预处理工作，提高数据的质量和可用性。