（3）在 pipeline.py 文件中对数据进行存储，此程序先写 入 txt 文件中，是为了判断该程序是否能正确爬取出数据。 此处使用了 json 库，使用 ensure_ascii = False，能够确 保非 ASCII 字符（如中文）的数据写入 txt 文件中。
import json
class DoubanPipeline:def open_spider(self,spider):self.f = open('maoer1.json','w',encoding='utf-8')def process_item(self, item, spider):json_str = json.dumps(dict(item),ensure_ascii=False) + '\n'self.f.write(json_str)return itemdef close_spider(self,spider):self.f.close()（4）在 setting.py 文件中设置优先级。
此外，在我调试的过程中，我发现得做反爬措施。
（5）在此项目下创建一个 main.py 文件，用于调试。
import os.path
import sys
from scrapy.cmdline import execute
currentFile = os.path.abspath(__file__)
currentPath = os.path.dirname(currentFile)
# print(currentPath)
sys.path.append(currentPath)
execute(["scrapy","crawl","db"])（6）最终得到的数据如下（json 文件中）：
（7）将数据转存至 mysql 中，使用 pymysql 成功连接数据 库后，通过 sql 语句 insert into 表名 values（值）将数 据进行保存。
import mysql.connector
import jsonconn = mysql.connector.connect(host="127.0.0.1",user="root",password="010208",database="spider",port = 3306,charset = "utf8"
)cursor = conn.cursor()with open('maoer1.json', 'r') as file:data = json.load(file)for entry in data:description = entry.get('description', '') # 确保title字段存在movie_name = entry.get('movie_name', '')director = entry.get('director', '')score = entry.get('score', '')sql = "INSERT INTO spider10 (description,movie_name,director,score) VALUES (%s,%s,%s,%s)"cursor.execute(sql, (description,movie_name,director,score))
conn.commit()cursor.close()
conn.close()（8）结果展示
三.数据可视化
本题根据现有数据，做了柱状图和词云图。（好像不是很好看）
四.应用场景
通过对豆瓣网站进行数据爬取并进行可视化分析，我们可以看到，当代社会中人们喜欢的影视作品种类多样，评分较高，质量较高。希望该网站进行推出优秀作品，丰富人们的闲暇生活。
ok，这就是完整的程序说明，重点，我自己写的！