一、安装导入
使用包管理器下载
pip install scrapy二、创建Scrapy项目
首先需要进入你创建项目的目录下，打开cmd窗口或powershell窗口：
scrapy startproject 项目名称（英文）三、了解项目结构
scrapy.cfg # 项目的配置文件
项目名称/ # 项目的Python模块，将会从这里引用代码 __init__.py
items.py # 项目的item文件（要爬取的信息抽象变量）
middlewares.py # 项目的中间件文件
pipelines.py # 项目的管道文件
settings.py # 项目的设置文件
spiders/ # 存放爬虫代码的目录 __init__.py
四、定义Item
在items.py文件中定义你要爬取的数据结构。例如，如果你正在爬取一个招聘网站，你可能会定义如下Item：
import scrapy class MyprojectItem(scrapy.Item): title = scrapy.Field() # 职位名称 salary = scrapy.Field() # 薪资 company = scrapy.Field() # 公司名称 # ... 其他字段五、编写爬虫
在spiders目录下，使用scrapy genspider命令创建一个新的爬虫，或者手动创建一个Python文件来定义你的爬虫。例如，创建一个名为job_spider.py的爬虫文件，并编写相应的爬取逻辑。
六、配置和运行爬虫
- 配置爬虫：在爬虫文件中设置允许的域名（
allowed_domains）和起始URL（start_urls）。 - 编写解析函数：定义
parse方法或其他回调函数来解析响应并提取数据。 - 运行爬虫：在项目根目录下（即包含
scrapy.cfg的目录），使用scrapy crawl命令运行爬虫。例如scrapy crawl job_spider