app定制开发一般多少钱_厦门网站建设解决方案_公司推广_北京网站推广营销策划

目录

1、安装爬虫Scrapy

2、新建爬虫项目

3、配置爬虫

4、编写爬虫代码，爬取百度图片

5、运行爬虫程序

---

使用爬虫需要遵守相关法律和规范！

1、安装爬虫Scrapy

编程环境是Anaconda，其安装和使用见我之前的文章，这里就不赘述了。

首先安装爬虫Scrapy，为了加快下载速度，我用了国内镜像网站，如下所示：

pip install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple

还需要再安装一下Twisted，否则使用爬虫时会报错。

conda install --channel https://conda.anaconda.org/anaconda Twisted

2、新建爬虫项目

新建爬虫项目test_spider

scrapy startproject test_spider

进入spiders目录，创建baiduSpider.py，域名是要爬取的网站，写错了就无法爬取图片。不过不必担心，这里我们