在爬虫实践中,经常会碰到大量的请求与文件读写操作,如果让程序同步串行执行,会非常影响效率。所以,经常会考虑采用异步操作来提升效率。
异步支持模块:acyncio,需要导入该模块;
在网络请求过程中,异步支持模块为,aiohttp,需要导入该模块;
在数据读写过程中,异步支持模块为,aiofiles,需要导入该模块。
下面我们通过爬取一部小说,详细了解下异步操作。
示例是在某一知名网站,爬取一部小说,该小说有一百多章,每章是独立的URL。所以需要请求100多次URL,并写入文件100多次,因此选则了异步操作。