您的位置:首页 > 房产 > 建筑 > 关于如何获取动态cookies的爬取策略

关于如何获取动态cookies的爬取策略

2024/10/6 14:28:46 来源:https://blog.csdn.net/li2437948121/article/details/141157182  浏览:    关键词:关于如何获取动态cookies的爬取策略

当我们爬取一些网站时,经常会遇到爬取时需要添加cookies,来判断你是否为游客登录还是用户登录。此时的cookies中还带有关于时间的参数,只要超过规定时间,爬取过程中就会报错,爬虫工程师只能通过加解密js的方式来进行操作。但是对于刚入手的小白来说,动态cookies着实有点难搞,那么有没有更加简便的的方法来获取动态的cookies呢?

在遇到此类问题,我们可以通过一个自动化的模块DrissionPage来获取到动态cookies来为我们的爬虫服务。DrissionPage时结合selenium和中间人代理攻击的一个关于python的第三方模块,如果你熟悉selenium那么DrissionPage就可以很快速的上手。

思路:使用DrissionPage通过获取用户浏览器的缓存数据,来访问用户已经登陆的网站信息返回动态的cookies的值,通过此cookies结合requests或scrapy来访问网页的数据。

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com