您的位置:首页 > 财经 > 产业 > 深圳品牌策划公司计划书_网站搭建中单页面_南京百度推广开户_seo网站优化推广

深圳品牌策划公司计划书_网站搭建中单页面_南京百度推广开户_seo网站优化推广

2024/12/23 11:57:34 来源:https://blog.csdn.net/in_seattle/article/details/144332609  浏览:    关键词:深圳品牌策划公司计划书_网站搭建中单页面_南京百度推广开户_seo网站优化推广
深圳品牌策划公司计划书_网站搭建中单页面_南京百度推广开户_seo网站优化推广

🌈个人主页:羽晨同学 

💫个人格言:“成为自己未来的主人~” 

主环境和虚拟环境

主环境是电脑上安装的python环境

虚拟环境在项目中可以实现环境的隔离,假设DemoA和DemoB分别用到了某个三方库1.0和2.0版本,那么在一个环境中,就会出现冲突,这个三方库只能安装其中一个版本。

这个时候就出现了虚拟环境,可以通过已安装的环境创建多个虚拟环境。

分别给DemoA和DemoB各自分配一个虚拟环境,那么每个项目需要用到哪个三方库,按需安装,各不冲突。

requests的使用

首先,我们需要导入模块

import  requests

这个模块的作用是向网址发送请求(本质是向网址所在的服务器发送请求),得到响应结果。

URL = 'http://www.baidu.com/'

比如说,我们想要访问的是百度。

在访问之前,一般来说,我们需要把爬虫进行伪装。

Headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36'
}

我们可以通过设置headers来进行伪装,headers是标头,其中的User-Agent是标头当中的一个参数,它的存在足以使爬虫应对大部分的网站。

那么它怎么找呢?

然后,我们向网址发送请求,得到其给的响应结果(响应结果中包含了我们需要的各种信息)

response =requests.get(url=URL,headers=Headers)

然后我们可以打印这个响应结果,看一下可以得到些什么?

print(response) # <Response [200]>

 我们可以从结果当中看到对应的状态码,状态码决定了爬虫是否能用。

print(response.status_code)# 200

我们可以通过这个来看到对应的状态码

这个打印出来的200代表着爬虫正常访问了服务器。

这里,我们多说几个其他的状态码:

403:爬虫被拒绝了

404:网页丢失

500:服务器崩溃

 如果网页中发生了乱码,再写下面的这一段代码,其中,utf-8表示这个网页的编码方式。

response.encoding = 'utf-8'

这个我们可以从网页源代码中的charset中查看,这个是一定存在的。

我们也可以通过代码查看网页的源代码。

print(response.text)

我们可以通过这个语句来查看网页的源代码。此时的网页源代码是字符串类型的。

使用正则表达式从网页原地阿妈中匹配信息

我们首先先导入正则

import re
regexStr = r'<span class ="title-content-title">(.*?)</span>'
# 在findall方法中,正则表达式的哪部分有分组,最终获取的就是哪部分
result = re.findall(regexStr,response.text)
# print(result)
for i in result:print(i)

好了,今天的内容就到这里,我们明天再见。

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com