文章目录
- 1、任务目标
- 2、网页分析
- 3、代码编写
1、任务目标
目标网站：B站视频（https://www.bilibili.com/video/BV1se41117WP/?vd_source=e8e376ccbc5aa4cfd88e6a7917adfd1a），用于本文测验
要求：抓取该网址下的视频，将其存入本地，如下：
2、网页分析
在分析网页前，我们需要明白爬取的数据是什么，因为b站的视频跟音频是分开存放的，所以我们需要分别找到视频和音频的url，然后在对其发起请求将视频和音频保存至本地；最后将两者合并在一起，才能形成完整的视频文件
- 打开目标网站，大家可以先登录B站，这样才能下载高清视频，打开浏览器开发者模式，刷新网页，寻找数据接口
- 经过分析，在
Network-Doc下发现了一个文件，该文件源码中就存放了视频和音频的url地址，所以我们需要向该文件接口发起请求，将视频和音频的url地址解析出来
-
得到该数据接口的
请求url和请求参数
-
找到所需的数据接口后，我们可以先分析一下网页源码，我们发现视频url存放在一个
<script>标签下的video下
-
我们需要获取的是
video下的baseurl，但我们会发现这种url在video下有许多，他们其实代表着不同清晰度和不同编码，这里我教大家如何区分，首先id相同的表示是同一个清晰度的视频url，codes代表着不同的编码格式；大家可以根据第3步图中信息判断清晰度，id=80就代表 高清1080p，因为我没有会员，这里最高只显示高清1080p的baseurl，所以我们就抓取它即可
-
音频的url同样也在
<script>标签下，我们向下翻，发现音频url在audio下的baseUrl中，且下面有3种类型的baseurl，我们同样根据id来选择，视频url为高清1080p，所以音频就选择id=30280的baseurl
3、代码编写
编写代码前，需要大家安装一个第三方工具ffmpeg，用于合并视频和音频
安装教程：https://blog.csdn.net/qq_45956730/article/details/125272407
完整代码:
'''
目标站点：https://www.bilibili.com/video/BV1se41117WP/?vd_source=e8e376ccbc5aa4cfd88e6a7917adfd1a B站
任务：抓取网址下的视频，将其存入本地
'''# 导入模块
import requests
import re
import json
from jsonpath import jsonpath
from bs4 import BeautifulSoup
import os# 1、站点信息# 目标网站
url = 'https://www.bilibili.com/video/BV1se41117WP/'# 身份信息，若cookie值失效，刷新网页更换即可
header = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36","Referer":"https://www.bilibili.com/","Cookie":"i-wanna-go-back=-1; buvid4=3347E997-02D2-04C8-A7BF-156C62FCF90B88409-022070218-vps4PunhlmjD%2FldTeJtIPg%3D%3D; buvid_fp_plain=undefined; DedeUserID=131564301; DedeUserID__ckMd5=cd1905451e79f724; CURRENT_BLACKGAP=0; buvid3=256ABE92-A581-24BC-8E24-6FF290D67AAD49841infoc; b_nut=1698501949; b_ut=7; _uuid=E716FD102-B224-3AF5-BF13-7FFF9888B73450357infoc; rpdid=|(um)~|)kk)k0J'uYm)l|um~u; PVID=1; header_theme_version=CLOSE; enable_web_push=DISABLE; fingerprint=561ef2aee0e68972fc241f5969acd97b; hit-dyn-v2=1; FEED_LIVE_VERSION=V_WATCHLATER_PIP_WINDOW3; CURRENT_FNVAL=4048; buvid_fp=561ef2aee0e68972fc241f5969acd97b; SESSDATA=33cf5dfb%2C1744988952%2Cb57ab%2Aa1CjBKimVs0wevrn9Ta4wYyhdBx-INz-37PGOJXhzOdeCNbnP3by5al9qZYhWgDs8BqO0SVk5MQzdsRzNWbWNaTHhWX3E1d1RKbl9WS3BGWjVudnpjd0d6NnV0ZWxYSU9FREktWlY0d2pMaU1LU1JVSUNZWFFtdDk1OEMyWFNickFCOFlncy1RYXR3IIEC; bili_jct=f6fe7d7a9e53628a226c3b5635076cbf; bp_t_offset_131564301=990413587237306368; bili_ticket=eyJhbGciOiJIUzI1NiIsImtpZCI6InMwMyIsInR5cCI6IkpXVCJ9.eyJleHAiOjE3Mjk2OTY0MzcsImlhdCI6MTcyOTQzNzE3NywicGx0IjotMX0.6xy7DMJZDMBJycpOYWnXejp5ihkcRy4mE85OBVgjUFU; bili_ticket_expires=1729696377; bmg_af_switch=1; bmg_src_def_domain=i0.hdslb.com; sid=6az7b526; CURRENT_QUALITY=64; home_feed_column=4; browser_resolution=1279-700; b_lsid=61131031F_192AE3E6666",
}# 请求参数、
param = {"vd_source":"e8e376ccbc5aa4cfd88e6a7917adfd1a",
}# 2、请求网站
def get():response = requests.get(url,headers=header,params=param) # 发起请求if response.status_code == 200:html_data = response.text # 返回网页源码data = re.findall('<script>window.__playinfo__=(.*?)</script>',html_data,re.S)[0] # 用正则将网页中script标签内的数据匹配出来json_data = json.loads(data) # 将匹配的数据转换为json格式，字典return html_data,json_data# 3、解析数据
def parse(html_data,json_data):soup = BeautifulSoup(html_data,'lxml') # 生成解析对象title = soup.select('div.title-txt')[0].string # 获取视频标题，有多种方法，大家自行选择# print(title)video_url = jsonpath(json_data,'$..data.dash.video..baseUrl')[0] # 获取视频链接# print(video_url)audio_url = jsonpath(json_data,'$..data.dash.audio..baseUrl')[0] # 获取音频链接# print(audio_url)return title,video_url,audio_url# 4、将视频存放至本地
def save(title,video_url,audio_url,path):print('视频和音频开始下载')video = requests.get(video_url,headers=header).content # 下载视频audio = requests.get(audio_url,headers=header).content # 下载音频# 保存视频with open(f'{path}{title}.mp4','wb') as f1: # 将视频保存至指定路径下f1.write(video)print('视频下载完成')# 保存音频with open(f'{path}{title}.mp3','wb') as f2: # 将音频保存至指定路径下f2.write(audio)print('音频下载完成')# 5、合并视频和音频
def craft(path,title):# 使用第三方工具ffmpeg，合成视频和音频的命令，参考：https://blog.csdn.net/bangongzhushou/article/details/140019824cmd = fr"ffmpeg -i {path}{title}.mp4 -i {path}{title}.mp3 -c:v copy -c:a aac -strict experimental -map 0:v -map 1:a {path}csdn\{title}.mp4 -loglevel quiet" # -loglevel quiet 表示隐藏日志，不加问题不大os.system(cmd) # 调用windows命令print('视频和音频合并完成') # 合并后会生成新的.MP4文件os.remove(f'{path}{title}.mp4') # 删除原有的视频文件os.remove(f'{path}{title}.mp3') # 删除原有的音频文件print(f'已删除原有的视频和音频文件')print('---'*10)# 6、启动函数
def start(path):# 依次调用定义的函数，完成视频抓取html_data, json_data = get()title, video_url, audio_url = parse(html_data, json_data)save(title, video_url, audio_url, path)craft(path, title)if __name__ == '__main__':path = 'F:/videoDownload/' # 视频存放的路径，大家自定义start(path)
执行效果：
