爬虫（二）——爬虫的伪装

前言

本文是爬虫系列的第二篇文章，主要讲解关于爬虫的简单伪装，以及如何爬取B站的视频。建议先看完上一篇文章，再来看这一篇文章。要注意的是，本文介绍的方法只能爬取免费视频，会员视频是无法爬取的哦。

爬虫的伪装

1.为什么要伪装
有些网站会检查请求的合理性（比如B站），合理性具体包括以下三个指标：

	user-agent  操作系统和浏览器的标识cookie      用户标识referer     引荐页

2.伪装格式
直接去网址的下面复制。

headers = {'user-agent': '留空', 'cookie': '留空', 'referer': '留空'}

3.如何骗过网址！

res = requests.get(url, headers=headers)

实战——爬取B站视频

找B站视频的链接

1.打开开发者工具–网络(network)–全部(all)–刷新网页。
2.点击大小(size) 让网络数据从大到小排列（因为视频往往比较大）
3.点击靠最前面的数据，标头(headers)中就有链接！
在这里插入图片描述
往下，就能看到User-Agent和Referer，把链接复制到代码中对应的“留空”位置即可。B站没有cookie，那就直接把cookie略去就行了。
在这里插入图片描述
代码如下，从四行代码变成了五行代码：

import requests
url = 'https://cn-sdjn-fx-01-08.bilivideo.com/upgcxcode/00/58/1599995800/1599995800_x1-1-100022.m4s?e=ig8euxZM2rNcNbdlhoNvNC8BqJIzNbfqXBvEqxTEto8BTrNvN0GvT90W5JZMkX_YN0MvXg8gNEV4NC8xNEV4N03eN0B5tZlqNxTEto8BTrNvNeZVuJ10Kj_g2UB02J0mN0B5tZlqNCNEto8BTrNvNC7MTX502C8f2jmMQJ6mqF2fka1mqx6gqj0eN0B599M=&uipk=5&nbs=1&deadline=1721210891&gen=playurlv2&os=bcache&oi=0&trid=0000df6fbda98be44d1d86bfe5fd4f5d5f2eu&mid=0&platform=pc&og=cos&upsig=b62735e5559ca1c4d91bac74f3ffdbd6&uparams=e,uipk,nbs,deadline,gen,os,oi,trid,mid,platform,og&cdnid=57408&bvc=vod&nettype=0&orderid=0,3&buvid=378D4A7A-2CFF-6786-15B0-D8AD9F8DB7C619803infoc&build=0&f=u_0_0&agrr=1&bw=7600&np=151339420&logo=80000000'
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36', 'referer': 'https://www.bilibili.com/video/BV1N1421k7s6/?spm_id_from=333.1007.tianma.11-2-33.click'}
res = requests.get(url, headers=headers)
open('B站视频.mp4', 'wb').write(res.content)

注意，由于解码方式的不同，该视频使用电脑自带的视频播放工具不一定能打开。建议使用恒星播放器打开视频。

找B站音频的链接

打开视频之后，会发现视频没有声音。那是因为B站的视频和音频是分开存储的。所以还需要再下载音频。
在刚刚找视频数据的地方，下面还有好多条数据。此时数据是从大到小排列的，由于音频的大小往往也比较大，而且会比视频小，所以在下面找到除了第一条视频数据以外，重复出现几次的数据，那就是音频（下图选中的那一条便是我们要找的音频）。
在这里插入图片描述
音频只有网址和视频不一样，user-agent和referer都和视频一样，所以只需复制音频网址。
代码如下：

url = 'https://cn-sdjn-fx-01-10.bilivideo.com/upgcxcode/00/58/1599995800/1599995800-1-30216.m4s?e=ig8euxZM2rNcNbdlhoNvNC8BqJIzNbfqXBvEqxTEto8BTrNvN0GvT90W5JZMkX_YN0MvXg8gNEV4NC8xNEV4N03eN0B5tZlqNxTEto8BTrNvNeZVuJ10Kj_g2UB02J0mN0B5tZlqNCNEto8BTrNvNC7MTX502C8f2jmMQJ6mqF2fka1mqx6gqj0eN0B599M=&uipk=5&nbs=1&deadline=1721210891&gen=playurlv2&os=bcache&oi=0&trid=0000df6fbda98be44d1d86bfe5fd4f5d5f2eu&mid=0&platform=pc&og=hw&upsig=05fec34eb554b2d6eccbec9bda85f552&uparams=e,uipk,nbs,deadline,gen,os,oi,trid,mid,platform,og&cdnid=57410&bvc=vod&nettype=0&orderid=0,3&buvid=378D4A7A-2CFF-6786-15B0-D8AD9F8DB7C619803infoc&build=0&f=u_0_0&agrr=1&bw=3970&np=151339420&logo=80000000'
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36', 'referer': 'https://www.bilibili.com/video/BV1N1421k7s6/?spm_id_from=333.1007.tianma.11-2-33.click'}
res = requests.get(url, headers=headers)
open('B站音频.mp3', 'wb').write(res.content)

注意打开的文件格式要从mp4改成mp3。

合成视频

现在我们有了没有声音的视频，和没有画面的音频，当然要把两者合成一个视频。这个工作可以通过各种视频剪辑软件完成，但其实python也可以完成这个工作。代码如下：

# 1.加载素材！
video = VideoFileClip('B站视频.mp4')
audio = AudioFileClip('B站音频.mp3')
# 2.剪辑视频！
final = video.set_audio(audio)
# 3.导出成品！
final.write_videofile('完整视频.mp4')

完整代码

这里给出完整代码：

import requests
url = 'https://cn-sdjn-fx-01-08.bilivideo.com/upgcxcode/00/58/1599995800/1599995800_x1-1-100022.m4s?e=ig8euxZM2rNcNbdlhoNvNC8BqJIzNbfqXBvEqxTEto8BTrNvN0GvT90W5JZMkX_YN0MvXg8gNEV4NC8xNEV4N03eN0B5tZlqNxTEto8BTrNvNeZVuJ10Kj_g2UB02J0mN0B5tZlqNCNEto8BTrNvNC7MTX502C8f2jmMQJ6mqF2fka1mqx6gqj0eN0B599M=&uipk=5&nbs=1&deadline=1721210891&gen=playurlv2&os=bcache&oi=0&trid=0000df6fbda98be44d1d86bfe5fd4f5d5f2eu&mid=0&platform=pc&og=cos&upsig=b62735e5559ca1c4d91bac74f3ffdbd6&uparams=e,uipk,nbs,deadline,gen,os,oi,trid,mid,platform,og&cdnid=57408&bvc=vod&nettype=0&orderid=0,3&buvid=378D4A7A-2CFF-6786-15B0-D8AD9F8DB7C619803infoc&build=0&f=u_0_0&agrr=1&bw=7600&np=151339420&logo=80000000'
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36', 'referer': 'https://www.bilibili.com/video/BV1N1421k7s6/?spm_id_from=333.1007.tianma.11-2-33.click'}
res = requests.get(url, headers=headers)
open('B站视频.mp4', 'wb').write(res.content)url = 'https://cn-sdjn-fx-01-10.bilivideo.com/upgcxcode/00/58/1599995800/1599995800-1-30216.m4s?e=ig8euxZM2rNcNbdlhoNvNC8BqJIzNbfqXBvEqxTEto8BTrNvN0GvT90W5JZMkX_YN0MvXg8gNEV4NC8xNEV4N03eN0B5tZlqNxTEto8BTrNvNeZVuJ10Kj_g2UB02J0mN0B5tZlqNCNEto8BTrNvNC7MTX502C8f2jmMQJ6mqF2fka1mqx6gqj0eN0B599M=&uipk=5&nbs=1&deadline=1721210891&gen=playurlv2&os=bcache&oi=0&trid=0000df6fbda98be44d1d86bfe5fd4f5d5f2eu&mid=0&platform=pc&og=hw&upsig=05fec34eb554b2d6eccbec9bda85f552&uparams=e,uipk,nbs,deadline,gen,os,oi,trid,mid,platform,og&cdnid=57410&bvc=vod&nettype=0&orderid=0,3&buvid=378D4A7A-2CFF-6786-15B0-D8AD9F8DB7C619803infoc&build=0&f=u_0_0&agrr=1&bw=3970&np=151339420&logo=80000000'
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36', 'referer': 'https://www.bilibili.com/video/BV1N1421k7s6/?spm_id_from=333.1007.tianma.11-2-33.click'}
res = requests.get(url, headers=headers)
open('B站音频.mp3', 'wb').write(res.content)from moviepy.editor import *# 1.加载素材！
video = VideoFileClip('B站视频.mp4')
audio = AudioFileClip('B站音频.mp3')
# 2.剪辑视频！
final = video.set_audio(audio)
# 3.导出成品！
final.write_videofile('完整视频.mp4')

视频剪辑

python拥有15万+的库，可以实现非常多功能，做一些简单的视频剪辑不在话下。
比如对于刚刚获取的B站视频，我们可以截取其中10s-20s的视频，然后制作成镜像效果。

from moviepy.editor import *video = VideoFileClip('完整视频.mp4')  # 加载完整的视频video1 = video.subclip(0, 10)  # 切割0-10s的视频
video2 = video.subclip(10, 20)  # 切割10-20s的视频
video3 = video.subclip(20, 30)  # 切割20-30s的视频# 包括原视频在内的4个镜像视频！
# video2
clip1 = video2.fx(vfx.mirror_x)
clip2 = video2.fx(vfx.mirror_y)
clip3 = clip2.fx(vfx.mirror_x)final = clips_array([[video2, clip1],[clip2, clip3]
])final.write_videofile('镜像视频.mp4')

原本第13秒的视频是这样的：
在这里插入图片描述

经过代码处理后的视频是这样的：
在这里插入图片描述

总结

本文在上一篇文章的基础上，进一步介绍了爬虫的功能。这次通过爬虫的伪装，成功下载到了B站的视频。还顺便介绍了一点使用python做视频剪辑的功能。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://xiahunao.cn/news/3247412.html

如若内容造成侵权/违法违规/事实不符，请联系瞎胡闹网进行投诉反馈，一经查实，立即删除！

相关文章

【Arduino IDE】安装及开发环境、ESP32库

【Arduino IDE】安装及开发环境、ESP32库

一、Arduino IDE下载 二、Arduino IDE安装 三、ESP32库 四、Arduino-ESP32库配置 五、新建ESP32-S3N15R8工程文件 乐鑫官网 Arduino官方下载地址 Arduino官方社区 Arduino中文社区 一、Arduino IDE下载 ESP-IDF、MicroPython和Arduino是三种不同的开发框架，各自适…
阅读更多...
基于Web的特产美食销售系统的设计与实现

基于Web的特产美食销售系统的设计与实现

💗博主介绍💗：✌在职Java研发工程师、专注于程序设计、源码分享、技术交流、专注于Java技术领域和毕业设计✌ 温馨提示：文末有 CSDN 平台官方提供的老师 Wechat / QQ 名片 :) Java精品实战案例《700套》 2025最新毕业设计选题推荐…
阅读更多...
SpringBoot框架学习笔记（二）：容器功能相关注解详解

SpringBoot框架学习笔记（二）：容器功能相关注解详解

1 Spring 注入组件的注解 Component、Controller、 Service、Repository这些在 Spring 中的传统注解仍然有效，通过这些注解可以给容器注入组件 2 Configuration 2.1 应用实例 需求说明: 演示在 SpringBoot, 如何通过Configuration 创建配置类来注入组件 回顾…
阅读更多...
客户端与服务器通讯详解（3）：如何选择合适的通讯方式

客户端与服务器通讯详解（3）：如何选择合适的通讯方式

上篇文章中，我们讲解了客户端与服务器通讯详解（2）：12种常见通讯方式，重点讲解了http、websocket和RESTful API三种，本文我们继续讲解如何依据场景选择最合适的通讯方式。欢迎友友们点赞评论。 一、客户端服…
阅读更多...
微软研究人员为电子表格应用开发了专用人工智能LLM

微软研究人员为电子表格应用开发了专用人工智能LLM

微软的 Copilot 生成式人工智能助手现已成为该公司许多软件应用程序的一部分。其中包括 Excel 电子表格应用程序，用户可以在其中输入文本提示来帮助处理某些选项。微软的一组研究人员一直在研究一种新的人工智能大型语言模型，这种模型是专门为 Excel、Go…
阅读更多...
PDF文件无法编辑？3步快速移除PDF编辑限制

PDF文件无法编辑？3步快速移除PDF编辑限制

正常来说,我们通过编辑器打开pdf文件后,就可以进行编辑了｡如果遇到了打开pdf却不能编辑的情况,那有可能是因为密码或是扫描件的原因｡小编整理了一些pdf文件无法编辑，以及pdf文件无法编辑时我们要如何处理的方法｡下面就随小编一起来…
阅读更多...
JDK新特性（Lambda表达式，Stream流）

JDK新特性（Lambda表达式，Stream流）

Lambda表达式： Lambda 表达式背后的思想是函数式编程（Functional Programming）思想。在传统的面向对象编程中，程序主要由对象和对象之间的交互（方法调用）构成；而在函数式编程中，重点…
阅读更多...
Vscode中Github copilot插件无法使用（出现感叹号）解决方案

Vscode中Github copilot插件无法使用（出现感叹号）解决方案

1、击扩展或ctrl shift x ​​​​​​​ 2、搜索查询或翻找到Github compilot 3、点击插件并再左侧点击登录github 点击Sign up for a ... 4、跳转至github登录页，输入令牌完成登陆后返回VScode 5、插件可以正常使用
阅读更多...
Android Framework学习笔记（4）----Zygote进程

Android Framework学习笔记（4）----Zygote进程

Zygote的启动流程 Init进程启动后，会加载并执行init.rc文件。该.rc文件中，就包含启动Zygote进程的Action。详见“RC文件解析”章节。 根据Zygote对应的RC文件，可知Zygote进程是由/system/bin/app_process程序来创建的。 app_process大致处…
阅读更多...
好用的AI搜索引擎

好用的AI搜索引擎

1. 360AI 搜索 访问 360AI 搜索: https://www.huntagi.com/sites/1706642948656.html 360AI 搜索介绍： 360AI 搜索，新一代智能答案引擎，值得信赖的智能搜索伙伴，为复杂搜索提供专业支持，解锁更相关、更全面的答案。AI…
阅读更多...
pyspark使用 graphframes创建图的方法

pyspark使用 graphframes创建图的方法

1、安装graphframes的步骤 1.1 查看 spark 和 scala版本 在终端输入： spark-shell --version 查看spark 和scala版本 1.2 在maven库中下载对应版本的graphframes https://mvnrepository.com/artifact/graphframes/graphframes 我这里需要的是spark 2.4 scala 2.…
阅读更多...
古建筑白蚁监测预警系统解决方案

古建筑白蚁监测预警系统解决方案

一、概述 白蚁是世界五大害虫之一，俗称“无牙老虎”，能够破坏房屋建筑、园林绿地、农作物等，特别是木结构和砖木结构的古建筑。白蚁的啃食行为会对古建筑造成严重的损坏，严重时甚至会导致建筑倒塌，严重威胁古建筑的安全…
阅读更多...
人工智能导论-专家系统

人工智能导论-专家系统

专家系统 概述 本章主要介绍专家系统的概念、原理，创建过程，并补充知识发现与数据挖掘内容 **重点：**专家系统的工作原理和体系结构,知识获取的过程和模式 **难点：**如何设计和创建专家系统 AI第2次高峰(60年代) - 费根鲍姆 …
阅读更多...
TCP与UDP网络编程

TCP与UDP网络编程

网络通信协议 java.net 包中提供了两种常见的网络协议的支持: UDP：用户数据报协议(User Datagram Protocol)TCP：传输控制协议(Transmission Control Protocol) TCP协议与UDP协议 TCP协议 TCP协议进行通信的两个应用进程：客户端、服务端 …
阅读更多...
昇思25天学习打卡营第16天 | Vision Transformer图像分类

昇思25天学习打卡营第16天 | Vision Transformer图像分类

昇思25天学习打卡营第16天 | Vision Transformer图像分类 文章目录 昇思25天学习打卡营第16天 | Vision Transformer图像分类Vision Transform（ViT）模型TransformerAttention模块Encoder模块 ViT模型输入 模型构建Multi-Head Attention模块Encoder模块Pa…
阅读更多...
BiLSTM 实现股票多变量时间序列预测(PyTorch版)

BiLSTM 实现股票多变量时间序列预测(PyTorch版)

前言 系列专栏:【深度学习：算法项目实战】✨︎ 涉及医疗健康、财经金融、商业零售、食品饮料、运动健身、交通运输、环境科学、社交媒体以及文本和图像处理等诸多领域，讨论了各种复杂的深度神经网络思想，如卷积神经网络、循环神经网络、生成对…
阅读更多...
三、GPIO口

三、GPIO口

我们在刚接触C语言时，写的第一个程序必定是hello world，其他的编程语言也是这样类似的代码是告诉我们进入了编程的世界，在单片机中也不例外，不过我们的传统就是点亮第一个LED灯，点亮电阻，电容的兄弟&#x…
阅读更多...
【Java项目笔记】01项目介绍

【Java项目笔记】01项目介绍

一、技术框架 1.后端服务 Spring Boot为主体框架 Spring MVC为Web框架 MyBatis、MyBatis Plus为持久层框架，负责数据库的读写 阿里云短信服务 2.存储服务 MySql redis缓存数据 MinIO为对象存储，存储非结构化数据（图片、视频、音频&a…
阅读更多...
防溺水预警系统引领水域安全新篇章

防溺水预警系统引领水域安全新篇章

一、系统概述 随着人们对水域活动的需求增加，溺水事故频发，给人们的生命安全带来了严重威胁。然而，如今，一项创新科技正在以强大的功能和无限的潜力引领着水域安全的新篇章。智能防溺水预警系统，作为一种集成了智能感知…
阅读更多...
神经网络构造

神经网络构造

目录 一、神经网络骨架：二、卷积操作：三、卷积层：四、池化层：五、激活函数（以ReLU为例）： 一、神经网络骨架： import torch from torch import nn#神经网络 class CLH(nn.Module):de…
阅读更多...
最新文章

Copyright @ 2022~2023