上一篇文章提供了一种新的思路，找到了一条捷径，可以绕过 JS 逆向，直接监听接口，从接口的 response 中提取想要的数据。

传送门：Python实战：绕过JS逆向，爬取抖音搜索视频结果

今天，再运用这个思路写一个案例，实现爬取爬取哔哩哔哩 UP 主投稿的所有视频。（本文首发在“程序员coding”公众号）

一、先看结果

程序运行结束后会生成一个 excel 表格，包含 UP主名称、视频标题、视频描述、视频时长、播放数、评论数、弹幕数、发布时间、作者mid、视频aid、视频bvid、是否合作视频、视频链接、作者主页链接、视频封面图、视频属性、typeid 这 17 个字段的信息。

二、环境

（本文首发在“程序员coding”公众号）
python 3.11.5
pycharm

三、模块

from DrissionPage import ChromiumPage
from DataRecorder import Recorder
import time
import os
import datetime

四、分析数据来源

首先在作者主页点击更多，来到投稿视频的页面。

浏览器的开发者工具，点击投稿视频页面的下一页，找到包含视频数据的请求。

在浏览器的开发者工具的 preview 页面查看 response ，可以看到视频在 vlist 这个列表内。

展开第一个视频，可以看到包含的信息如下，是一个 json 格式，可以通过键值对的方法提取出视频信息。

在浏览器的开发者工具的 payload 页面可以看到请求需要携带的参数很多，还有加密的参数。

这种情况下，直接去扣 JS 逆向的话难度很大。

在 headers 页面，找到 requests url ，可以通过关键词监听这个接口，把这串关键词api.bilibili.com/x/space/wbi/arc/search复制出来，下面写代码能用到。

五、思路

1、访问主页

2、监听接口、解析数据

3、循环翻页

六、代码实现过程

1、登录

定义一个 sign_in() 函数，在函数内部使用 DrissionPage 库的 get() 方法，打开哔哩哔哩的网站首页。（本文首发在“程序员coding”公众号）

如果第一次执行代码，需要登录账号，第二次之后运行代码，可以把 sign_in() 函数注释掉不用再次执行这一步骤。

from DrissionPage import ChromiumPage
def sign_in():
    """"登录函数"""
    sign_in_page = ChromiumPage()
    sign_in_page.get('https://www.bilibili.com/')
    print('请扫码登录')

2、获取response

通过翻页，可以发现地址规律。变化的只有 pn 的值，可以方便的构造出页面的 url 地址。

（本文首发在“程序员coding”公众号）
def get_response(pn):
    """"通过监听接口，获取返回的response"""
    # 访问网址
    page = ChromiumPage()
    url = f'https://space.bilibili.com/{UID}/video?tid=0&pn={pn}&keyword=&order=pubdate'
    page.listen.start('api.bilibili.com/x/space/wbi/arc/search', method='GET')  # 开始监听，指定获取包含该文本的数据包
    page.get(url)

    # 等待并获取一个数据包
    res = page.listen.wait(timeout=10)
    # json_data和浏览器的开发者工区中response一样
    json_data = res.response.body
    return json_data

3、解析response

通过监听接口，我们获取到了 response ，这是 json 格式的。然后就可以解析 response ，提取每一条视频的信息了。

# videos是所有视频列表
videos = json_data['data']['list']['vlist']
# 提取视频信息
for v in videos:
    # 视频 aid
    aid = v['aid']
    # 视频 bvid
    bvid = v['bvid']
    # 发布 author
    author = v['author']
    # 视频标题
    title = v['title']

这里只列出其中几个字段的提取方法，其他字段也是类似的方法提取，这个很简单，就不全部介绍了。

4、保存到excel

from DataRecorder import Recorder
import time
# 新建一个excel表格，用来保存数据
formatted_time = time.strftime("%Y-%m-%d %H%M%S", current_time)
init_file_path = f'哔哩哔哩UP主发布的所有视频-{UID}-{formatted_time}.xlsx'
info = {'UP主名称': author, '视频标题': title, '视频描述': description, '视频时长': length, '播放数': play,
        '评论数': comment, '弹幕数': video_review, '发布时间': create_time,
        '作者mid': author_mid, '视频aid': aid, '视频bvid': bvid, '是否合作视频': is_union_video,
        '视频链接': video_url, '作者主页链接': author_url, '视频封面图': pic,
        '视频属性': attribute, 'typeid': typeid}
# 保存数据到缓存
r.add_data(info)
# 爬虫结束，避免丢数据，强制保存文件
r.record()

5、main()函数

if __name__ == '__main__':
    # 1、登录，第2次运行可以注释掉这一步骤
    sign_in()

    # 2、UID 是UP主的id
    UID = '99157282'

    # 3、page_num 是所有视频总共有多少页
    page_num = 20

    # 4、开始爬取数据
    run()

七、操作方法：

在浏览器地址栏可以找到 UP 主的 ID 号，https://space.bilibili.com/99157282/video中的99157282就是UID。

然后找到视频页码数量，也就是 20 页视频。

把这 2 个参数粘贴到代码的 main() 函数中，即可运行代码。

代码运行过程中， Pycharm 控制台输出如下：

八、完整代码

完整的代码经过调试完善可以完美运行，我也亲自多次实验，生成的 excel 表格案例如下。

生成的 excel 表命名包含作者名称、UID、笔记数量、采集日期时间这些信息。

本文首发在“程序员coding”公众号，欢迎关注与我一起交流学习。还可以通过公众号添加我的私人微信。

诚信交友，欢迎沟通交流。

每一份能满足他人需求的努力都值得被付费。

完整代码下载链接：可在“程序员coding”公众号文章获取。