MediaCrawler: 爬取抖音 快手 小红书 B站等
off999 2024-12-15 16:05 51 浏览 0 评论
项目简介
这个项目可以爬取抖音 快手 小红书 B站 微博的视频，图文，作者信息以及评论。
小红书爬虫，抖音爬虫， 快手爬虫， B站爬虫， 微博爬虫...。
目前能抓取小红书、抖音、快手、B站、微博的视频、图片、评论、点赞、转发等信息。
原理：利用playwright搭桥，保留登录成功后的上下文浏览器环境，通过执行JS表达式获取一些加密参数 通过使用此方式，免去了复现核心加密JS代码，逆向难度大大降低
功能列表
平台 | Cookie 登录 | 二维码登录 | 手机号登录 | 关键词搜索 | 指定视频/帖子 ID 爬取 | 登录状态缓存 | 数据保存 | IP 代理池 | 滑块验证码 |
小红书 | ? | ? | ? | ? | ? | ? | ? | ? | ? |
抖音 | ? | ? | ? | ? | ? | ? | ? | ? | ? |
快手 | ? | ? | ? | ? | ? | ? | ? | ? | ? |
B 站 | ? | ? | ? | ? | ? | ? | ? | ? | ? |
微博 | ? | ? | ? | ? | ? | ? | ? | ? | ? |
使用方法
创建并激活 python 虚拟环境
# 进入项目根目录
cd MediaCrawler
# 创建虚拟环境
python -m venv venv
# macos & linux 激活虚拟环境
source venv/bin/activate
# windows 激活虚拟环境
venv\Scripts\activate
安装依赖库
pip3 install -r requirements.txt安装 playwright浏览器驱动
playwright install运行爬虫程序
# 从配置文件中读取关键词搜索相关的帖子并爬去帖子信息与评论
python main.py --platform xhs --lt qrcode --type search
# 从配置文件中读取指定的帖子ID列表获取指定帖子的信息与评论信息
python main.py --platform xhs --lt qrcode --type detail
# 打开对应APP扫二维码登录
# 其他平台爬虫使用示例, 执行下面的命令查看
python main.py --help数据保存
- 支持保存到关系型数据库（Mysql、PgSQL等）
- 支持保存到csv中（data/目录下）
- 支持保存到json中（data/目录下）
项目链接
https://github.com/NanmiCoder/MediaCrawler
相关推荐
- 无线网桥监控安装方法（无线网桥怎么连接监控）
-
网桥连接无线路由器安装的设置方法如下1.主路由器上网正常，副路由器LAN口插一根网线，另一头连接电脑。主副路由器不需要用网线连接。2.电脑开机输入副路由器背面的设置地址，进入登录界面输入背面的账号密码...
- 怎么对电脑文件夹加密（怎么对电脑文件夹加密码）
-
1.右键点要加密的文件或文件夹，然后单击“属性”；2.在“常规”选项卡，点击“高级”。选中“加密内容以便保护数据”复选框;3.在加密文件夹时，系统将询问是否要同时加密它的子文件夹。要如果选择是，那它的...
- windows系统下载手机（win10下载手机）
-
OPPO手机重新下载安装系统：先备份好重要数据！然后手机连接电脑把下载的固件存入手机。然后再长按电源键十秒钟进入关机状态（可拆卸电板的需取下电板然后重新安装）。再同时按住电源键跟音量减键，进入reco...
- 电脑系统分区怎么分（电脑系统分区怎么分区）
-
分区是将硬盘分割成不同的逻辑部分，每个分区可以被视为一个独立的存储设备。通过分区，可以更好地管理数据和操作系统。要进行电脑分区，可以按照以下步骤进行：1.确定分区方案：首先需要确定分区的目的和需求。...
- 电脑显卡怎么选择（电脑显卡怎样选择）
-
以下是一些通用的方法：1.在硬件层面进行配置：首先需要确认您的主板和操作系统是否支持多GPU并行，以及您的电源是否提供足够的功率支持。在BIOS中启用多GPU选项，并安装正确的驱动程序。然后，通...
- 设置软件下载（设置软件下载入口）
-
iphone13app的下载设置1、首先，打开手机桌面的【设置】。2、在设置界面，点击【面容ID与密码】。3、这时设置了键盘锁的会要求你输入键盘锁密码进入。4、进入之后，找到【iTunesStore...
- 电脑麦克风插孔是哪个（电脑麦克风插那）
-
1.蓝色的为音频输入口。一般的电脑后面都有三个音频接口：蓝色是音频输入，绿色是音频输出，粉红色麦克风。 2.音频输入(蓝色),为外接光驱.随身听及其它音频输入设备,即可以把外部的设备声音传送至电脑...
- ie浏览器打不开网页怎么修复
-
第一步：打开“运行”输入—〉cmd—〉回车然后把下面这行字符复制到黑色cmd框里面去回车等待dll文件全部注册完成就关闭可以了（下面是要运行的代码）：for%1in(%windir%\syste...
- mail163邮箱登录入口网页版（mail163手机邮箱登录）
-
1.首先你要开启网易的POP3/SMTP/IMAP。2.设置完之后你需要网易的客户端授权密码。3.密码会发送至你的绑定手机。4.用发给你的客户端授权密码登录第三方客户端（ios客户端）5.直接登陆，储...
- win7系统序列号怎么查（win7电脑的序列号怎么查）
-
你可以在cmd命令行窗口中输入以下相关命令，可以得到你要的信息查找主板厂商输入：wmicBaseBoardgetManufacturer查找主板型号输入：wmicBaseBoardgetP...
- 台式电脑怎么看配置好坏（台式机怎么看配置参数哪里看好坏）
-
如何分辨电脑配置好坏第一看CPU，CPU从上到下可分为i7,i5,i3等，数字越高越好。第二看显卡和内存，显卡内存现在至少4G或者8G起步，越高越好，第三看硬盘是否是固态，固态要比机械的运行速度快...
- 下载软件安装不了（为什么下载软件安装不了）
-
一：检查手机内存是否充足，如果内存太小，需要更换大容量的SD卡。 二：检查手机是否设置允许安装除手机自带应用商店以外的应用。 方法一：需要从手机自带应用商店下载。 ①点击手机桌面上的应用...
- 现在建议更新win11吗（应该升级win11吗）
-
鲁大师更新11靠谱的，他只是给你提供一个方便的升级渠道而已。升级以后能否正常使用，还要看你原来的系统是否是正版。如果原来的系统是正版，升级完成后，可以正常使用。如果原来的系统是盗版，也是可以升级的，只...
- windows7旗舰版好用吗（win7旗舰版好用么）
-
win7旗舰版挺好使的不过现在可以选择更win10。Windows7旗舰版属于微软公司开发的Windows7操作系统系统系列中的功能最高级的版本，也被叫做终结版本，是为了取代WindowsXP...
欢迎 你 发表评论:
- 一周热门
-
-
抖音上好看的小姐姐，Python给你都下载了
-
全网最简单易懂!495页Python漫画教程，高清PDF版免费下载
-
飞牛NAS部署TVGate Docker项目，实现内网一键转发、代理、jx
-
Python 3.14 的 UUIDv6/v7/v8 上新，别再用 uuid4 () 啦!
-
python入门到脱坑 输入与输出—str()函数
-
宝塔面板如何添加免费waf防火墙?（宝塔面板开启https）
-
Python三目运算基础与进阶_python三目运算符判断三个变量
-
(新版)Python 分布式爬虫与 JS 逆向进阶实战吾爱分享
-
失业程序员复习python笔记——条件与循环
-
系统u盘安装（win11系统u盘安装）
-
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (77)
- python封装 (57)
- python写入txt (66)
- python读取文件夹下所有文件 (59)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)