一篇文章教会你用Python抓取抖音app热点数据
off999 2024-12-16 15:21 27 浏览 0 评论
今天给大家分享一篇简单的安卓app数据分析及抓取方法。以抖音为例，我们想要抓取抖音的热点榜数据。
要知道，这个数据是没有网页版的，只能从手机端下手。
首先我们要安装charles抓包APP数据，它是一款收费的抓包修改工具，易上手，数据请求容易控制，修改简单，抓取数据的开始暂停方便等优势，网上也有汉化版，下载地址为http://www.zdfans.com/html/42074.html，一路默认安装就ok了。
安装完成后要设置代理，依次点击代理——代理设置。
然后在手机端设置代理，如下图所示：
在保证手机和电脑在同一局域网的情况下，代理服务器主机名设为电脑的ip地址，端口设为8888。
最后在电脑端和手机端分别安装证书。
电脑端安装方法：依次点击帮助——ssl代理——安装charles root证书 ，按下图进行安装。
手机端安装方式：帮助——ssl代理——在移动设备或远程浏览器上安装charles root证书。
再在模拟器浏览器中输入chls.pro/ssl，会自动下载手机端证书
最后再手机端依次点击设置——安全——从SD卡安装。
为证书命名，点击确认就安装成功了。
打开charles，然后打开抖音app的热点榜界面，在charles很容易就找到了数据接口，一次就返回了50条数据，如下图所示。
它的url信息如下图所示。
此接口只能返回这一时刻的热点数据，要想返回新的数据，就要变换参数信息，但是App端的数据接口参数都比较复杂，这里我们不再深入分析。
为了解决这一问题，我们可以用appium定时模拟操控手机，然后用mitmproxy把数据拦截下来（关于appium、mitmproxy的简介与安装网上有很多教程，这里不再赘述）
Appium脚本如下图所示：
这个自动化测试脚本比较简单，主要是重复获取热点最新信息。
Mitmproxy脚本如图：
有4点需要注意的地方：
1.用mitmproxy抓包前，先把手机代理ip端口设置为8080，设置方法同上；
2.要想在此脚本运行外置函数，必须加上前两行，要不然会出错；
3.脚本中if url in flow.request.url为数据流判断条件，如果url在该数据流的url请求数据中，则判断该数据为抖音app热点数据；
4.最后在脚本所在路径运行以下程序：
最后再运行appium自动化测试脚本，就大功告成了。
为了帮助大家更轻松的学好Python开发技术，Python爬虫，Python数据分析,人工智能等技术，这里给大家分享一套系统教学资源，，关注我头条号，然后私信我‘2020’几个数字免费领取。还有专业的老司机免费答疑！（注意私信我关键字不要写错，可以复制）
相关推荐
- windows系统下载手机（win10下载手机）
-
OPPO手机重新下载安装系统：先备份好重要数据！然后手机连接电脑把下载的固件存入手机。然后再长按电源键十秒钟进入关机状态（可拆卸电板的需取下电板然后重新安装）。再同时按住电源键跟音量减键，进入reco...
- 电脑系统分区怎么分（电脑系统分区怎么分区）
-
分区是将硬盘分割成不同的逻辑部分，每个分区可以被视为一个独立的存储设备。通过分区，可以更好地管理数据和操作系统。要进行电脑分区，可以按照以下步骤进行：1.确定分区方案：首先需要确定分区的目的和需求。...
- 电脑显卡怎么选择（电脑显卡怎样选择）
-
以下是一些通用的方法：1.在硬件层面进行配置：首先需要确认您的主板和操作系统是否支持多GPU并行，以及您的电源是否提供足够的功率支持。在BIOS中启用多GPU选项，并安装正确的驱动程序。然后，通...
- 设置软件下载（设置软件下载入口）
-
iphone13app的下载设置1、首先，打开手机桌面的【设置】。2、在设置界面，点击【面容ID与密码】。3、这时设置了键盘锁的会要求你输入键盘锁密码进入。4、进入之后，找到【iTunesStore...
- 电脑麦克风插孔是哪个（电脑麦克风插那）
-
1.蓝色的为音频输入口。一般的电脑后面都有三个音频接口：蓝色是音频输入，绿色是音频输出，粉红色麦克风。 2.音频输入(蓝色),为外接光驱.随身听及其它音频输入设备,即可以把外部的设备声音传送至电脑...
- ie浏览器打不开网页怎么修复
-
第一步：打开“运行”输入—〉cmd—〉回车然后把下面这行字符复制到黑色cmd框里面去回车等待dll文件全部注册完成就关闭可以了（下面是要运行的代码）：for%1in(%windir%\syste...
- mail163邮箱登录入口网页版（mail163手机邮箱登录）
-
1.首先你要开启网易的POP3/SMTP/IMAP。2.设置完之后你需要网易的客户端授权密码。3.密码会发送至你的绑定手机。4.用发给你的客户端授权密码登录第三方客户端（ios客户端）5.直接登陆，储...
- win7系统序列号怎么查（win7电脑的序列号怎么查）
-
你可以在cmd命令行窗口中输入以下相关命令，可以得到你要的信息查找主板厂商输入：wmicBaseBoardgetManufacturer查找主板型号输入：wmicBaseBoardgetP...
- 台式电脑怎么看配置好坏（台式机怎么看配置参数哪里看好坏）
-
如何分辨电脑配置好坏第一看CPU，CPU从上到下可分为i7,i5,i3等，数字越高越好。第二看显卡和内存，显卡内存现在至少4G或者8G起步，越高越好，第三看硬盘是否是固态，固态要比机械的运行速度快...
- 下载软件安装不了（为什么下载软件安装不了）
-
一：检查手机内存是否充足，如果内存太小，需要更换大容量的SD卡。 二：检查手机是否设置允许安装除手机自带应用商店以外的应用。 方法一：需要从手机自带应用商店下载。 ①点击手机桌面上的应用...
- 现在建议更新win11吗（应该升级win11吗）
-
鲁大师更新11靠谱的，他只是给你提供一个方便的升级渠道而已。升级以后能否正常使用，还要看你原来的系统是否是正版。如果原来的系统是正版，升级完成后，可以正常使用。如果原来的系统是盗版，也是可以升级的，只...
- windows7旗舰版好用吗（win7旗舰版好用么）
-
win7旗舰版挺好使的不过现在可以选择更win10。Windows7旗舰版属于微软公司开发的Windows7操作系统系统系列中的功能最高级的版本，也被叫做终结版本，是为了取代WindowsXP...
- 2025年最好用的手机浏览器（2021最好的手机浏览器）
-
可以使用uc浏览器或者是QQ浏览器，最新版本都是带有Flash插件的，火狐浏览器手机版也是一开始拥有Flash插件。以下是详细介绍： 1、uc浏览器是阿里旗下的浏览器，只需要下载最新版，然后进去就可...
欢迎 你 发表评论:
- 一周热门
-
-
抖音上好看的小姐姐，Python给你都下载了
-
全网最简单易懂!495页Python漫画教程，高清PDF版免费下载
-
飞牛NAS部署TVGate Docker项目，实现内网一键转发、代理、jx
-
Python 3.14 的 UUIDv6/v7/v8 上新，别再用 uuid4 () 啦!
-
python入门到脱坑 输入与输出—str()函数
-
宝塔面板如何添加免费waf防火墙?（宝塔面板开启https）
-
Python三目运算基础与进阶_python三目运算符判断三个变量
-
(新版)Python 分布式爬虫与 JS 逆向进阶实战吾爱分享
-
失业程序员复习python笔记——条件与循环
-
系统u盘安装（win11系统u盘安装）
-
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (77)
- python封装 (57)
- python写入txt (66)
- python读取文件夹下所有文件 (59)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)