Python爬取猫眼电影:破解字体反爬
off999 2024-10-04 18:54 23 浏览 0 评论
字体反爬
字体反爬也就是自定义字体反爬，通过调用自定义的字体文件来渲染网页中的文字，而网页中的文字不再是文字，而是相应的字体编码，通过复制或者简单的采集是无法采集到编码后的文字内容的。
现在貌似不少网站都有采用这种反爬机制，我们通过猫眼的实际情况来解释一下。
下图的是猫眼网页上的显示：
检查元素看一下
这是什么鬼，关键信息全是乱码。
熟悉 CSS 的同学会知道，CSS 中有一个 @font-face，它允许网页开发者为其网页指定在线字体。原本是用来消除对用户电脑字体的依赖，现在有了新作用——反爬。
汉字光常用字就有好几千，如果全部放到自定义的字体中，那么字体文件就会变得很大，必然影响网页的加载速度，因此一般网站会选取关键内容加以保护，如上图，知道了等于不知道。
这里的乱码是由于 unicode 编码导致的，查看源文件可以看到具体的编码信息。
搜索 stonefont，找到 @font-face 的定义：
这里的 .woff 文件就是字体文件，我们将其下载下来，利用 http://fontstore.baidu.com/static/editor/index.html 网页将其打开，显示如下：
网页源码中显示的 ? 跟这里显示的是不是有点像？事实上确实如此，去掉开头的 和结尾的 ; 后，剩余的4个16进制显示的数字加上 uni 就是字体文件中的编码。所以 ? 对应的就是数字“9”。
知道了原理，我们来看下如何实现。
处理字体文件，我们需要用到 FontTools 库。
先将字体文件转换为 xml 文件看下：
打开 xml 文件
开头显示的就是全部的编码，这里的 id 仅仅是编号而已，千万别当成是对应的真实值。实际上，整个字体文件中，没有任何地方是说明 EA0B 对应的真实值是啥的。
看到下面
这里就是每个字对应的字体信息，计算机显示的时候，根本不需要知道这个字是啥，只需要知道哪个像素是黑的，哪个像素是白的就可以了。
猫眼的字体文件是动态加载的，每次刷新都会变，虽然字体中定义的只有 0-9 这9个数字，但是编码和顺序都是会变的。就是说，这个字体文件中“EA0B”代表“9”，在别的文件中就不是了。
但是，有一样是不变的，就是这个字的形状，也就是上图中定义的这些点。
我们先随便下载一个字体文件，命名为 base.woff，然后利用 fontstore 网站查看编码和实际值的对应关系，手工做成字典并保存下来。爬虫爬取的时候，下载字体文件，根据网页源码中的编码，在字体文件中找到“字形”，再循环跟 base.woff 文件中的“字形”做比较，“字形”一样那就说明是同一个字了。在 base.woff 中找到“字形”后，获取“字形”的编码，而之前我们已经手工做好了编码跟值的映射表，由此就可以得到我们实际想要的值了。
这里的前提是每个字体文件中所定义的“字形”都是一样的（猫眼目前是这样的，以后也许还会更改策略），如果更复杂一点，每个字体中的“字形”都加一点点的随机形变，那这个方法就没有用了，只能祭出杀手锏“OCR”了。
下面是完整的代码，抓取的是猫眼2018年电影的第一页，由于主要是演示破解字体反爬，所以没有抓取全部的数据。
代码中使用的 base.woff 文件跟上面截图显示的不是同一个，所以会看到编码跟值跟上面是对不上的。
相关推荐
- Python设计模式 第 13 章 中介者模式(Mediator Pattern)
-
在行为型模式中，中介者模式是解决“多对象间网状耦合”问题的核心模式。它就像“机场调度中心”——多个航班（对象）无需直接沟通起飞、降落时间，只需通过调度中心（中介者）协调，避免航班间的冲突与混乱...
- 1.3.1 python交互式模式的特点和用法
-
什么是Python交互模式Python交互模式，也叫Python交互式编程，是一种在Python解释器中运行的模式，它允许用户在解释器窗口中输入单个Python语句，并立即查看结果，而不需要编写整个程...
- Python设计模式 第 8 章 装饰器模式(Decorator Pattern)
-
在结构型模式中，装饰器模式是实现“动态功能扩展”的核心模式。它就像“手机壳与手机的关系”——手机（原始对象）具备通话、上网等基础功能，手机壳（装饰器）可在不改变手机本身的前提下，为其新增保护、...
- python设计模式 综合应用与实战指南
-
经过前面16章的学习，我们已系统掌握创建型模式（单例、工厂、建造者、原型）、结构型模式（适配器、桥接、组合、装饰器、外观、享元、代理）、行为型模式（责任链、命令、迭代器、中介者、观察者、状态、策略...
- Python入门学习教程:第 16 章 图形用户界面(GUI)编程
-
16.1什么是GUI编程？图形用户界面（GraphicalUserInterface，简称GUI）是指通过窗口、按钮、菜单、文本框等可视化元素与用户交互的界面。与命令行界面（CLI）相比，...
- Python 中 必须掌握的 20 个核心:str()
-
str()是Python中用于将对象转换为字符串表示的核心函数，它在字符串处理、输出格式化和对象序列化中扮演着关键角色。本文将全面解析str()函数的用法和特性。1.str()函数的基本用法1.1...
- Python偏函数实战:用functools.partial减少50%重复代码的技巧
-
你是不是经常遇到这样的场景：写代码时同一个函数调用了几十次，每次都要重复传递相同的参数？比如处理文件时总要用encoding='utf-8'，调用API时固定传Content-Type...
- 第2节.变量和数据类型【第29课-输出总结】
-
同学们，关于输出的知识点讲解完成之后，把重点性的知识点做一个总结回顾。·首先对于输出这一章节讲解的比如有格式化符号，格式化符号这里需要同学们额外去多留意的是不是百分号s格式化输出字符串。当然课上也说百...
- AI最火语言python之json操作_python json.loads()
-
JSON（JavaScriptObjectNotation，JavaScript对象表示法）是一种开放标准的文件格式和数据交换格式，它易于人阅读和编写。JSON是一种常用的数据格式，比如对接各种第...
- python中必须掌握的20个核心函数—split()详解
-
split()是Python字符串对象的方法，用于将字符串按照指定的分隔符拆分成列表。它是文本处理中最常用的函数之一。一、split()的基本用法1.1基本语法str.split(sep=None,...
- 实用方法分享:pdf文件分割方法 横向A3分割成纵向A4
-
今天在街上打印店给儿子打印试卷时，我在想：能不能，把它分割成A4在家中打印，这样就不需要跑到街上的打印店打印卷子了。原来，老师发的作业，是电子稿，pdf文件，A3格式的试卷。可是家中的打印机只能打印A...
- 20道常考Python面试题大总结_20道常考python面试题大总结免费
-
20道常考Python面试题大总结关于Python的面试经验一般来说，面试官会根据求职者在简历中填写的技术及相关细节来出面试题。一位拿了大厂技术岗SpecialOffer的网友分享了他总结的面试经...
- Kotlin Data Classes 快速上手_kotlin快速入门
-
引言在日常开发中，我们常常需要创建一些只用来保存数据的类。问题是，这样的类往往需要写一堆模板化的方法：equals()、hashCode()、toString()……每次都重复，既枯燥又容易出错。//...
- python自动化RobotFramework中Collections字典关键字使用(五)
-
前言介绍安装好robotframework库后，跟之前文章介绍的BuiltIn库一样BuiltIn库使用介绍，在“python安装目录\Lib\site-packages\robot\librarie...
- Python中numpy数据分析库知识点总结
-
Python中numpy数据分析库知识点总结二、对已读取数据的处理②指定一个值，并对该值双边进行修改③指定两个值，并对第一个值的左侧和第二个值的右侧进行修改2.4数组的拼接和行列交换①竖直拼接（np...
欢迎 你 发表评论:
- 一周热门
- 最近发表
-
- Python设计模式 第 13 章 中介者模式(Mediator Pattern)
- 1.3.1 python交互式模式的特点和用法
- Python设计模式 第 8 章 装饰器模式(Decorator Pattern)
- python设计模式 综合应用与实战指南
- Python入门学习教程:第 16 章 图形用户界面(GUI)编程
- Python 中 必须掌握的 20 个核心:str()
- Python偏函数实战:用functools.partial减少50%重复代码的技巧
- 第2节.变量和数据类型【第29课-输出总结】
- AI最火语言python之json操作_python json.loads()
- python中必须掌握的20个核心函数—split()详解
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (77)
- python封装 (57)
- python写入txt (66)
- python读取文件夹下所有文件 (59)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)