百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

13《Python 原生爬虫教程》Redis的简单使用和配置

off999 2024-11-04 13:16 23 浏览 0 评论

上一个小节我们简单学习了一下 MongoDB 数据库,这节课我们来学习下另外一个在爬虫开发中经常会用到的数据库,这就是我们大名鼎鼎的键值对数据库–Redis。

Redis 以它超快的读写速度受到爬虫开发程序员的青睐,在正式的爬虫开发中我们经常使用 Redis,比如我们的分布式爬虫通常会基于 Redis 进行设计。这个小节我们会介绍:

  • Redis的基本概念;
  • Redis的安装;
  • Redis的连接;
  • Redis的基本使用。

通过本节课的学习你会掌握

  • Redis基本概念;
  • 可以动手安装配置Redis;
  • 能够操作创建数据库,并且进行简单的增删改查功能。

1. Redis 数据库简介

Redis是高效,快捷的 key-value 型的数据库,一般会被用作缓存或者消息队列。Redis 有多种数据结构,可以应用与不同的场景。

队列

  • 普通队列:使用列表数据结构
  • 延时队列: 使用哈希表来实现
  • 优先级队列: 使用有序集合来实现

缓存

  • 使用字符串和哈希表来实现高速缓存。

去重

  • 使用集合的数据结构进行去重;
  • 利用字符串数据结构,使用步隆过滤器,实现大规模的去重;
  • 使用HyperLogLog数据结构,进行去重。

Redis安装:

首先需要安装并启动Redis的服务器,具体的不同系统的安装步骤,可参考慕课网关于 Redis 的学习资料进行操作,这里就不再赘述。

启动 Redis 服务器需要运行命令:

redis-server

服务启动成功后,会显示 Ready to accept connections。 效果展示:

测试一下客户端能否使用

redis-cli ping

成功后,如下所示:

2. Redis基本使用:

首先需要安装并启动 Redis 的服务器,具体的不同系统的安装步骤,可参考慕课网关于Redis的学习资料进行操作,这里就不再赘述。

2.1 字符串的增删改查

我们字符串进行增删改查,效果如下:

2-2 List的增删改查

我们对List进行增删改查,效果如下:

2-3 Hash的增删改查

我们对Hash进行增删改查,效果如下:

3. 使用 python 操作 Redis

启动 Redis 服务器后,我们还需要安装 python 的 Redis 第三方包才能通过 python 来操作 Redis 数据库。Python 用来操作 Redis 数据库的第三包就叫做 redis,我们直接通过 pip 来安装:

pip install Redis

成功安装了 python 的 redis 包之后,效果展示:

接下来,连接数据库:

>>> import redis
>>> r = redis.Redis()

然后就可以直接进行操作

3.1 字符串的增删改查:

通过python,对字符串进行增删改查

  • set 设置字符串
  • delete 删除字符串

例子如下:

3.2 Hash类型的增删改查

通过 python, 对 Hash 进行增删改查

  • hset增加数据
  • hdel更改数据
  • lgetall查询数据

例子如下:

3.3 List类型的增删改查

通过python,对 List 进行增删改查

  • lpush增加数据
  • lset更改数据
  • lrem删除数据

例子如下:

4. 小结

Redis是一个基于内存的key-value数据库,支持的数据类型有string, lists, hash, sets等,我们这里讲述了字符串,列表和哈希的增删改查。

相关推荐

python import 出现 ModuleNotFoundError 解决方法

错误的原因是你的Python环境没有正确安装库文件。本文以Scapy为例,给出详细方案:1.确认是否成功安装Scapy运行以下命令检查Scapy是否已安装:pip3list|gre...

Github 7.4k star,一个强大的 Python 库-sh!

大家好,今天为大家分享一个强大的Python库-sh。Github地址:https://github.com/amoffat/shsh库是Python生态系统中一个专门用于执行系统命令的第三方...

学习编程第148天 python编程循环的嵌套使用

今天学习的是刘金玉老师零基础Python教程第32期,主要内容是python编程循环的嵌套使用。(一)一维数组及输出#一维数组list1=["110001","四川二流子...

2025-07-09:使数组元素互不相同所需的最少操作次数。用go语言,

2025-07-09:使数组元素互不相同所需的最少操作次数。用go语言,给定一个整数数组nums和一个整数k,对于数组中的每个元素,你最多可以对其进行一次操作:将一个在区间[-k,k]内的...

python数据分析numpy基础之max求数组最大值

1python数据分析numpy基础之max求数组最大值python的numpy库的max()函数,用于计算沿指定轴(一个轴或多个轴)的最大值。用法numpy.max(a,axis=None,...

加快Python算法的四个方法(四)Dask

CDA数据分析师出品相信大家在做一些算法经常会被庞大的数据量所造成的超多计算量需要的时间而折磨的痛苦不已,接下来我们围绕四个方法来帮助大家加快一下Python的计算时间,减少大家在算法上的等待时间。...

六十六、Leetcode数组系列(中篇)(leetcode679)

@Author:Runsen@Date:2020/6/8人生最重要的不是所站的位置,而是内心所朝的方向。只要我在每篇博文中写得自己体会,修炼身心;在每天的不断重复学习中,耐住寂寞,练就真功,不畏艰难...

Numpy中的ndarray是什么?('numpy.ndarray' object has no attribute 'append')

1.创建ndarray创建数组最简单的办法就是使用array函数。它接受一切序列型的对象(包括其他数组),然后产生一个新的含有传入数据的Numpy数组。np.array会尝试为新建的这个数组推断出一个...

Python中的数据导入与查询(python怎样导入数据库)

适用场景:快速导入文本/Excel数据→Pandas读取大型数值数据→Numpy处理复杂二进制文件→h5py/scipy.io数据库交互→SQLAlchemy+Pandas一、数据...

2025-07-02:统计数组中的美丽分割。用go语言,给定一个整数数组

2025-07-02:统计数组中的美丽分割。用go语言,给定一个整数数组nums,我们要把它划分成三个连续且非空的子数组nums1、nums2、nums3,且这三个子数组按顺序拼接后还原为原数组...

2025-07-10:字符相同的最短子字符串Ⅰ。用go语言,给定一个长度

2025-07-10:字符相同的最短子字符串Ⅰ。用go语言,给定一个长度为n的二进制字符串s和一个允许执行的最大操作次数numOps。每次操作可以选择字符串中的任意一个位置i(0≤i...

2025-06-19:识别数组中的最大异常值。用go语言,你有一个长度为

2025-06-19:识别数组中的最大异常值。用go语言,你有一个长度为n的整数数组nums,其中恰好有n-2个元素属于“特殊数字”类别。剩下的两个元素中,一个等于所有这些特殊数字的总和,另...

2025-06-28:长度可被 K 整除的子数组的最大元素和。用go语言,给

2025-06-28:长度可被K整除的子数组的最大元素和。用go语言,给定一个整数数组nums和一个整数k,求nums中长度为k的倍数的非空子数组中,子数组和的最大值。返回该最大和...

在 Python 中如何向一个已排序的数组(列表) 中插入一个数呢

在Python中如何向一个已排序的数组(列表)中插入一个数呢?方法有很多种,关键在于原来数组是什么样的排序,用到啥排序方法效率高,就用哪种。我们来练习其中的几种插入方法,另外也掌握下遍历数组的...

2025-07-04:统计符合条件长度为 3 的子数组数目。用go语言,给定

2025-07-04:统计符合条件长度为3的子数组数目。用go语言,给定一个整数数组nums,请你计算有多少个长度恰好为3的连续子数组满足这样的条件:子数组的第一个元素与第三个元素的和,正好...

取消回复欢迎 发表评论: