百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

13《Python 原生爬虫教程》Redis的简单使用和配置

off999 2024-11-04 13:16 16 浏览 0 评论

上一个小节我们简单学习了一下 MongoDB 数据库,这节课我们来学习下另外一个在爬虫开发中经常会用到的数据库,这就是我们大名鼎鼎的键值对数据库–Redis。

Redis 以它超快的读写速度受到爬虫开发程序员的青睐,在正式的爬虫开发中我们经常使用 Redis,比如我们的分布式爬虫通常会基于 Redis 进行设计。这个小节我们会介绍:

  • Redis的基本概念;
  • Redis的安装;
  • Redis的连接;
  • Redis的基本使用。

通过本节课的学习你会掌握

  • Redis基本概念;
  • 可以动手安装配置Redis;
  • 能够操作创建数据库,并且进行简单的增删改查功能。

1. Redis 数据库简介

Redis是高效,快捷的 key-value 型的数据库,一般会被用作缓存或者消息队列。Redis 有多种数据结构,可以应用与不同的场景。

队列

  • 普通队列:使用列表数据结构
  • 延时队列: 使用哈希表来实现
  • 优先级队列: 使用有序集合来实现

缓存

  • 使用字符串和哈希表来实现高速缓存。

去重

  • 使用集合的数据结构进行去重;
  • 利用字符串数据结构,使用步隆过滤器,实现大规模的去重;
  • 使用HyperLogLog数据结构,进行去重。

Redis安装:

首先需要安装并启动Redis的服务器,具体的不同系统的安装步骤,可参考慕课网关于 Redis 的学习资料进行操作,这里就不再赘述。

启动 Redis 服务器需要运行命令:

redis-server

服务启动成功后,会显示 Ready to accept connections。 效果展示:

测试一下客户端能否使用

redis-cli ping

成功后,如下所示:

2. Redis基本使用:

首先需要安装并启动 Redis 的服务器,具体的不同系统的安装步骤,可参考慕课网关于Redis的学习资料进行操作,这里就不再赘述。

2.1 字符串的增删改查

我们字符串进行增删改查,效果如下:

2-2 List的增删改查

我们对List进行增删改查,效果如下:

2-3 Hash的增删改查

我们对Hash进行增删改查,效果如下:

3. 使用 python 操作 Redis

启动 Redis 服务器后,我们还需要安装 python 的 Redis 第三方包才能通过 python 来操作 Redis 数据库。Python 用来操作 Redis 数据库的第三包就叫做 redis,我们直接通过 pip 来安装:

pip install Redis

成功安装了 python 的 redis 包之后,效果展示:

接下来,连接数据库:

>>> import redis
>>> r = redis.Redis()

然后就可以直接进行操作

3.1 字符串的增删改查:

通过python,对字符串进行增删改查

  • set 设置字符串
  • delete 删除字符串

例子如下:

3.2 Hash类型的增删改查

通过 python, 对 Hash 进行增删改查

  • hset增加数据
  • hdel更改数据
  • lgetall查询数据

例子如下:

3.3 List类型的增删改查

通过python,对 List 进行增删改查

  • lpush增加数据
  • lset更改数据
  • lrem删除数据

例子如下:

4. 小结

Redis是一个基于内存的key-value数据库,支持的数据类型有string, lists, hash, sets等,我们这里讲述了字符串,列表和哈希的增删改查。

相关推荐

「Python条件结构」if…else实现判断奇偶数

功能要求用户从键盘上输入一个整数,判断该数是奇数还是偶数。说明:能被2整除的整数叫偶数,不能被2整除的叫奇数;即该数除以2后余数为0时该数为偶数,否则该数为奇数。求余数运算符为“%”。实例代码num...

Python if else条件语句详解

前面我们看到的代码都是顺序执行的,也就是先执行第1条语句,然后是第2条、第3条……一直到最后一条语句,这称为顺序结构。但是对于很多情况,顺序结构的代码是远远不够的,比如一个程序限制了只能成年人使用,儿...

python基础篇: python中的流程控制,你都了解吗?

在之前的文章中大致的介绍过python中的流程控制语句,今天通过一些案例来详细了解一下python中的流程语句。目前python中流程控制语句,包含如下,如有遗漏欢迎留言补充。在python中条件判断...

python中if语句

if语句用来判断,当不同的条件成立去做与之对应事情;格式如下:if条件:执行代码条件为True才会去做执行代码布尔类型(bool)说到布尔类型,就像开关只有两个值一样,布尔类型的值只有两个...

python中的循环语句到底难不难

好多初学者会有一种这样的心里:循环难不难?该怎么学习?下面来给大家分析下.Python中的循环语句并不难,但需要理解其核心逻辑和应用场景。以下是针对零基础学习者的清晰解析,通过对比、示例和常见误...

Python6大基础运算符,看完这篇之后会让你有一个彻底认识

昨天我们准备好了Python程序所需要的的东西,那么今天我们开始了解Python的各种基础运算符,这些要是不熟悉下来你后面的路也会走的很艰难Python支持基础运算符,常见的算术运算符有+、-、*、/...

Python基础:条件语句和循环语句

下面会详细讲解一下Python关于条件语句和循环语句,会包含一些示例代码。我们首先来介绍条件语句(if-else),然后再讨论循环语句(for和while循环)。条件语句(if-else)在Pytho...

Python合集之Python循环语句(一)

在上一节的合集中,我们了解了Python流程控制语句中if语句的嵌套及条件表达会的相关知识,本节我们将进一步了解一下Python循环语句中的while语句的相关知识。在日常生活中很多问题都无...

Python“三步”即可爬取,毋庸置疑

声明:本实例仅供学习,切忌遵守robots协议,请不要使用多线程等方式频繁访问网站。#第一步导入模块importreimportrequests#第二步获取你想爬取的网页地址,发送请求,获取网页内...

「Python条件结构」if…else实现三角形判断

功能要求编写程序,判断输入的三个数是否能构成三角形的三个边。如果可以,打印“可以构成三角形”;如果不可以,打印“不可以构成三角形”。构成三角形的条件是:三条边都等于0,且任何2条边的边长之和都大于第三...

Python中检查对象是否具有某个属性的方法

技术背景在Python编程中,经常会遇到需要检查一个对象是否具有某个特定属性的情况。例如,在调用对象的属性之前,需要先确认该属性是否存在,以避免引发AttributeError异常。以下将介绍几种常见...

Python条件语句:从入门到精通

导语条件语句是编程中的基础概念,它允许我们根据不同的条件执行不同的代码块。在Python中,条件语句的灵活性和易读性使其成为编写逻辑判断和流程控制的强大工具。本教程将带您深入了解Python条件语句的...

简单学Python——条件语句if

条件语句是用来判断给定的条件是否满足(表达式值是否为0或False),并根据判断的结果(真或假)决定执行的语句。Python条件语句用的是if或if和else、elif等搭配实现的。代码执行的过程:i...

Python合集之Python跳转语句(一)

在上一节的合集中,我们了解了Python循环嵌套语句的相关知识,本节我们将进一步了解一下Python跳转语句中的break的相关知识。当循环条件一直满足时,程序会一直执行下去,如果希望在中间离开循环...

新手学Python避坑,学习效率狂飙! 八、Python 布尔值判断

布尔值判断系统知识在Python里,布尔类型仅有两个值:True和False,它们常被用于条件判断。下面从几个方面展开介绍:1.布尔运算逻辑与(and):只有当两个操作数都为True时,...

取消回复欢迎 发表评论: