百度360必应搜狗淘宝本站头条
python类型转换python计时python异常python进度条python吧
当前位置：网站首页 > 技术资源 > 正文

Python3爬虫基础:正则表达式爬取猫眼信息写入txt,csv

off999 2024-10-04 00:20 21 浏览 0 评论

前言

正则表达式是对字符串的一种逻辑公式，用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则的字符串”，此字符串用来表示对字符串的一种“过滤”逻辑。正在在很多开发语言中都存在，而非python独有。对其知识点进行总结后，会写一个demo。

有需要Python学习资料的小伙伴吗?小编整理【一套Python资料、源码和PDF】，感兴趣者可以关注小编后私信学习资料（是关注后私信哦）反正闲着也是闲着呢，不如学点东西啦

1.正则表达式

python是自1.5开始引进re模块进行处理正则的。我先把正则的匹配规则总结一下，再总结re模块相应的方法。

1.1匹配规则

对于一个特殊字符在正则表达式中是不能正常识别的，如果接触过其他语言我们就这到有一个叫做转移字符的东西的存在，在特殊字符前加用反斜杠接口。比如\n换行\\为反斜杠，在这不再累述。下面来介绍一下re这个模块。

1.2.re模块

此模块主要方法如下

re.match()#尝试从字符串的起始位置匹配一个模式(pattern)，如果不是起始位置匹配成功的话，match()就返回None
re.search()#函数会在字符串内查找模式匹配,只要找到第一个匹配然后返回，如果字符串没有匹配，则返回None。
re.findall()#遍历匹配，可以获取字符串中所有匹配的字符串，返回一个列表。
re.compile()#编译正则表达式模式，返回一个对象的模式。（可以把那些常用的正则表达式编译成正则表达式对象，这样可以提高一点效率。）
re.sub()#使用re替换string中每一个匹配的子串后返回替换后的字符串。
re.subn()#返回替换次数
re.split()#按照能够匹配的子串将string分割后返回列表。

1.2.1.re.match()

方法： re.match(pattern, string, flags=0) # pattern:正则表达式(或者正则表达式对象)string:要匹配的字符串flags:修饰符

先看一个最简单的用法

import re
content ='Hello 123 4567 wangyanling REDome'
print(len(content))
result = re.match('^Hello\s\d\d\d\s\d{4}\s\w{10}.*Dome
, content) print(result) print(result.group()) print(result.span())

结果：

匹配规则就不在累述，以上需要注意的是

(1) .group() 表示的是返回正则匹配的结果

(2) .span() 表示返回正则匹配的范围

使用：

以上我们已经知道re.matcha()的具体方法，那么接下我来看一下具体使用，对此我们要理解以下几种匹配的感念。

1.泛匹配（.*）：匹配所有字符

import re
content ='Hello 123 4567 wangyanling REDome'
result = re.match('^Hello.*Dome
, content) print(result) print(result.group()) print(result.span())

它的结果是和上面的输出结果完全一样的。

2.目标匹配（（））：将需要的字符匹配出来

import re
content ='Hello 123 4567 wangyanling REDome'
result = re.match('^Hello\s\d\d(\d)\s\d{4}\s\w{10}.*Dome
, content) print(result) print(result.group(1)) import re content ='Hello 123 4567 wangyanling REDome' result = re.match('^Hello\s(\d+)\s\d{4}\s\w{10}.*Dome
, content) print(result) print(result.group(1))

结果

以上可以看出：

(1) （） 匹配括号内的表达式，也表示一个组

(2) + 匹配1个或多个的表达式

*匹配0个或多个的表达式

(3) .group(1) —输出第一个带有（）的目标

3.贪婪匹配(.*())：匹配尽可能少的的结果

import re
content ='Hello 123 4567 wangyanling REDome'
result = re.match('^H.*(\d+).*Dome
, content) print(result) print(result.group(1))

结果

4.贪婪匹配（.*?()）：匹配尽可能多的结果

import re
content ='Hello 123 4567 wangyanling REDome'
result = re.match('^H.*?(\d+).*?Dome
, content) print(result) print(result.group(1))

结果

以上3,4两个匹配方式请尽量采用非贪婪匹配

5.其他

换行：

import re
content ='''Hello 123 4567 
 wangyanling REDome'''
result = re.match('^H.*?(\d+).*?Dome
, content,re.S)#re.S print(result.group(1)) result = re.match('^H.*?(\d+).*?Dome, content) print(result.group(1))

结果：

转义字符：

import re
content = 'price is $5.00'
result = re.match('price is $5.00', content)
print(result)
result = re.match('price is \$5\.00', content)
print(result)

结果：

其中re.I使匹配对大小不敏感,re.S匹配包括换行符在内的所有字符,\进行处理转义字符。匹配规则中有详细介绍。

1.2.2.re.search()

方法：

re.search(pattern, string, flags=0)#pattern:正则表达式(或者正则表达式对象)string:要匹配的字符串flags:修饰符
 #re.match()和re.search()用法类似唯一的区别在于re.match()从字符串头开始匹配,若头匹配不成功,则返回None

对比一下与match()

import re
content ='Hello 123 4567 wangyanling REDome'
result = re.match('(\d+)\s\d{4}\s\w{10}.*Dome, content)
print(result)#从开头开始查找，不能匹配返回None
result = re.search('(\d+)\s\d{4}\s\w{10}.*Dome, content)
print(result)
print(result.group())

结果：

可以看出两个使用基本一致，search从头开始匹配，如果匹配不到就返回none.

1.2.3.re.findall()

方法： re.finditer(pattern, string, flags=0) # pattern:正则表达式(或者正则表达式对象)string:要匹配的字符串flags:修饰符

与re.search()类似区别在于re.findall()搜索string，返回一个顺序访问每一个匹配结果（Match对象）的迭代器。找到 RE 匹配的所有子串，并把它们作为一个迭代器返回。

import re
html = '''
 <div>
 <li><a href="" singer="鲁迅">呐喊</a></li>
 <li><a href="#" singer="贾平凹">废都</a></li>
 <li class="active"><a href="#" singer="路遥">平凡世界</a></li>
 <span class="rightSpan">谢谢支持</span>
 </div>
'''
regex_4='<a.*?>(.*?)</a>'
results=re.findall(regex_4,html,re.S)
print(results)
for result in results:
 print(result)

结果：

1.2.4.re.compile()

编译正则表达式模式，返回一个对象的模式。

方法： re.compile(pattern,flags=0) # pattern:正则表达式(或者正则表达式对象);flags:修饰符

看一个demo

import re
content ='Hello 123 4567 wangyanling REDome wangyanling 那小子很帅'
rr = re.compile(r'\w*wang\w*')
result =rr.findall(content)
print(result)

结果：

我们可以看出compile 我们可以把它理解为封装了一个公用的正则，类似于方法，然后功用。

1.2.5.其他

re.sub 替换字符

方法： re.sub(pattern, repl, string, count=0, flags=0) # pattern:正则表达式(或者正则表达式对象)repl:替换的字符串string:要匹配的字符串count:要替换的个数flags:修饰符

re.subn 替换次数

方法： re.subn(pattern, repl, string, count=0, flags=0) # pattern:正则表达式(或者正则表达式对象)repl:替换的字符串string:要匹配的字符串count:要替换的个数flags:修饰符

re.split()分隔字符

方法

re.split(pattern, string，[maxsplit])#正则表达式（或者正则表达式对象）string:要匹配的字符串；maxsplit：用于指定最大分割次数，不指定将全部分割

2.案例：爬取猫眼信息，写入txt,csv,下载图片

2.1.获取单页面信息

def get_one_page(html):
 pattern= re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime'
 + '.*?>(.*?)</p>.*?score.*?integer">(.*?)</i>.*?>(.*?)</i>.*?</dd>',re.S)#这里就用到了我们上述提到的一些知识点，非贪婪匹配，对象匹配，修饰符
 items = re.findall(pattern,html)
 for item in items:
 yield {
 'rank' :item[0],
 'img': item[1],
 'title':item[2],
 'actor':item[3].strip()[3:] if len(item[3])>3 else '', 
 'time' :item[4].strip()[5:] if len(item[4])>5 else '',
 'score':item[5] + item[6]
 }

对于上面的信息我们可以看出是存到一个对象中那么接下来我们应该把它们存到文件当中去。

2.2.保存文件

我写了两种方式保存到txt和csv这些在python都有涉及，不懂得可以去翻看一下。

2.2.1.保存到txt

def write_txtfile(content):
 with open("Maoyan.txt",'a',encoding='utf-8') as f:
 #要引入json,利用json.dumps()方法将字典序列化,存入中文要把ensure_ascii编码方式关掉
 f.write(json.dumps(content,ensure_ascii=False) + "\n")
 f.close()

结果：


以上看到并非按顺序排列因为我用的是多线程。

2.2.2.保存到csv

def write_csvRows(content,fieldnames):
 '''写入csv文件内容'''
 with open("Maoyao.csv",'a',encoding='gb18030',newline='') as f:
 #将字段名传给Dictwriter来初始化一个字典写入对象
 writer = csv.DictWriter(f,fieldnames=fieldnames)
 #调用writeheader方法写入字段名
 writer.writerows(content)
 f.close()

结果：

那么还有一部就是我们要把图片下载下来。

2.2.3.下载图片

def download_img(title,url):
 r=requests.get(url)
 with open(title+".jpg",'wb') as f:
 f.write(r.content)

2.3.整体代码

这里面又到了多线程在这不在叙述后面会有相关介绍。这个demo仅做一案例，主要是对正则能有个认知。上面写的知识点有不足的地方望大家多多指教。

#抓取猫眼电影TOP100榜
from multiprocessing import Pool
from requests.exceptions import RequestException
import requests
import json
import time
import csv
import re
def get_one_page(url):
 '''获取单页源码'''
 try:
 headers = {
 "User-Agent":"Mozilla/5.0(WindowsNT6.3;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/68.0.3440.106Safari/537.36"
 }
 res = requests.get(url, headers=headers)
 # 判断响应是否成功,若成功打印响应内容,否则返回None
 if res.status_code == 200:
 return res.text
 return None
 except RequestException:
 return None
def parse_one_page(html):
 '''解析单页源码'''
 pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime'
 + '.*?>(.*?)</p>.*?score.*?integer">(.*?)</i>.*?>(.*?)</i>.*?</dd>',re.S)
 items = re.findall(pattern,html)
 #采用遍历的方式提取信息
 for item in items:
 yield {
 'rank' :item[0],
 'img': item[1],
 'title':item[2],
 'actor':item[3].strip()[3:] if len(item[3])>3 else '', #判断是否大于3个字符
 'time' :item[4].strip()[5:] if len(item[4])>5 else '',
 'score':item[5] + item[6]
 }
def write_txtfile(content):
 with open("Maoyan.txt",'a',encoding='utf-8') as f:
 #要引入json,利用json.dumps()方法将字典序列化,存入中文要把ensure_ascii编码方式关掉
 f.write(json.dumps(content,ensure_ascii=False) + "\n")
 f.close()
def write_csvRows(content,fieldnames):
 '''写入csv文件内容'''
 with open("Maoyao.csv",'a',encoding='gb18030',newline='') as f:
 #将字段名传给Dictwriter来初始化一个字典写入对象
 writer = csv.DictWriter(f,fieldnames=fieldnames)
 #调用writeheader方法写入字段名
 #writer.writeheader() ###这里写入字段的话会造成在抓取多个时重复.
 writer.writerows(content)
 f.close()
def download_img(title,url):
 r=requests.get(url)
 with open(title+".jpg",'wb') as f:
 f.write(r.content)
def main(offset):
 fieldnames = ["rank","img", "title", "actor", "time", "score"]
 url = "http://maoyan.com/board/4?offset={0}".format(offset)
 html = get_one_page(url)
 rows = []
 for item in parse_one_page(html):
 #download_img(item['rank']+item['title'],item['img'])
 write_txtfile(item)
 rows.append(item)
 write_csvRows(rows,fieldnames)
if __name__ == '__main__':
 pool = Pool()
 #map方法会把每个元素当做函数的参数,创建一个个进程,在进程池中运行.
 pool.map(main,[i*10 for i in range(10)])

有需要Python学习资料的小伙伴吗?小编整理【一套Python资料、源码和PDF】，感兴趣者可以关注小编后私信学习资料（是关注后私信哦）反正闲着也是闲着呢，不如学点东西啦

相关推荐

python入门到脱坑经典案例—清空列表

在Python中，清空列表是一个基础但重要的操作。clear()方法是最直接的方式，但还有其他方法也可以实现相同效果。以下是详细说明：1.使用clear()方法（Python3.3+推荐）...

python中元组，列表，字典，集合删除项目方式的归纳

九三，君子终日乾乾，夕惕若，厉无咎。在使用python过程中会经常遇到这四种集合数据类型，今天就对这四种集合数据类型中删除项目的操作做个总结性的归纳。列表（List）是一种有序和可更改的集合。允许重复...

Linux 下海量文件删除方法效率对比，最慢的竟然是 rm

Linux下海量文件删除方法效率对比，本次参赛选手一共6位，分别是：rm、find、findwithdelete、rsync、Python、Perl.首先建立50万个文件$testfor...

数据结构与算法——链式存储(链表)的插入及删除，

持续分享嵌入式技术，操作系统，算法，c语言/python等，欢迎小友关注支持上篇文章我们讲述了链表的基本概念及一些查找遍历的方法，本篇我们主要将一下链表的插入删除操作，以及采用堆栈方式如何创建链表。链...

Python自动化:openpyxl写入数据，插入删除行列等基础操作

importopenpyxlwb=openpyxl.load_workbook("example1.xlsx")sh=wb['Sheet1']写入数据#...

在Linux下软件的安装与卸载（linux里的程序的安装与卸载命令）

通过apt安装/协助软件apt是AdvancedPackagingTool，是Linux下的一款安装包管理工具可以在终端中方便的安装/卸载/更新软件包命令使用格式：安装软件：sudoapt...

Python 批量卸载关联包 pip-autoremove

pip工具在安装扩展包的时候会自动安装依赖的关联包，但是卸载时只删除单个包，无法卸载关联的包。pip-autoremove就是为了解决卸载关联包的问题。安装方法通过下面的命令安装：pipinsta...

用Python在Word文档中插入和删除文本框

在当今自动化办公需求日益增长的背景下，通过编程手段动态管理Word文档中的文本框元素已成为提升工作效率的关键技术路径。文本框作为文档排版中灵活的内容容器，既能承载多模态信息（如文字、图像），又可实现独...

Python 从列表中删除值的多种实用方法详解

#Python从列表中删除值的多种实用方法详解在Python编程中，列表（List）是一种常用的数据结构，具有动态可变的特性。当我们需要从列表中删除元素时，根据不同的场景（如按值删除、按索引删除、...

Python 中的前缀删除操作全指南（python删除前导0）

1.字符串前缀删除1.1使用内置方法Python提供了几种内置方法来处理字符串前缀的删除：#1.使用removeprefix()方法(Python3.9+)text="...

每天学点Python知识:如何删除空白

在Python中，删除空白可以分为几种不同的情况，常见的是针对字符串或列表中空白字符的处理。一、删除字符串中的空白1.删除字符串两端的空白（空格、\t、\n等）使用.strip()方法：s...

Linux系统自带Python2&amp;yum的卸载及重装

写在前面事情的起因是我昨天在测试Linux安装Python3的shell脚本时，需要卸载Python3重新安装一遍。但是通过如下命令卸载python3时，少写了个3，不小心将系统自带的python2也...

如何使用Python将多个excel文件数据快速汇总?

在数据分析和处理的过程中，Excel文件是我们经常会遇到的数据格式之一。本文将通过一个具体的示例，展示如何使用Python和Pandas库来读取、合并和处理多个Excel文件的数据，并最终生成一个包含...

【第三弹】用Python实现Excel的vlookup功能

今天继续用pandas实现Excel的vlookup功能，假设我们的2个表长成这样：我们希望把Sheet2的部门匹在Sheet1的最后一列。话不多说，先上代码：importpandasaspd...

python中pandas读取excel单列及连续多列数据

案例：想获取test.xls中C列、H列以后（当H列后列数未知时）的所有数据。importpandasaspdfile_name=r'D:\test.xls'#表格绝对...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表
Copyright Your WebSite.Some Rights Reserved.