正则表达式是处理字符串的强大工具，它有自己特定的语法结构， 有了它， 实现字符串的检索、替换、匹配验证都不在话下。

当然， 对于爬虫来说， 有了它， 从HTML里面提取想要的信息就非常方便了 。

1、基本字符介绍

2、数量词

举例：

(1) a | b       
		如abc|def，匹配abc或者def
(2) (...)      
		作为分组, 表达式为(\d{4})-(\d{2})-(\d{2})，则用于匹配2017-06-03，然后用分组编号1、2、3分别获取年、月、日三个值
(3) (?P<name>...) 和 (?P=name)
		如表达式为(?P<Year>\d{4})(?P=Year)  则两个括号里面匹配的内容完全相同，为\d{4}
(4) \number  
		(?P<Year>\d{4})\1     \1表示此处和第一个分组匹配的内容完全相同，为\d{4}
(5) (?:...)    
		(?:\d+) | "abc"     表示匹配\d+ 或者"abc" ，但第一个括号不计入分组

3、逻辑分组

举例：

(1) a | b       
		如abc|def，匹配abc或者def
(2) (...)      
		作为分组, 表达式为(\d{4})-(\d{2})-(\d{2})，则用于匹配2017-06-03，然后用分组编号1、2、3分别获取年、月、日三个值
(3) (?P<name>...) 和 (?P=name)
		如表达式为(?P<Year>\d{4})(?P=Year)  则两个括号里面匹配的内容完全相同，为\d{4}
(4) \number  
		(?P<Year>\d{4})\1     \1表示此处和第一个分组匹配的内容完全相同，为\d{4}
(5) (?:...)    
		(?:\d+) | "abc"     表示匹配\d+ 或者"abc" ，但第一个括号不计入分组

4、其他细节

(1) 贪婪与非贪婪

不加?表示贪婪匹配，如"aaa111bbbccc111" ，表达式".+\d+" 会匹配整个字符串；

加？，即".+？\d+"会匹配到"aaa111"

(2) 修饰符

会在下方所讲的函数中使用，

注意：

我们编写的代码都是Unicode字符集，所以\w就会匹配中文汉字，然而我们上面讲的\w匹配字母、数字及下划线。有的人会认为矛盾，其实不矛盾的，中文在Unicode内部表示都是字母或汉字。所以如果我们只想匹配英文字母、不匹配汉字，就需要加上re.A.

5、re模块常用函数

(1) re.match(pattern,string,flags=0)

根据pattern从string的头部开始匹配字符串，只返回第1次匹配成功的对象，否则，返回None。flags就是上面讲的修饰符

r = re.match(r'Python', "Python:Java:C")

r是一个re.Match对象，若要拿到内容需要：

r.group()或r.group(0)

(2) re.search(pattern,string,flags=0)

与match()方法用法相同，唯一的区别是他可以从字符的任意位置开始匹配，一旦符合就返回

re.match(r"Python", "Java:C:Python"). 会返回None，因为该字符串一开始是“Java”

re.search(r"Python", "Java:C:Python"). 匹配成功

(3) re.findall(pattern,string,flags=0)

根据pattern在string中匹配字符串。如果匹配成功，返回包含匹配结果的列表，否则，返回空列表。但是pattern中有分组时，返回包含多个元组的列表，每个元组对应一个分组。

s='Python:Java:C'

re.findall("\w+", s). # 返回 ['Python', 'Java', 'C']

(4) re.split(pattern,string,maxsplit=0)

类似字符串的split()函数，区别是可以根据正则表达式来切分。根据pattern分隔string,maxsplit表示最大分隔数。

s='Python:Java:C'

re.split(r"\w+", s). # 返回 ['Python', 'Java', 'C']

(5) re.sub(pattern,repl,string,count=0)

类似字符串的replace函数。

根据指定的正则表达式，替换字符串中的子串。pattern是一个正则表达式，repl是用于替换的字符串,string是源字符串,如果count为0，则返回string中匹配的所有结果。如果count>0,则返回前count个匹配结果。

s='Python:Java:C'

re.sub(r'\w+', 'php', s) # 返回 “php:php:php”

(6) re.compile(pattern,flags=0)

编译正则表达式pattern,返回一个pattern对象。

之后我们可以用pattern对象调用上方所讲的5种方法。

p = re.compile(r"\w+")

p.findall('Python:Java:C'). # 返回 ['Python', 'Java', 'C']