数据挖掘工作所需技能—正则表达式

由于这两天所做的项目涉及到了文本分析的内容，并在处理脏乱文本(就是做一个词云图，要把英文、一些标点符号之类的给清除掉)时使用了正则表达式，所以特别来总结下。在以后的一段日子里，我会尽量总结在每周工作中遇到的知识点，一是为了让还在转行路上的朋友了解下实际的工作涉及的内容，二是为了巩固自己学习到的知识。

正则表达式

正则表达式（regular expression），简单的理解为是由一些字符和特殊符号组成的字符串，并且能够按照某种模式匹配一系列有相似特征的字符串。

使用择一匹配符号匹配多个正则表达式模式

• 择一匹配的管道符号（|），表示一个“从多个模式中选择其一”

择一匹配

匹配任意单个字符

• 点号或者句点(.)符号匹配除了换行符\n以外的任何字符。

• 要显示匹配一个句点符号本身，必须使用反斜线转移句点符号的功能，例如"\."

匹配任意单个字符

创建字符集

• 方括号[ ] 表达式能够匹配一对方括号中包含的任何字符

创建字符集

限定范围和否定

• 方括号中两个符号中间用连字符(-)连接，用于指定一个字符的范围；
• 如果脱字符(^)紧跟在左括号后面，这个符号就表示不匹配给定字符集中的任何一个

限定范围和否定

使用闭包操作符实现现存在性和频数匹配

• *匹配其左边的正则表达式出现零次或者多次
• + 匹配其左边的正则表达式出现一次或者多次
  例如‘hel+0’,它匹配出来的结果大概是“hellllo”
• ? 匹配其左边的正则表达式出现一次或者零次
• 大括号{ } 里面是单个值或者是一对逗号分隔的值
  "hel{3}o",匹配出来的结果为“helllo”,就是说匹配来的l是三次
  "hel{3-6}o"表示匹配出来的结果中，l出现的次数是3次、4次、5次、6次。

表示字符集的特殊字符

• \d 匹配任何十进制数字[0-9]
• \w 匹配任何字母和数字的字符集[a-zA-Z0-9]
• \s 表示空格字符
• 大写表示反面

特殊字符

PYTHON正则表达式：re(模块)

re模块

实战练习

• 匹配邮箱
  

  练习1

• search match findall 的区别

  练习2

• 替换字符串中的匹配项
  

  练习3

• 创建字符集
  

  练习4

参考资料：
1.Python中正则表达式的详细教程
2.知乎卡牌大师文本处理课程