先说结论正则表达式不是什么高深莫测的“魔法”它本质上就是一套描述字符串模式的规则语言。你在Python里做字符串处理时那些写起来又臭又长的循环判断、切片拼接遇到正则基本都能几行代码搞定。说它是“作弊码”一点都不夸张——别人写50行逻辑你用5行模式串就完事了。有很多同学一看到^[\u4e00-\u9fa5]这种东西就头大觉得像天书。其实拆开看每个符号都有明确的含义跟背单词一样记住常用那十几个元字符你已经能解决80%的字符串处理需求了。更关键的是正则不是Python专属JavaScript、Java、Go、数据库SQL里都有你花一晚上学的东西换语言照样能用这笔投资性价比极高。这篇内容适合刚入门Python、被字符串处理折磨过、或者听说过正则但一直没下决心学的人。我会从最基础的语法讲起配合可以直接复用的Python代码示例再聊聊我实际开发中踩过的坑和总结的经验。看完不说你成高手但至少遇到提取数据、清洗文本、格式校验这类活儿你能写出比硬循环靠谱得多的代码。1. 正则表达式到底解决什么问题先搞清楚它值不值得学1.1 没有正则的日子你是怎么处理字符串的想想你平时处理字符串的常规操作用split()按分隔符切、用find()找位置、用replace()替换、用startswith()判断开头。这些方法单独用没问题但一旦遇到“从一段日志里提取所有IP地址”、“找出文本里所有形如abc123的编号”、“把手机号中间四位打码”这类需求你就要开始写循环嵌套、写各种条件判断代码长得自己都不想看第二遍。我给你举个例子假设要从一段访问日志里提取所有 IP 地址log 192.168.1.101 - - [12/May/2024:08:30:12] \GET /index.html\ 200 1024 10.0.0.55 - - [12/May/2024:08:31:05] \POST /api\ 201 512不用正则的话你得手动遍历每个字符判断是不是数字、是不是点、是不是分隔符还要考虑IP段的边界。用正则一行import re ips re.findall(r\d\.\d\.\d\.\d, log)完事。这就是“作弊”的感觉。正则把“模式描述”和“字符串查找”这两件事彻底解耦了你只需要告诉它“长什么样的字符串你感兴趣”剩下的匹配逻辑它全包了。1.2 正则的典型应用场景其实你天天都在用正则表达式不是什么冷门技巧它藏在各种日常工具背后。你手机上收到的验证码短信系统会用正则判断你是否输入了正确的格式你在网页表单里填手机号前端JS用正则做合法性校验你在Excel里做数据清洗通配符查找本质也是简化版的正则思想。具体到Python开发正则主要有四个用武之地数据提取从网页HTML、日志文件、配置文件、API响应里捞取关键信息文本清洗去掉标点、HTML标签、多余空格、特殊字符统一数据格式格式校验手机号、身份证、邮箱、URL、日期等格式的合法性验证文本替换关键词打码、敏感词过滤、格式转换这四个方向涵盖了爬虫、数据分析、后端开发、自动化脚本里大概六成以上的字符串处理需求。学正则不是为了炫技就是为了在这些脏活累活上偷懒。所以千万别抱着“我要把正则所有语法背下来”的心态那是给自己上刑正确策略是先掌握核心语法然后边用边查熟能生巧。2. 正则语法快速入门半小时吃透核心规则2.1 先认识八个最常用的“符号咒语”正则的底层原理说白了就是一个“有限状态机”——它在你要匹配的文本上从头到尾扫描尝试用你定义的模式去匹配每一个位置。你不用管这个机制细节你只需要知道每个符号代表什么。我先把最常用的八个元字符列出来这个表建议收藏是我自己写的简化版符号含义示例匹配结果.匹配任意字符默认不含换行a.cabc、a1c、a-c\d匹配一个数字\d{4}2024\w匹配字母、数字、下划线\wuser_name123\s匹配空白符空格、制表、换行a\sba b^匹配字符串开头^hello仅匹配开头的hello$匹配字符串结尾end$仅匹配结尾的end*前一个字符出现0次或多次ab*cac、abc、abbc前一个字符出现1次或多次abcabc、abbc不匹配ac?前一个字符出现0次或1次ab?cac、abc{n}前一个字符出现恰好n次\d{11}匹配11位数字这十个符号你已经能写出很多实用模式了。比如手机号匹配先不管号段规则最简单的就是1\d{10}含义是以1开头后面跟10个数字。2.2 字符组与排除用中括号圈定范围很多时候你需要匹配的不是单个固定字符而是一个范围内的字符。中括号[]就是干这个的。[abc]匹配a或b或c其中一个[0-9]等价于\d[a-z]匹配所有小写字母[a-zA-Z0-9_]匹配所有字母数字下划线。中括号里加个^就是排除的意思。[^0-9]匹配所有非数字字符[^abc]匹配除了a、b、c以外的任何字符。这个在日常清理数据时特别常用——你要去掉所有非数字字符就可以用re.sub(r[^0-9], , text)一句话把文本里的电话号码、金额等数字信息给你“洗”出来。说个容易懵的地方在正则里^出现在模式开头是锚点匹配字符串开头出现在中括号内部是取反含义完全不同。我刚开始学的时候也经常搞混后来记了个口诀——“在中括号外面是开头在中括号里面是排除。”2.3 分组与捕获把匹配到的内容“捏”出来括号()在正则里不只是用来改变优先级的更重要的作用是分组捕获。什么叫捕获就是我在匹配一大段内容时我只关心其中的某一部分。比如我要匹配一个形如姓名:张三的字符串但我只想提取“张三”两个字import re text 姓名:张三,年龄:25 m re.search(r姓名:(\w), text) print(m.group(1)) # 输出: 张三这里括号把\w包起来匹配成功后括号里的内容会被单独存起来通过group(1)就能取到。如果模式里有多个括号就按左括号出现的顺序编号group(1)、group(2)、group(3)依次取出。group(0)是整个匹配到的完整文本。分组还有一个妙用是复用。\1表示引用第一个分组匹配到的内容本身注意是内容不是表达式。比如你想匹配“ABAB”这种连续重复两次的模式可以用(\w\w)\1。这个在数据校验里偶尔能派上用场比如检测叠字、重复关键词。2.4 贪婪与懒惰最容易出bug的“性格问题”正则的量词*、、{}默认都是贪婪的什么意思就是它会尽可能多地匹配字符。举个经典例子你想匹配HTML标签content b加粗/b和i斜体/i pattern r. # 贪婪你以为匹配出来的是b结果它匹配了从第一个一直到最后一个也就是b加粗/b和i斜体/i因为.会一直吃到没法再吃为止。这完全不是你想要的结果。解决方法是把量词后面加个?变成懒惰匹配r.?它会找到第一个就收手匹配出b然后下一轮匹配开始找i刚好符合预期。在所有涉及“成对符号”的场景里比如HTML标签、括号内容、引号字符串懒惰匹配几乎是必然选择。我写过无数回正则踩得最狠的坑就是这个稍后详细说。2.5 零宽断言Find a position, not content零宽断言是进阶内容但它真的不复杂。一句话解释它是一种不消费字符的“位置”匹配用来限制某个匹配前面或者后面必须是什么。它有四种(?...)正向前瞻右边必须是...(?!...)负向前瞻右边不能是...(?...)正向后顾左边必须是...(?!...)负向后顾左边不能是...举个例子你匹配文本中所有Python但只有后面跟着3或者4的那个才要re.findall(rPython(?[34]), Python2 Python3 Python4) # 结果: [Python, Python]注意捕获结果里不包含那个3和4断言只是条件不会进入结果。在爬虫提取、日志分析里这个技巧特别好用——你要找某个关键词但要确保它处于特定的上下文比如在引号内、不在注释里用断言精确又简洁。3. Python re模块五个必会函数有了它们你就能开工3.1 re.match vs re.search别再搞混了Python的re模块里最容易被新手混淆的就是match和search。我先给结论match只从字符串开头位置尝试匹配search在整个字符串中搜索第一个匹配位置。换句话说match隐含了一个^的效果。import re text 订单号: ABC2024001 print(re.match(r\d, text)) # 不匹配因为开头是订不是数字 print(re.search(r\d, text)) # 匹配到 2024001实际开发中search用得远比match多因为大部分场景我们是“从一段文本里找东西”而不是“检查整段文本开头符不符合规则”。但如果你做的是表单校验比如检查用户输入的字符串是否以特定前缀开头match会更语义化。还有一个fullmatch要求整个字符串完全匹配模式适合格式校验比如校验手机号re.fullmatch(r1\d{10}, phone)——不是完全匹配就返回None逻辑清晰、不会误判。3.2 findall vs finditer提取多个结果的两套方案findall应该是我用得最多的函数了。它返回一个列表把所有匹配到的结果一次性取出来。注意一个细节如果模式里有分组findall返回的是分组捕获的内容而不是整个匹配。没分组就返回整个匹配字符串。text 联系电话: 13800001234, 备用电话: 15900009876 phones re.findall(r1\d{10}, text) # 结果: [13800001234, 15900009876] # 如果有分组只返回组内内容 pairs re.findall(r(\d{3})-(\d{8}), 010-12345678 020-87654321) # 结果: [(010, 12345678), (020, 87654321)]finditer返回一个迭代器产生一个个Match对象。当匹配结果特别多、或者后续需要用到匹配位置等元信息时用finditer更合适。它不会一次性把结果全存进内存在处理超大文本时更友好而且每个Match对象都能拿到group()、span()等信息。如果只是简单提取字符串内容findall足够别过度设计。3.3 sub与subn替换才是真正的“清洗神器”re.sub是字符串替换的终极形态——你不仅能按固定文本替换还能按模式替换。最典型的场景是把匹配到的内容替换成另一种格式或者直接删掉。text 您的验证码是 8848请勿泄露。 masked re.sub(r\d, ****, text) # 结果: 您的验证码是 ****请勿泄露。sub的第二个参数可以是字符串也可以是函数。字符串里可以用\1、\2引用分组捕获的内容。比如把2024-05-12这种日期格式改成2024/05/12date 2024-05-12 new_date re.sub(r(\d{4})-(\d{2})-(\d{2}), r\1/\2/\3, date) print(new_date) # 2024/05/12subn跟sub功能一致区别在于返回一个元组(替换后的字符串, 替换次数)。需要统计替换了多少处时很有用比如检测文本里出现了多少个手机号需要打码。3.4 split比常规split更智能的切割方式字符串自带的split()只能按固定分隔符切而re.split能按“一类模式”切。比如你有一段文本分隔符既有逗号、分号还有空白和换行text apple, banana;orange\npear\tgrape parts re.split(r[,;\s], text) # 结果: [apple, banana, orange, pear, grape]这在处理CSV变种数据、日志字段解析时特别管用。而且如果模式里有捕获分组加括号re.split会顺手把分隔符也保留在结果里。有时候这反而是你要的——比如你想保留句子之间的标点符号用re.split(r([.!?]), sentence)就能把标点跟着每个句子拆出来。3.5 compile批量操作时的性能“外挂”re.compile把正则模式字符串预编译成一个Pattern对象之后反复使用时性能明显优于每次现写现算。内部原理是Python不再重复解析模式文本、不再重复构建匹配引擎直接用编译好的内部结构去扫描。phone_re re.compile(r1\d{10}) # 之后就可以反复使用 phone_re.findall(text1) phone_re.findall(text2) phone_re.sub(***, text3)编不编译的关键区别性能和组织性。如果你在一个脚本里只用一两次正则差别你感知不出来但爬虫里循环处理几千条数据、服务端接口每次请求都做校验编译一次和N次的差距就拉开了。另外compile还支持传flags比如re.IGNORECASE忽略大小写、re.VERBOSE允许模式串里加注释和换行后者能让复杂的正则可读性翻好几倍强烈推荐大项目里用。4. 实战案例从日志清洗到表单校验直接抄作业4.1 从日志文本中提取全部IP和错误码日志分析的活儿我做过不少次这类数据特征最合适正则出场。假设有下面这段Nginx风格日志logs 192.168.1.101 - - [12/May/2024:08:30:12] GET /index.html 200 1024 10.12.5.55 - - [12/May/2024:08:31:05] POST /api/upload 500 512 172.16.0.10 - - [12/May/2024:08:32:17] GET /static/js/app.js 404 128 提取所有IP和对应的状态码import re result re.findall(r(\d\.\d\.\d\.\d).*?(\d{3}), logs, re.S) print(result) # 输出: [(192.168.1.101, 200), (10.12.5.55, 500), (172.16.0.10, 404)]这里用re.S是因为日志行之间有换行我们需要让.能匹配换行符不然.*?跨不了行。输出是一个个(IP, 状态码)的元组加两行代码就能统计错误率、找出哪些IP老产生500这些就是数据分析的前置工作。4.2 文本清洗去掉HTML标签和多余符号爬虫拿到HTML后往往要转成纯文本暴力的办法是re.sub(r[^], , html)。这个模式的核心逻辑匹配以开头、中间不含、以结尾的内容并删除。别看简单它是处理HTML中最不容易误伤的方案——比r.*稳妥得多因为贪婪匹配会一路吞掉很多标签。再比如清洗用户评论里的特殊表情和不规范标点raw 这是一条测试评论......【转发】某人 ~~ 有大量空格 和无意义符号来自某某平台 clean re.sub(r[~。—…·【】], , raw) clean re.sub(r\s{2,}, , clean) print(clean)这套组合拳的关键在于第一轮把各种特殊符号统一替换成空格第二轮把两个以上的连续空格压缩成一个。做数据清洗时的通用思路就是这样——先分类处理再收尾统一比试图写一个大而全的模式要可靠得多。4.3 手机号、邮箱、身份证的格式校验做用户注册、信息登记后端必须做格式校验。正则在这种场景下是绝对的主力phone_pattern r^1[3-9]\d{9}$ email_pattern r^[\w\.\-][\w\-](\.[\w\-])$ id_pattern r^\d{17}[\dXx]$说几个校验里的细节。手机号用^和$固定首尾以免“字段里包含手机号”被误判成“字段是手机号”。邮箱的正则故意没有写得特别严格因为邮箱域名复杂多变写太死反而误杀。身份证末尾可能是数字也可能是X所以最后一位要单独处理。注意全部用re.fullmatch来做整体校验因为它是“整串完全匹配”比match更严格不容易漏掉前后多余字符。校验逻辑建议统一封装成函数比如is_valid_phone(phone)在函数内部return bool(phone_pattern.fullmatch(phone))。这样业务代码看着干净测试也好写。4.4 从杂乱文本中提取URL和日期从评论区、聊天记录、文档里提取URL是另一个高频需求。URL的结构比手机号复杂但基础模式可以这样写url_pattern rhttps?://[\w\-\.](:\d)?(/[\w\-\./?%]*)? text 访问 https://example.com/path/to/page?id1 或 http://test.cn:8080/ urls re.findall(url_pattern, text)这里分段拆解https?://匹配协议[\w\-\.]匹配域名部分(:\d)?是可选端口最后(/...)?是可选路径和参数。写这种复杂正则的经验是把URL拆成“协议域名端口路径”几个逻辑块分别写清楚再加可选标记比一次憋出来的模式串更容易排查问题。日期提取类似常见格式如2024-05-12、2024/05/12、2024.05.12想统一处理可以写re.findall(r\d{4}[-/.]\d{1,2}[-/.]\d{1,2}, text)如果还想把年月日分别提取就加三个括号r(\d{4})[-/.](\d{1,2})[-/.](\d{1,2})拿到的元组能直接用来构建datetime.date对象。5. 常见问题与避坑实录这些坑我替你踩过了5.1 贪婪匹配导致提取结果超出预期这是我在开放问答社区看到频率最高的问题写了.想匹配一个标签结果把后面几十个标签全吞了。原因前面说过量词默认贪婪。遇到成对符号、标签、引号这类内容第一反应就是用懒惰匹配?、*?。如果还不行比如懒惰匹配配合复杂嵌套根本反应不过来那就得考虑用更精细的字符组排除法比如[^]代替.?。我的经验是能用排除法就不依赖懒惰匹配因为前者更符合“我要的是什么”的语义踩坑概率更小。5.2 反斜杠的转义地狱Python里的双重转义问题正则里\d、\w这些本身带反斜杠而Python字符串里反斜杠也有特殊含义。你写\\d时实际字符串内容是\d但更推荐的做法是使用原始字符串r\d直接告诉Python别处理反斜杠转义。这个习惯一定要从第一天就养成否则你会看到\\d和\\\\d这种让人眼前发黑的场面。还有个细节如果你要匹配的文本本身包含反斜杠字符比如Windows路径C:\Users\name那正则里得写r\\Users两个反斜杠才能匹配一个反斜杠。牢记一个原则正则要用原始字符串r...编写里面就按正则规则写Python层面的转义靠r前缀解决别让两层转义绕晕自己。5.3 中文匹配与全角符号Unicode处理的特殊坑默认情况下\w在Python的re模块中只匹配ASCII字母、数字、下划线不匹配汉字。所以想匹配中文别用\w用[\u4e00-\u9fa5]或者干脆用[\u4e00-\u9fff]范围更完整含各种生僻字和扩展区。但如果你加了re.ASCII之外的默认模式\w也不会自动包含中文——很多人在这里翻车匹配了好几次都是空的。实际开发里如果需要“提取汉字”写成[\u4e00-\u9fff]最稳。全角符号如、。跟中文一样不属于\s要处理它们需要单独列字符组。5.4 性能杀手灾难性回溯正则里写过头的嵌套量词比如(a)有可能触发灾难性回溯导致匹配非常慢、甚至卡死。原理就是匹配引擎在失败路径上反复尝试组合组合数量指数级膨胀。我见过一个“貌似有效”的正则在几百KB的日志文本上跑了几十秒都没结束。规避方法尽量别写嵌套量词(a*)*、(a)这种能用字符组排除就少用.复杂场景优先考虑re.compile预编译加上re.VERBOSE模式拆分写方便检查逻辑。实在性能紧张就该考虑用正则的还是用普通字符串方法正则不是万能的简单字符串方法在某些场景下比正则快得多。5.5 分组编号混乱改模式时最容易翻车的坑正则模式一长分组一多\1、\2这种反向引用就容易指错地方尤其是你中途在模式开头插入了一个括号后面所有编号都变了。所以我的习惯是能用捕获分组就真的捕获那些只想用来分组、不想捕获内容的括号用(?:...)非捕获分组。这样编号不会被打乱可读性也更好。拿个实际例子来说明# 不推荐所有括号都参与捕获 re.search(r(\d{4})-(\d{2})-(\d{2}), 2024-05-12) # 推荐用非捕获分组把逻辑隔开 re.search(r(?:\d{4})-(\d{2})-(?:\d{2}), 2024-05-12)非捕获分组(?:...)在需要“整体约束”但又不想捕获的场景特别好用比如(?:ab|c)用来约束一组分支的重复次数。5.6 flags怎么选IGNORECASE、VERBOSE、DOTALL的适用场景re.IGNORECASE适合做不区分大小写的匹配比如匹配HTML标签名时div和DIV都能命中。re.DOTALL让.可以匹配换行符多行文本匹配时非常关键。re.VERBOSE则允许模式串里加空白和注释适合长期维护的项目pattern re.compile(r ^ # 开头 (\d{4}) # 年份 [-/.] # 分隔符 (\d{1,2}) # 月 , re.VERBOSE)说实话VERBOSE是我个人最推荐在工程里启用的flag没有之一。你写出来的复杂正则在三个月后回来看如果没有注释基本是要重新猜一遍的。有了VERBOSE把模式拆成多行加注释可维护性直接上一个档次。结尾一点个人经验我接触正则也有好多年了踩过的坑比看过的教程多得多。如果让我给刚入门的读者几个最诚恳的建议第一是准备好一个顺手的在线调试工具粘贴文本和模式就能看到匹配结果和分组详情比自己在代码里一步步 print 高效太多。第二是先在小样本数据上验证模式确认无误后再拼接进完整代码里不然出错了你根本分不清是数据问题还是正则问题。第三是在项目里养成把正则编译并封装成独立小函数的习惯别让一大串模式裸奔在业务代码里。正则这块内容最妙的地方在于它像一门通用的“迷你语言”。你在Python里花一周啃完的功力换到JavaScript、Java或者数据库查询语句里也八九不离十能用。刚学的时候觉得符号密密麻麻的紧张得很但真的动手处理过几次日志、清洗过几批数据之后你会反过来真香——原来那些需要反复写循环的脏活用正则一行就搞定了。希望这篇文章能帮你少走点弯路在字符串处理这条路上做个快乐的“作弊玩家”。
Python正则表达式从入门到实战：字符串处理与文本清洗的核心技能
先说结论正则表达式不是什么高深莫测的“魔法”它本质上就是一套描述字符串模式的规则语言。你在Python里做字符串处理时那些写起来又臭又长的循环判断、切片拼接遇到正则基本都能几行代码搞定。说它是“作弊码”一点都不夸张——别人写50行逻辑你用5行模式串就完事了。有很多同学一看到^[\u4e00-\u9fa5]这种东西就头大觉得像天书。其实拆开看每个符号都有明确的含义跟背单词一样记住常用那十几个元字符你已经能解决80%的字符串处理需求了。更关键的是正则不是Python专属JavaScript、Java、Go、数据库SQL里都有你花一晚上学的东西换语言照样能用这笔投资性价比极高。这篇内容适合刚入门Python、被字符串处理折磨过、或者听说过正则但一直没下决心学的人。我会从最基础的语法讲起配合可以直接复用的Python代码示例再聊聊我实际开发中踩过的坑和总结的经验。看完不说你成高手但至少遇到提取数据、清洗文本、格式校验这类活儿你能写出比硬循环靠谱得多的代码。1. 正则表达式到底解决什么问题先搞清楚它值不值得学1.1 没有正则的日子你是怎么处理字符串的想想你平时处理字符串的常规操作用split()按分隔符切、用find()找位置、用replace()替换、用startswith()判断开头。这些方法单独用没问题但一旦遇到“从一段日志里提取所有IP地址”、“找出文本里所有形如abc123的编号”、“把手机号中间四位打码”这类需求你就要开始写循环嵌套、写各种条件判断代码长得自己都不想看第二遍。我给你举个例子假设要从一段访问日志里提取所有 IP 地址log 192.168.1.101 - - [12/May/2024:08:30:12] \GET /index.html\ 200 1024 10.0.0.55 - - [12/May/2024:08:31:05] \POST /api\ 201 512不用正则的话你得手动遍历每个字符判断是不是数字、是不是点、是不是分隔符还要考虑IP段的边界。用正则一行import re ips re.findall(r\d\.\d\.\d\.\d, log)完事。这就是“作弊”的感觉。正则把“模式描述”和“字符串查找”这两件事彻底解耦了你只需要告诉它“长什么样的字符串你感兴趣”剩下的匹配逻辑它全包了。1.2 正则的典型应用场景其实你天天都在用正则表达式不是什么冷门技巧它藏在各种日常工具背后。你手机上收到的验证码短信系统会用正则判断你是否输入了正确的格式你在网页表单里填手机号前端JS用正则做合法性校验你在Excel里做数据清洗通配符查找本质也是简化版的正则思想。具体到Python开发正则主要有四个用武之地数据提取从网页HTML、日志文件、配置文件、API响应里捞取关键信息文本清洗去掉标点、HTML标签、多余空格、特殊字符统一数据格式格式校验手机号、身份证、邮箱、URL、日期等格式的合法性验证文本替换关键词打码、敏感词过滤、格式转换这四个方向涵盖了爬虫、数据分析、后端开发、自动化脚本里大概六成以上的字符串处理需求。学正则不是为了炫技就是为了在这些脏活累活上偷懒。所以千万别抱着“我要把正则所有语法背下来”的心态那是给自己上刑正确策略是先掌握核心语法然后边用边查熟能生巧。2. 正则语法快速入门半小时吃透核心规则2.1 先认识八个最常用的“符号咒语”正则的底层原理说白了就是一个“有限状态机”——它在你要匹配的文本上从头到尾扫描尝试用你定义的模式去匹配每一个位置。你不用管这个机制细节你只需要知道每个符号代表什么。我先把最常用的八个元字符列出来这个表建议收藏是我自己写的简化版符号含义示例匹配结果.匹配任意字符默认不含换行a.cabc、a1c、a-c\d匹配一个数字\d{4}2024\w匹配字母、数字、下划线\wuser_name123\s匹配空白符空格、制表、换行a\sba b^匹配字符串开头^hello仅匹配开头的hello$匹配字符串结尾end$仅匹配结尾的end*前一个字符出现0次或多次ab*cac、abc、abbc前一个字符出现1次或多次abcabc、abbc不匹配ac?前一个字符出现0次或1次ab?cac、abc{n}前一个字符出现恰好n次\d{11}匹配11位数字这十个符号你已经能写出很多实用模式了。比如手机号匹配先不管号段规则最简单的就是1\d{10}含义是以1开头后面跟10个数字。2.2 字符组与排除用中括号圈定范围很多时候你需要匹配的不是单个固定字符而是一个范围内的字符。中括号[]就是干这个的。[abc]匹配a或b或c其中一个[0-9]等价于\d[a-z]匹配所有小写字母[a-zA-Z0-9_]匹配所有字母数字下划线。中括号里加个^就是排除的意思。[^0-9]匹配所有非数字字符[^abc]匹配除了a、b、c以外的任何字符。这个在日常清理数据时特别常用——你要去掉所有非数字字符就可以用re.sub(r[^0-9], , text)一句话把文本里的电话号码、金额等数字信息给你“洗”出来。说个容易懵的地方在正则里^出现在模式开头是锚点匹配字符串开头出现在中括号内部是取反含义完全不同。我刚开始学的时候也经常搞混后来记了个口诀——“在中括号外面是开头在中括号里面是排除。”2.3 分组与捕获把匹配到的内容“捏”出来括号()在正则里不只是用来改变优先级的更重要的作用是分组捕获。什么叫捕获就是我在匹配一大段内容时我只关心其中的某一部分。比如我要匹配一个形如姓名:张三的字符串但我只想提取“张三”两个字import re text 姓名:张三,年龄:25 m re.search(r姓名:(\w), text) print(m.group(1)) # 输出: 张三这里括号把\w包起来匹配成功后括号里的内容会被单独存起来通过group(1)就能取到。如果模式里有多个括号就按左括号出现的顺序编号group(1)、group(2)、group(3)依次取出。group(0)是整个匹配到的完整文本。分组还有一个妙用是复用。\1表示引用第一个分组匹配到的内容本身注意是内容不是表达式。比如你想匹配“ABAB”这种连续重复两次的模式可以用(\w\w)\1。这个在数据校验里偶尔能派上用场比如检测叠字、重复关键词。2.4 贪婪与懒惰最容易出bug的“性格问题”正则的量词*、、{}默认都是贪婪的什么意思就是它会尽可能多地匹配字符。举个经典例子你想匹配HTML标签content b加粗/b和i斜体/i pattern r. # 贪婪你以为匹配出来的是b结果它匹配了从第一个一直到最后一个也就是b加粗/b和i斜体/i因为.会一直吃到没法再吃为止。这完全不是你想要的结果。解决方法是把量词后面加个?变成懒惰匹配r.?它会找到第一个就收手匹配出b然后下一轮匹配开始找i刚好符合预期。在所有涉及“成对符号”的场景里比如HTML标签、括号内容、引号字符串懒惰匹配几乎是必然选择。我写过无数回正则踩得最狠的坑就是这个稍后详细说。2.5 零宽断言Find a position, not content零宽断言是进阶内容但它真的不复杂。一句话解释它是一种不消费字符的“位置”匹配用来限制某个匹配前面或者后面必须是什么。它有四种(?...)正向前瞻右边必须是...(?!...)负向前瞻右边不能是...(?...)正向后顾左边必须是...(?!...)负向后顾左边不能是...举个例子你匹配文本中所有Python但只有后面跟着3或者4的那个才要re.findall(rPython(?[34]), Python2 Python3 Python4) # 结果: [Python, Python]注意捕获结果里不包含那个3和4断言只是条件不会进入结果。在爬虫提取、日志分析里这个技巧特别好用——你要找某个关键词但要确保它处于特定的上下文比如在引号内、不在注释里用断言精确又简洁。3. Python re模块五个必会函数有了它们你就能开工3.1 re.match vs re.search别再搞混了Python的re模块里最容易被新手混淆的就是match和search。我先给结论match只从字符串开头位置尝试匹配search在整个字符串中搜索第一个匹配位置。换句话说match隐含了一个^的效果。import re text 订单号: ABC2024001 print(re.match(r\d, text)) # 不匹配因为开头是订不是数字 print(re.search(r\d, text)) # 匹配到 2024001实际开发中search用得远比match多因为大部分场景我们是“从一段文本里找东西”而不是“检查整段文本开头符不符合规则”。但如果你做的是表单校验比如检查用户输入的字符串是否以特定前缀开头match会更语义化。还有一个fullmatch要求整个字符串完全匹配模式适合格式校验比如校验手机号re.fullmatch(r1\d{10}, phone)——不是完全匹配就返回None逻辑清晰、不会误判。3.2 findall vs finditer提取多个结果的两套方案findall应该是我用得最多的函数了。它返回一个列表把所有匹配到的结果一次性取出来。注意一个细节如果模式里有分组findall返回的是分组捕获的内容而不是整个匹配。没分组就返回整个匹配字符串。text 联系电话: 13800001234, 备用电话: 15900009876 phones re.findall(r1\d{10}, text) # 结果: [13800001234, 15900009876] # 如果有分组只返回组内内容 pairs re.findall(r(\d{3})-(\d{8}), 010-12345678 020-87654321) # 结果: [(010, 12345678), (020, 87654321)]finditer返回一个迭代器产生一个个Match对象。当匹配结果特别多、或者后续需要用到匹配位置等元信息时用finditer更合适。它不会一次性把结果全存进内存在处理超大文本时更友好而且每个Match对象都能拿到group()、span()等信息。如果只是简单提取字符串内容findall足够别过度设计。3.3 sub与subn替换才是真正的“清洗神器”re.sub是字符串替换的终极形态——你不仅能按固定文本替换还能按模式替换。最典型的场景是把匹配到的内容替换成另一种格式或者直接删掉。text 您的验证码是 8848请勿泄露。 masked re.sub(r\d, ****, text) # 结果: 您的验证码是 ****请勿泄露。sub的第二个参数可以是字符串也可以是函数。字符串里可以用\1、\2引用分组捕获的内容。比如把2024-05-12这种日期格式改成2024/05/12date 2024-05-12 new_date re.sub(r(\d{4})-(\d{2})-(\d{2}), r\1/\2/\3, date) print(new_date) # 2024/05/12subn跟sub功能一致区别在于返回一个元组(替换后的字符串, 替换次数)。需要统计替换了多少处时很有用比如检测文本里出现了多少个手机号需要打码。3.4 split比常规split更智能的切割方式字符串自带的split()只能按固定分隔符切而re.split能按“一类模式”切。比如你有一段文本分隔符既有逗号、分号还有空白和换行text apple, banana;orange\npear\tgrape parts re.split(r[,;\s], text) # 结果: [apple, banana, orange, pear, grape]这在处理CSV变种数据、日志字段解析时特别管用。而且如果模式里有捕获分组加括号re.split会顺手把分隔符也保留在结果里。有时候这反而是你要的——比如你想保留句子之间的标点符号用re.split(r([.!?]), sentence)就能把标点跟着每个句子拆出来。3.5 compile批量操作时的性能“外挂”re.compile把正则模式字符串预编译成一个Pattern对象之后反复使用时性能明显优于每次现写现算。内部原理是Python不再重复解析模式文本、不再重复构建匹配引擎直接用编译好的内部结构去扫描。phone_re re.compile(r1\d{10}) # 之后就可以反复使用 phone_re.findall(text1) phone_re.findall(text2) phone_re.sub(***, text3)编不编译的关键区别性能和组织性。如果你在一个脚本里只用一两次正则差别你感知不出来但爬虫里循环处理几千条数据、服务端接口每次请求都做校验编译一次和N次的差距就拉开了。另外compile还支持传flags比如re.IGNORECASE忽略大小写、re.VERBOSE允许模式串里加注释和换行后者能让复杂的正则可读性翻好几倍强烈推荐大项目里用。4. 实战案例从日志清洗到表单校验直接抄作业4.1 从日志文本中提取全部IP和错误码日志分析的活儿我做过不少次这类数据特征最合适正则出场。假设有下面这段Nginx风格日志logs 192.168.1.101 - - [12/May/2024:08:30:12] GET /index.html 200 1024 10.12.5.55 - - [12/May/2024:08:31:05] POST /api/upload 500 512 172.16.0.10 - - [12/May/2024:08:32:17] GET /static/js/app.js 404 128 提取所有IP和对应的状态码import re result re.findall(r(\d\.\d\.\d\.\d).*?(\d{3}), logs, re.S) print(result) # 输出: [(192.168.1.101, 200), (10.12.5.55, 500), (172.16.0.10, 404)]这里用re.S是因为日志行之间有换行我们需要让.能匹配换行符不然.*?跨不了行。输出是一个个(IP, 状态码)的元组加两行代码就能统计错误率、找出哪些IP老产生500这些就是数据分析的前置工作。4.2 文本清洗去掉HTML标签和多余符号爬虫拿到HTML后往往要转成纯文本暴力的办法是re.sub(r[^], , html)。这个模式的核心逻辑匹配以开头、中间不含、以结尾的内容并删除。别看简单它是处理HTML中最不容易误伤的方案——比r.*稳妥得多因为贪婪匹配会一路吞掉很多标签。再比如清洗用户评论里的特殊表情和不规范标点raw 这是一条测试评论......【转发】某人 ~~ 有大量空格 和无意义符号来自某某平台 clean re.sub(r[~。—…·【】], , raw) clean re.sub(r\s{2,}, , clean) print(clean)这套组合拳的关键在于第一轮把各种特殊符号统一替换成空格第二轮把两个以上的连续空格压缩成一个。做数据清洗时的通用思路就是这样——先分类处理再收尾统一比试图写一个大而全的模式要可靠得多。4.3 手机号、邮箱、身份证的格式校验做用户注册、信息登记后端必须做格式校验。正则在这种场景下是绝对的主力phone_pattern r^1[3-9]\d{9}$ email_pattern r^[\w\.\-][\w\-](\.[\w\-])$ id_pattern r^\d{17}[\dXx]$说几个校验里的细节。手机号用^和$固定首尾以免“字段里包含手机号”被误判成“字段是手机号”。邮箱的正则故意没有写得特别严格因为邮箱域名复杂多变写太死反而误杀。身份证末尾可能是数字也可能是X所以最后一位要单独处理。注意全部用re.fullmatch来做整体校验因为它是“整串完全匹配”比match更严格不容易漏掉前后多余字符。校验逻辑建议统一封装成函数比如is_valid_phone(phone)在函数内部return bool(phone_pattern.fullmatch(phone))。这样业务代码看着干净测试也好写。4.4 从杂乱文本中提取URL和日期从评论区、聊天记录、文档里提取URL是另一个高频需求。URL的结构比手机号复杂但基础模式可以这样写url_pattern rhttps?://[\w\-\.](:\d)?(/[\w\-\./?%]*)? text 访问 https://example.com/path/to/page?id1 或 http://test.cn:8080/ urls re.findall(url_pattern, text)这里分段拆解https?://匹配协议[\w\-\.]匹配域名部分(:\d)?是可选端口最后(/...)?是可选路径和参数。写这种复杂正则的经验是把URL拆成“协议域名端口路径”几个逻辑块分别写清楚再加可选标记比一次憋出来的模式串更容易排查问题。日期提取类似常见格式如2024-05-12、2024/05/12、2024.05.12想统一处理可以写re.findall(r\d{4}[-/.]\d{1,2}[-/.]\d{1,2}, text)如果还想把年月日分别提取就加三个括号r(\d{4})[-/.](\d{1,2})[-/.](\d{1,2})拿到的元组能直接用来构建datetime.date对象。5. 常见问题与避坑实录这些坑我替你踩过了5.1 贪婪匹配导致提取结果超出预期这是我在开放问答社区看到频率最高的问题写了.想匹配一个标签结果把后面几十个标签全吞了。原因前面说过量词默认贪婪。遇到成对符号、标签、引号这类内容第一反应就是用懒惰匹配?、*?。如果还不行比如懒惰匹配配合复杂嵌套根本反应不过来那就得考虑用更精细的字符组排除法比如[^]代替.?。我的经验是能用排除法就不依赖懒惰匹配因为前者更符合“我要的是什么”的语义踩坑概率更小。5.2 反斜杠的转义地狱Python里的双重转义问题正则里\d、\w这些本身带反斜杠而Python字符串里反斜杠也有特殊含义。你写\\d时实际字符串内容是\d但更推荐的做法是使用原始字符串r\d直接告诉Python别处理反斜杠转义。这个习惯一定要从第一天就养成否则你会看到\\d和\\\\d这种让人眼前发黑的场面。还有个细节如果你要匹配的文本本身包含反斜杠字符比如Windows路径C:\Users\name那正则里得写r\\Users两个反斜杠才能匹配一个反斜杠。牢记一个原则正则要用原始字符串r...编写里面就按正则规则写Python层面的转义靠r前缀解决别让两层转义绕晕自己。5.3 中文匹配与全角符号Unicode处理的特殊坑默认情况下\w在Python的re模块中只匹配ASCII字母、数字、下划线不匹配汉字。所以想匹配中文别用\w用[\u4e00-\u9fa5]或者干脆用[\u4e00-\u9fff]范围更完整含各种生僻字和扩展区。但如果你加了re.ASCII之外的默认模式\w也不会自动包含中文——很多人在这里翻车匹配了好几次都是空的。实际开发里如果需要“提取汉字”写成[\u4e00-\u9fff]最稳。全角符号如、。跟中文一样不属于\s要处理它们需要单独列字符组。5.4 性能杀手灾难性回溯正则里写过头的嵌套量词比如(a)有可能触发灾难性回溯导致匹配非常慢、甚至卡死。原理就是匹配引擎在失败路径上反复尝试组合组合数量指数级膨胀。我见过一个“貌似有效”的正则在几百KB的日志文本上跑了几十秒都没结束。规避方法尽量别写嵌套量词(a*)*、(a)这种能用字符组排除就少用.复杂场景优先考虑re.compile预编译加上re.VERBOSE模式拆分写方便检查逻辑。实在性能紧张就该考虑用正则的还是用普通字符串方法正则不是万能的简单字符串方法在某些场景下比正则快得多。5.5 分组编号混乱改模式时最容易翻车的坑正则模式一长分组一多\1、\2这种反向引用就容易指错地方尤其是你中途在模式开头插入了一个括号后面所有编号都变了。所以我的习惯是能用捕获分组就真的捕获那些只想用来分组、不想捕获内容的括号用(?:...)非捕获分组。这样编号不会被打乱可读性也更好。拿个实际例子来说明# 不推荐所有括号都参与捕获 re.search(r(\d{4})-(\d{2})-(\d{2}), 2024-05-12) # 推荐用非捕获分组把逻辑隔开 re.search(r(?:\d{4})-(\d{2})-(?:\d{2}), 2024-05-12)非捕获分组(?:...)在需要“整体约束”但又不想捕获的场景特别好用比如(?:ab|c)用来约束一组分支的重复次数。5.6 flags怎么选IGNORECASE、VERBOSE、DOTALL的适用场景re.IGNORECASE适合做不区分大小写的匹配比如匹配HTML标签名时div和DIV都能命中。re.DOTALL让.可以匹配换行符多行文本匹配时非常关键。re.VERBOSE则允许模式串里加空白和注释适合长期维护的项目pattern re.compile(r ^ # 开头 (\d{4}) # 年份 [-/.] # 分隔符 (\d{1,2}) # 月 , re.VERBOSE)说实话VERBOSE是我个人最推荐在工程里启用的flag没有之一。你写出来的复杂正则在三个月后回来看如果没有注释基本是要重新猜一遍的。有了VERBOSE把模式拆成多行加注释可维护性直接上一个档次。结尾一点个人经验我接触正则也有好多年了踩过的坑比看过的教程多得多。如果让我给刚入门的读者几个最诚恳的建议第一是准备好一个顺手的在线调试工具粘贴文本和模式就能看到匹配结果和分组详情比自己在代码里一步步 print 高效太多。第二是先在小样本数据上验证模式确认无误后再拼接进完整代码里不然出错了你根本分不清是数据问题还是正则问题。第三是在项目里养成把正则编译并封装成独立小函数的习惯别让一大串模式裸奔在业务代码里。正则这块内容最妙的地方在于它像一门通用的“迷你语言”。你在Python里花一周啃完的功力换到JavaScript、Java或者数据库查询语句里也八九不离十能用。刚学的时候觉得符号密密麻麻的紧张得很但真的动手处理过几次日志、清洗过几批数据之后你会反过来真香——原来那些需要反复写循环的脏活用正则一行就搞定了。希望这篇文章能帮你少走点弯路在字符串处理这条路上做个快乐的“作弊玩家”。
