影刀RPA实操指南Excel批量处理万行数据的性能优化方案同样是处理一万行数据有人用影刀RPA跑十分钟就完事有人跑一个小时还中途内存爆掉——差距不在电脑配置而在流程写法上。我接手过一个同事写的库存汇总流程逐行读取逐行写入一万行数据跑了四十多分钟后来我把整个结构改成批量读写加pandas处理同样一万行压到了一分半钟。这篇就把这套性能优化方案拆开讲清楚。万行数据的性能问题通常卡在三个地方一是循环里逐格读写每次操作都要和Excel程序通信一次通信开销被放大一万倍二是32位程序的内存天花板表一大读取区域时就内存不足三是循环里塞了打印日志、截图这类额外动作看起来不起眼累积起来非常吓人。对症下药优化思路就三条能批量就不逐个、能轻量就不重型、能交给Python就不走Excel接口。先说结论性的原则影刀RPA处理万行数据的正确姿势是“一次性读取区域、内存里加工、一次性写回”而不是让机器人在表格里一格一格爬。循环逐格读写是性能的头号杀手我见过最多的低效写法For次数循环一万次循环体里放一个【读取Excel内容】读单个单元格处理完再用【写入内容至Excel工作表】写回去。这种写法功能上没问题但每一条指令都是一次独立的接口调用一万行乘以读写两次就是两万次通信。正确做法分三步循环前用【读取Excel内容】指令读取方式选“已使用区域内容”一次性把整张表读成二维列表变量用ForEach列表循环遍历这个二维列表在内存里完成所有加工结果存到新的二维列表循环结束后用一次【写入内容至Excel工作表】把整个二维列表写回写入内容这个指令本身就支持整批写入多行且整行写入多个数据时把数据存放在二维列表里传入即可。文档里给出的示例形态是[[1,2,3],[4,5,6],[7,8,9]]这种结构一次调用写三行换成三万行也是一次调用。写法一万行耗时实测参考主要开销循环内逐格读写30分钟以上两万次接口通信区域读取逐行写回5-8分钟一万次写入通信| 区域读取二维列表一次写回 | 1-2分钟 | 几乎只有计算本身 |另外循环体里的【打印日志】要克制。官方排查文档里明确把“循环excel内容并打印日志”列为内存不足的典型触发场景之一一万行每行打一条日志日志面板本身就成了内存大户。调试期打日志上线后删掉或只在异常分支打。内存不足的两个根治办法如果优化完写法还是报内存不足那就要从程序位数下手了。32位程序最多只能申请4G左右的内存处理大表时读取区域、拷贝粘贴大sheet页这类操作很容易撞顶。官方给的解决方案就两条安装64位版本的影刀或者改用pandas处理大数据量的表格。这里有个非常隐蔽的坑我要单独提醒pandas的DataFrame用to_excel写xlsx时默认引擎是openpyxl而openpyxl的性能很差。官方文档里记录过典型现象写入超过4万行时直接报PermissionError或者Out Of memory因为openpyxl写4万行大概需要4G以上内存32位影刀的内置Python根本扛不住。解决办法是在写入时显式指定引擎# 大数据量写入显式指定xlsxwriter引擎绕开openpyxl的内存问题# 输入df 是处理好的DataFramepath 是输出文件路径# 前置条件在影刀的Python依赖包管理里安装 xlsxwriterimportpandasaspd dfpd.read_excel(D:/data/订单表.xlsx)# 读入万行数据resultdf.groupby(店铺名称)[销售额].sum()# 内存内聚合秒级完成result.to_excel(D:/data/汇总表.xlsx,indexFalse,enginexlsxwriter)# engine参数是关键不写的话xlsx后缀默认走openpyxl大文件必炸还有一个衍生坑装完64位影刀后旧应用对应的虚拟环境里Python还是32位的打开py文件会一直转圈。处理办法是把该应用从云端同步后删除重新从云上下载虚拟环境就会重建为64位。Python引擎版本与依赖库的匹配影刀Windows版5.24及以上版本新创建的应用默认使用新版Python引擎3.10.11旧应用是3.7.4且不会自动升级。升级入口在流程区右上角的“···”图标里最下方如果显示Python3.7和“升级Python版本”按钮点一下即可。为什么要关心这个版本因为新版引擎能安装pandas 1.4这类新依赖库数据处理能力直接上了一个台阶。如果你发现pandas装不上或者装上了但功能异常先检查引擎版本再检查是不是勾选了pip升级选项导致安装异常停止官方给的解法是取消勾选pip删掉应用的venv文件夹重装依赖。现象根因处理pandas装不上新版Python引擎还是3.7用···菜单升级到3.10to_excel写4万行报错openpyxl引擎内存爆炸指定engine“xlsxwriter”装完64位影刀py文件打不开旧虚拟环境还是32位删除应用重新从云下载循环打印日志后卡死日志量大吃内存只在异常分支打日志网页采集与Excel写入的配合节奏很多万行数据场景的源头是网页采集比如从拼多多或淘宝后台把订单、商品数据批量采集下来落表。这种场景下的性能原则是采集和写入分离——先把所有数据采集成二维列表采完再一次写入而不是采一行写一行。网页侧的等待策略同样影响总耗时等待新元素出现比死等固定秒数聪明页面加载完成立刻进入下一步几千页翻下来能省大量时间。采集到的数据如果有格式问题价格带币符、数字带千分位在内存里用字符串处理清洗干净再入表别指望写入后用Excel格式去补救。系统联动与工程化让大流程跑得稳性能优化做完稳定性配套也要跟上。夜间跑万行数据的定时任务我固定会做四件事流程开头放【终止程序】清理残留Excel进程读写指令包进try-catchcatch里用【打印日志】记录出错的行号和数据片段应用设置里配置“运行错误处理”选飞书群或钉钉群机器人通知挂了第一时间知道中间结果落一份CSV副本万一最后一步失败不用重跑采集元素定位方面Excel流程几乎用不上捕获元素但如果流程前端有网页操作记住四合一的分工捕获元素解决“找到它”XPath和CSS选择器解决“找得准”正则解决“从文本里抠字段”。桌面端的鼠标键盘图像自动化在这类流程里越少用越好能用指令对象解决的绝不去点界面这是工程化规范里我给自己定的铁律。新手如果还没装影刀RPA去官网下载社区版即可社区版每天有30分钟运行时长限制跑长流程建议上创业版或企业版安装时记得同步装浏览器插件第一次打开会看到左侧指令区、中间流程区、右侧参数面板的三栏界面本文用到的Excel指令都在指令区的Excel分类下。易错速查万行数据处理超慢 → 检查是否循环内逐格读写改成区域读取加二维列表一次写回循环里日志越打越卡 → 打印日志挪出循环或只在异常分支打读取区域报内存不足 → 装64位影刀或改用pandas处理to_excel写大文件报PermissionError或Out Of memory → 指定engine“xlsxwriter”装完64位影刀旧应用py文件打不开 → 同步后删除应用重新下载重建虚拟环境pandas新版装不上 → 先把Python引擎从3.7升到3.10流程区右上角···菜单依赖安装中途失败 → 取消勾选pip升级删除venv文件夹后重装完整流程源码我放在代码仓库 home.linyan.cloud含万行订单表的三种写法对照版本可以直接参考改造。#影刀RPA #RPA自动化 #Excel性能优化 #批量处理 #Pandas作者林焱
影刀RPA实操指南：Excel批量处理万行数据的性能优化方案
影刀RPA实操指南Excel批量处理万行数据的性能优化方案同样是处理一万行数据有人用影刀RPA跑十分钟就完事有人跑一个小时还中途内存爆掉——差距不在电脑配置而在流程写法上。我接手过一个同事写的库存汇总流程逐行读取逐行写入一万行数据跑了四十多分钟后来我把整个结构改成批量读写加pandas处理同样一万行压到了一分半钟。这篇就把这套性能优化方案拆开讲清楚。万行数据的性能问题通常卡在三个地方一是循环里逐格读写每次操作都要和Excel程序通信一次通信开销被放大一万倍二是32位程序的内存天花板表一大读取区域时就内存不足三是循环里塞了打印日志、截图这类额外动作看起来不起眼累积起来非常吓人。对症下药优化思路就三条能批量就不逐个、能轻量就不重型、能交给Python就不走Excel接口。先说结论性的原则影刀RPA处理万行数据的正确姿势是“一次性读取区域、内存里加工、一次性写回”而不是让机器人在表格里一格一格爬。循环逐格读写是性能的头号杀手我见过最多的低效写法For次数循环一万次循环体里放一个【读取Excel内容】读单个单元格处理完再用【写入内容至Excel工作表】写回去。这种写法功能上没问题但每一条指令都是一次独立的接口调用一万行乘以读写两次就是两万次通信。正确做法分三步循环前用【读取Excel内容】指令读取方式选“已使用区域内容”一次性把整张表读成二维列表变量用ForEach列表循环遍历这个二维列表在内存里完成所有加工结果存到新的二维列表循环结束后用一次【写入内容至Excel工作表】把整个二维列表写回写入内容这个指令本身就支持整批写入多行且整行写入多个数据时把数据存放在二维列表里传入即可。文档里给出的示例形态是[[1,2,3],[4,5,6],[7,8,9]]这种结构一次调用写三行换成三万行也是一次调用。写法一万行耗时实测参考主要开销循环内逐格读写30分钟以上两万次接口通信区域读取逐行写回5-8分钟一万次写入通信| 区域读取二维列表一次写回 | 1-2分钟 | 几乎只有计算本身 |另外循环体里的【打印日志】要克制。官方排查文档里明确把“循环excel内容并打印日志”列为内存不足的典型触发场景之一一万行每行打一条日志日志面板本身就成了内存大户。调试期打日志上线后删掉或只在异常分支打。内存不足的两个根治办法如果优化完写法还是报内存不足那就要从程序位数下手了。32位程序最多只能申请4G左右的内存处理大表时读取区域、拷贝粘贴大sheet页这类操作很容易撞顶。官方给的解决方案就两条安装64位版本的影刀或者改用pandas处理大数据量的表格。这里有个非常隐蔽的坑我要单独提醒pandas的DataFrame用to_excel写xlsx时默认引擎是openpyxl而openpyxl的性能很差。官方文档里记录过典型现象写入超过4万行时直接报PermissionError或者Out Of memory因为openpyxl写4万行大概需要4G以上内存32位影刀的内置Python根本扛不住。解决办法是在写入时显式指定引擎# 大数据量写入显式指定xlsxwriter引擎绕开openpyxl的内存问题# 输入df 是处理好的DataFramepath 是输出文件路径# 前置条件在影刀的Python依赖包管理里安装 xlsxwriterimportpandasaspd dfpd.read_excel(D:/data/订单表.xlsx)# 读入万行数据resultdf.groupby(店铺名称)[销售额].sum()# 内存内聚合秒级完成result.to_excel(D:/data/汇总表.xlsx,indexFalse,enginexlsxwriter)# engine参数是关键不写的话xlsx后缀默认走openpyxl大文件必炸还有一个衍生坑装完64位影刀后旧应用对应的虚拟环境里Python还是32位的打开py文件会一直转圈。处理办法是把该应用从云端同步后删除重新从云上下载虚拟环境就会重建为64位。Python引擎版本与依赖库的匹配影刀Windows版5.24及以上版本新创建的应用默认使用新版Python引擎3.10.11旧应用是3.7.4且不会自动升级。升级入口在流程区右上角的“···”图标里最下方如果显示Python3.7和“升级Python版本”按钮点一下即可。为什么要关心这个版本因为新版引擎能安装pandas 1.4这类新依赖库数据处理能力直接上了一个台阶。如果你发现pandas装不上或者装上了但功能异常先检查引擎版本再检查是不是勾选了pip升级选项导致安装异常停止官方给的解法是取消勾选pip删掉应用的venv文件夹重装依赖。现象根因处理pandas装不上新版Python引擎还是3.7用···菜单升级到3.10to_excel写4万行报错openpyxl引擎内存爆炸指定engine“xlsxwriter”装完64位影刀py文件打不开旧虚拟环境还是32位删除应用重新从云下载循环打印日志后卡死日志量大吃内存只在异常分支打日志网页采集与Excel写入的配合节奏很多万行数据场景的源头是网页采集比如从拼多多或淘宝后台把订单、商品数据批量采集下来落表。这种场景下的性能原则是采集和写入分离——先把所有数据采集成二维列表采完再一次写入而不是采一行写一行。网页侧的等待策略同样影响总耗时等待新元素出现比死等固定秒数聪明页面加载完成立刻进入下一步几千页翻下来能省大量时间。采集到的数据如果有格式问题价格带币符、数字带千分位在内存里用字符串处理清洗干净再入表别指望写入后用Excel格式去补救。系统联动与工程化让大流程跑得稳性能优化做完稳定性配套也要跟上。夜间跑万行数据的定时任务我固定会做四件事流程开头放【终止程序】清理残留Excel进程读写指令包进try-catchcatch里用【打印日志】记录出错的行号和数据片段应用设置里配置“运行错误处理”选飞书群或钉钉群机器人通知挂了第一时间知道中间结果落一份CSV副本万一最后一步失败不用重跑采集元素定位方面Excel流程几乎用不上捕获元素但如果流程前端有网页操作记住四合一的分工捕获元素解决“找到它”XPath和CSS选择器解决“找得准”正则解决“从文本里抠字段”。桌面端的鼠标键盘图像自动化在这类流程里越少用越好能用指令对象解决的绝不去点界面这是工程化规范里我给自己定的铁律。新手如果还没装影刀RPA去官网下载社区版即可社区版每天有30分钟运行时长限制跑长流程建议上创业版或企业版安装时记得同步装浏览器插件第一次打开会看到左侧指令区、中间流程区、右侧参数面板的三栏界面本文用到的Excel指令都在指令区的Excel分类下。易错速查万行数据处理超慢 → 检查是否循环内逐格读写改成区域读取加二维列表一次写回循环里日志越打越卡 → 打印日志挪出循环或只在异常分支打读取区域报内存不足 → 装64位影刀或改用pandas处理to_excel写大文件报PermissionError或Out Of memory → 指定engine“xlsxwriter”装完64位影刀旧应用py文件打不开 → 同步后删除应用重新下载重建虚拟环境pandas新版装不上 → 先把Python引擎从3.7升到3.10流程区右上角···菜单依赖安装中途失败 → 取消勾选pip升级删除venv文件夹后重装完整流程源码我放在代码仓库 home.linyan.cloud含万行订单表的三种写法对照版本可以直接参考改造。#影刀RPA #RPA自动化 #Excel性能优化 #批量处理 #Pandas作者林焱
