openpi 完整指南:把 1 万多小时预训练的机器人基础模型搬进农田,搭一套自动采摘机械臂【免费下载链接】openpi项目地址: https://gitcode.com/GitHub_Trending/op/openpiopenpi 是 Physical Intelligence 团队开源的机器人基础模型与工具包:一组在 1 万多小时机器人操作数据上预训练的视觉-语言-动作模型,加上配套的微调、归一化和远程推理代码。它没有内置任何农业任务,但为让机械臂学会自动采摘、自动种植提供了可直接落地的模型底座。这篇文章写给打算给农业机械臂接 AI 策略、做原型验证的工程师。从摘一颗番茄倒推:自动采摘任务的完整链路一个任务拆成四件事摘一颗番茄,对机器人来说是四件事:看见果实、理解要摘哪个、算出机械臂怎么动、执行完再确认。openpi 用一条闭环来对应:客户端把相机图像、机械臂关节状态和一条语言指令(prompt)装进观测字典,发给策略服务器;模型返回一段动作块,形状是 (action_horizon, action_dim),机械臂逐步执行,再采集下一轮观测。整条闭环长这样:每个环节在仓库里的位置观测键与模型接口可看 src/openpi/models/pi0.py,观测到服务器再到动作块的链路在 docs/remote_inference.md 里有完整说明。有两个官方设计细节值得注意:其一,模型输出的是动作块而不是单步,策略只需要每 N 步调用一次,其余步骤开环执行,网络调用次数大幅下降;其二,图像建议先在客户端缩放、转成 uint8 再发送,控制带宽和延迟。这两点直接决定了这套方案在真实农业现场能不能跑起来。openpi 五分钟跑通示例:没有机械臂也能先验证环境与依赖官方在 Ubuntu 22.04 上测试过,依赖用 uv 管理:git clone --recurse-submodules https://gitcode.com/GitHub_Trending/op/openpi cd openpi GIT_LFS_SKIP_SMUDGE1 uv sync--recurse-submodules 是必须步骤(LIBERO 示例依赖子模块);GIT_LFS_SKIP_SMUDGE1 是官方 README 专门标注的细节。如果系统环境比较乱,可以直接走 Docker 路线,见 docs/docker.md。先用假观测把链路跑通接真实相机和机械臂之前,仓库提供了一个不需要任何机器人硬件的 simple_client,它会生成随机观测来验证全链路:# 终端 1:随机观测客户端 uv run examples/simple_client/main.py --env DROID # 终端 2:策略服务器 uv run scripts/serve_policy.py --env DROID两端接通后客户端会打印推理速率。跑通之后,演示与真采摘之间只剩把随机数据换成真实相机和关节数据这一步。模型权重首次使用时从 gs://openpi-assets 自动下载,缓存在 ~/.cache/openpi,无需手动搬运。更多细节见 examples/simple_client/README.md。三类模型怎么选:π0、π0-FAST 与 π0.5先把视觉-语言-动作模型说成人话一句话:它是一个端到端网络,输入图像、语言和关节状态,直接输出机械臂动作,不需要你分别写感知、检测和规划模块再拼装。π0 的内部构成是:图像走 SigLIP 编码器,语言与动作 token 走 Gemma 系列骨干,实现都在 src/openpi/models/pi0.py。三个模型各管什么模型结构类型官方定位与可查证的能力π0基于流匹配的 VLA微调基座;官方 DROID 微调版推理更快,但语言指令跟随稍弱π0-FAST自回归 VLA(FAST 动作分词器)官方 DROID 微调版可在新场景 0-shot 完成多种简单桌面操作任务π0.5π0 升级版(知识绝缘训练)更好的开放世界泛化;官方 LIBERO 基准平均分 96.85官方有一句很坦诚的免责声明:π0 是为自家机器人开发的,迁移到其他平台可能行也可能不行,推荐用法都是在目标机器人上用自己的数据微调。农业机器人微调:数据采集、归一化与训练三步第一步,把演示数据转成 LeRobot 格式训练管线只吃 LeRobot 数据集。仓库提供了两个最小转换模板,examples/libero/convert_libero_data_to_lerobot.py 和 examples/aloha_real/convert_aloha_data_to_lerobot.py,改一下字段映射就能转你自己的采摘示教数据。如果机械臂是 UR5,examples/ur5/README.md 里有完整的 7 维(6 关节夹爪)输入输出映射写法,这是离农业单臂场景最近的参考实现。第二步,写清三类配置一个微调任务需要三类配置:输入输出变换(负责机器人数据与模型接口之间的映射)、DataConfig(原始 LeRobot 数据怎么处理)、TrainConfig(超参数、数据源、基座权重)。src/openpi/training/config.py 里有大量可运行示例,复制一份改参数即可。第三步,先算归一化统计再开训练uv run scripts/compute_norm_stats.py --config-name pi05_libero XLA_PYTHON_CLIENT_MEM_FRACTION0.9 uv run scripts/train.py pi05_libero --exp-namemy_experiment跳过第一步直接训练,会报missing norm stats错误。还有一个小技巧:如果你的机械臂与预训练配置匹配(ALOHA、Franka、UR5e 等),可以尝试从基座 checkpoint 重新加载对应的归一化统计,docs/norm_stats.md 给了 AssetsConfig 的写法,官方建议复用与重算两种都试一遍,选效果好的。另外有 PyTorch 训练路线(scripts/train_pytorch.py),但目前 PyTorch 版尚不支持 LoRA、FSDP 与混合精度。部署选型:本地、远程与边缘三条路线的成本取舍先算显存预算官方 README 给了单卡预算:推理 8GB 以上(RTX 4090 级别即可);LoRA 微调 22.5GB 以上;全量微调 70GB 以上(A100/H100)。多卡可以通过 fsdp_devices 切分显存。三条路线怎么选本机部署:延迟最低,但要求机身上放高端 GPU,硬件成本高;远程推理:官方推荐形态,模型放服务器、websocket 流式传动作;动作块设计下策略只需每 N 步调用一次,局域网带宽可控,对温室这类有线网络稳定的场景很友好;边缘/弱网:仓库没有现成的边缘部署方案,模型压缩需要自己做;稳妥的顺序是先跑通 LIBERO 模拟(examples/libero/README.md)验证数据管线,再下田;真实机器人落地,examples/aloha_real/ 目录给了最完整的三终端示例:机器人主程序、ROS 节点、策略服务器各跑一个终端。训练与排查的三个高频坑README 的 Troubleshooting 一节有完整表格,农业场景最常踩的三个:训练爆显存(调高 XLA_PYTHON_CLIENT_MEM_FRACTION 或启用 FSDP);训练 loss 发散(检查 norm_stats.json 里的 q01/q99/std,极少被使用的维度归一化后会放得很大);动作维度与机械臂自由度不匹配(核对策略类的动作空间定义)。能力边界与田间延伸:官方没说的部分预训练模型能直接用到哪一步官方覆盖的任务都是桌面操作(叠毛巾、把吐司从烤面包机取出、DROID 桌面任务)和模拟基准,没有户外采摘这类农业场景的公开评测,不要期待基座模型开箱即采番茄。官方也直言 0-shot 运行仍是一个非常实验性的功能,可靠路径还是用目标机器人自己的数据微调。往田间延伸的四个方向 结合仓库里已有的能力,有四个现成的延伸点:双臂方案:ALOHA 双 6 自由度臂配平行夹爪,动作空间左右臂独立,适合一手接近、一手托篮的采摘形态,预训练归一化统计里就有 trossen 配置,仓库也给了完整的 ALOHA 微调与推理示例;移动底盘:基座模型动作空间保留了底盘 x-y 速度维度(dim_14:dim_15),预训练统计包含 Mobile ALOHA 与移动 ARX,移动采摘底盘可以复用同一套接口;指令切换任务:prompt 是观测的一部分,换一句指令就换任务,同一套机械臂可以服务采摘和移栽多个环节;先模拟再下田:用 LIBERO/MuJoCo 模拟链路先验证数据管线和训练配置,稳定后再替换真实相机与机械臂驱动,降低现场试错成本。总结一句话:openpi 不提供现成的农业方案,但它提供了数据 → 微调 → 服务 → 机器人闭环这条完整链路,这是农业采摘原型最有复用价值的部分。【免费下载链接】openpi项目地址: https://gitcode.com/GitHub_Trending/op/openpi创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
openpi 完整指南:把 1 万多小时预训练的机器人基础模型搬进农田,搭一套自动采摘机械臂
openpi 完整指南:把 1 万多小时预训练的机器人基础模型搬进农田,搭一套自动采摘机械臂【免费下载链接】openpi项目地址: https://gitcode.com/GitHub_Trending/op/openpiopenpi 是 Physical Intelligence 团队开源的机器人基础模型与工具包:一组在 1 万多小时机器人操作数据上预训练的视觉-语言-动作模型,加上配套的微调、归一化和远程推理代码。它没有内置任何农业任务,但为让机械臂学会自动采摘、自动种植提供了可直接落地的模型底座。这篇文章写给打算给农业机械臂接 AI 策略、做原型验证的工程师。从摘一颗番茄倒推:自动采摘任务的完整链路一个任务拆成四件事摘一颗番茄,对机器人来说是四件事:看见果实、理解要摘哪个、算出机械臂怎么动、执行完再确认。openpi 用一条闭环来对应:客户端把相机图像、机械臂关节状态和一条语言指令(prompt)装进观测字典,发给策略服务器;模型返回一段动作块,形状是 (action_horizon, action_dim),机械臂逐步执行,再采集下一轮观测。整条闭环长这样:每个环节在仓库里的位置观测键与模型接口可看 src/openpi/models/pi0.py,观测到服务器再到动作块的链路在 docs/remote_inference.md 里有完整说明。有两个官方设计细节值得注意:其一,模型输出的是动作块而不是单步,策略只需要每 N 步调用一次,其余步骤开环执行,网络调用次数大幅下降;其二,图像建议先在客户端缩放、转成 uint8 再发送,控制带宽和延迟。这两点直接决定了这套方案在真实农业现场能不能跑起来。openpi 五分钟跑通示例:没有机械臂也能先验证环境与依赖官方在 Ubuntu 22.04 上测试过,依赖用 uv 管理:git clone --recurse-submodules https://gitcode.com/GitHub_Trending/op/openpi cd openpi GIT_LFS_SKIP_SMUDGE1 uv sync--recurse-submodules 是必须步骤(LIBERO 示例依赖子模块);GIT_LFS_SKIP_SMUDGE1 是官方 README 专门标注的细节。如果系统环境比较乱,可以直接走 Docker 路线,见 docs/docker.md。先用假观测把链路跑通接真实相机和机械臂之前,仓库提供了一个不需要任何机器人硬件的 simple_client,它会生成随机观测来验证全链路:# 终端 1:随机观测客户端 uv run examples/simple_client/main.py --env DROID # 终端 2:策略服务器 uv run scripts/serve_policy.py --env DROID两端接通后客户端会打印推理速率。跑通之后,演示与真采摘之间只剩把随机数据换成真实相机和关节数据这一步。模型权重首次使用时从 gs://openpi-assets 自动下载,缓存在 ~/.cache/openpi,无需手动搬运。更多细节见 examples/simple_client/README.md。三类模型怎么选:π0、π0-FAST 与 π0.5先把视觉-语言-动作模型说成人话一句话:它是一个端到端网络,输入图像、语言和关节状态,直接输出机械臂动作,不需要你分别写感知、检测和规划模块再拼装。π0 的内部构成是:图像走 SigLIP 编码器,语言与动作 token 走 Gemma 系列骨干,实现都在 src/openpi/models/pi0.py。三个模型各管什么模型结构类型官方定位与可查证的能力π0基于流匹配的 VLA微调基座;官方 DROID 微调版推理更快,但语言指令跟随稍弱π0-FAST自回归 VLA(FAST 动作分词器)官方 DROID 微调版可在新场景 0-shot 完成多种简单桌面操作任务π0.5π0 升级版(知识绝缘训练)更好的开放世界泛化;官方 LIBERO 基准平均分 96.85官方有一句很坦诚的免责声明:π0 是为自家机器人开发的,迁移到其他平台可能行也可能不行,推荐用法都是在目标机器人上用自己的数据微调。农业机器人微调:数据采集、归一化与训练三步第一步,把演示数据转成 LeRobot 格式训练管线只吃 LeRobot 数据集。仓库提供了两个最小转换模板,examples/libero/convert_libero_data_to_lerobot.py 和 examples/aloha_real/convert_aloha_data_to_lerobot.py,改一下字段映射就能转你自己的采摘示教数据。如果机械臂是 UR5,examples/ur5/README.md 里有完整的 7 维(6 关节夹爪)输入输出映射写法,这是离农业单臂场景最近的参考实现。第二步,写清三类配置一个微调任务需要三类配置:输入输出变换(负责机器人数据与模型接口之间的映射)、DataConfig(原始 LeRobot 数据怎么处理)、TrainConfig(超参数、数据源、基座权重)。src/openpi/training/config.py 里有大量可运行示例,复制一份改参数即可。第三步,先算归一化统计再开训练uv run scripts/compute_norm_stats.py --config-name pi05_libero XLA_PYTHON_CLIENT_MEM_FRACTION0.9 uv run scripts/train.py pi05_libero --exp-namemy_experiment跳过第一步直接训练,会报missing norm stats错误。还有一个小技巧:如果你的机械臂与预训练配置匹配(ALOHA、Franka、UR5e 等),可以尝试从基座 checkpoint 重新加载对应的归一化统计,docs/norm_stats.md 给了 AssetsConfig 的写法,官方建议复用与重算两种都试一遍,选效果好的。另外有 PyTorch 训练路线(scripts/train_pytorch.py),但目前 PyTorch 版尚不支持 LoRA、FSDP 与混合精度。部署选型:本地、远程与边缘三条路线的成本取舍先算显存预算官方 README 给了单卡预算:推理 8GB 以上(RTX 4090 级别即可);LoRA 微调 22.5GB 以上;全量微调 70GB 以上(A100/H100)。多卡可以通过 fsdp_devices 切分显存。三条路线怎么选本机部署:延迟最低,但要求机身上放高端 GPU,硬件成本高;远程推理:官方推荐形态,模型放服务器、websocket 流式传动作;动作块设计下策略只需每 N 步调用一次,局域网带宽可控,对温室这类有线网络稳定的场景很友好;边缘/弱网:仓库没有现成的边缘部署方案,模型压缩需要自己做;稳妥的顺序是先跑通 LIBERO 模拟(examples/libero/README.md)验证数据管线,再下田;真实机器人落地,examples/aloha_real/ 目录给了最完整的三终端示例:机器人主程序、ROS 节点、策略服务器各跑一个终端。训练与排查的三个高频坑README 的 Troubleshooting 一节有完整表格,农业场景最常踩的三个:训练爆显存(调高 XLA_PYTHON_CLIENT_MEM_FRACTION 或启用 FSDP);训练 loss 发散(检查 norm_stats.json 里的 q01/q99/std,极少被使用的维度归一化后会放得很大);动作维度与机械臂自由度不匹配(核对策略类的动作空间定义)。能力边界与田间延伸:官方没说的部分预训练模型能直接用到哪一步官方覆盖的任务都是桌面操作(叠毛巾、把吐司从烤面包机取出、DROID 桌面任务)和模拟基准,没有户外采摘这类农业场景的公开评测,不要期待基座模型开箱即采番茄。官方也直言 0-shot 运行仍是一个非常实验性的功能,可靠路径还是用目标机器人自己的数据微调。往田间延伸的四个方向 结合仓库里已有的能力,有四个现成的延伸点:双臂方案:ALOHA 双 6 自由度臂配平行夹爪,动作空间左右臂独立,适合一手接近、一手托篮的采摘形态,预训练归一化统计里就有 trossen 配置,仓库也给了完整的 ALOHA 微调与推理示例;移动底盘:基座模型动作空间保留了底盘 x-y 速度维度(dim_14:dim_15),预训练统计包含 Mobile ALOHA 与移动 ARX,移动采摘底盘可以复用同一套接口;指令切换任务:prompt 是观测的一部分,换一句指令就换任务,同一套机械臂可以服务采摘和移栽多个环节;先模拟再下田:用 LIBERO/MuJoCo 模拟链路先验证数据管线和训练配置,稳定后再替换真实相机与机械臂驱动,降低现场试错成本。总结一句话:openpi 不提供现成的农业方案,但它提供了数据 → 微调 → 服务 → 机器人闭环这条完整链路,这是农业采摘原型最有复用价值的部分。【免费下载链接】openpi项目地址: https://gitcode.com/GitHub_Trending/op/openpi创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
