1. 从 Prisma 到 CoreMLiOS 端图片风格转换到底难在哪图片风格转换这件事很多人第一次接触是 Prisma 那类应用拍一张照片几秒钟后变成梵高星空或者浮世绘。它背后是卷积神经网络在做风格迁移把一张内容图和一张风格图做特征融合输出一张既有原图构图、又带目标画风的新图。到了 iOS 端苹果从 iOS 11 开始提供 CoreML让开发者可以把训练好的风格迁移模型转成.mlmodel直接在设备上跑推理不用把用户照片传到服务器。但真正在 Xcode 项目里落地时卡人的往往不是模型本身而是三件事第一模型文件从哪来、怎么转成 CoreML 格式第二推理链路里图片要在UIImage、CVPixelBuffer、MLMultiArray之间来回转换稍有不慎就崩第三如果你还想在开发阶段调用云端模型做效果对比、或者用统一凭证管理多个模型的调用Key 和通道的配置很容易散落在各个文件里。这篇就聚焦 iOS 端 CoreML 图片风格转换的工程落地面向需要在 Xcode 项目里接入风格迁移模型的开发者。我会给出可复制的config.toml与settings.json骨架演示怎么通过 TaoToken 统一 Key 和 API 通道来管理模型调用凭证再附上真机推理验证步骤和常见报错排查清单。适合已经会写 Swift、但对 CoreML 推理链路和凭证管理还不太熟的人。2. 前置准备TaoToken 统一 Key 与 CoreML 模型文件在动手写推理代码之前先把两样东西准备好一个是 CoreML 模型文件一个是模型调用凭证的管理方式。CoreML 模型文件通常有两种来源。一种是从开源项目或 MLModelZoo 下载已经转好的.mlmodel直接拖进 Xcode另一种是自己用 PyTorch 或 TensorFlow 训练好风格迁移网络再用coremltools转换。转换命令大致长这样pip install coremltools python -c import coremltools as ct import torch model torch.load(style_transfer.pth, map_locationcpu) model.eval() example torch.rand(1, 3, 256, 256) traced torch.jit.trace(model, example) mlmodel ct.convert(traced, inputs[ct.TensorType(nameinput, shapeexample.shape)]) mlmodel.save(StyleTransfer.mlmodel) 转换出来的.mlmodel拖进 Xcode 后Xcode 会自动生成对应的 Swift 类比如StyleTransfer里面会有prediction(input:)方法。至于凭证管理如果你只在本地跑 CoreML其实不需要任何 Key。但实际开发中经常有这样的需求想用云端模型做效果对比、想统一管理多个模型的调用凭证、或者团队里几个人共用一套配置。这时候用 TaoToken 的统一 Key 和 API 通道会省事很多。它的官网是 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content API 入口是 https://taotoken.net/api 注册后在控制台生成 Key 即可。注意CoreML 本地推理本身不依赖网络TaoToken 的 Key 主要用于开发阶段的模型调用和凭证统一管理两者是配合关系不是替代关系。3. 可复制配置config.toml 与 settings.json 骨架为了让凭证和模型配置不散落在代码里我习惯用两个配置文件config.toml放模型通道和 Key 的映射settings.json放推理参数和图片处理选项。下面是可以直接复制的骨架。config.toml# TaoToken 统一通道配置 [taotoken] base_url https://taotoken.net/api api_key sk-你的Key timeout 30 [models.style_transfer] provider taotoken model_name style-transfer-v1 local_mlmodel StyleTransfer.mlmodel input_size 256 use_local true [models.style_transfer_cloud] provider taotoken model_name style-transfer-cloud endpoint /v1/images/style use_local falsesettings.json{ styleTransfer: { defaultStyle: starry_night, blendRatio: 0.5, preserveColor: true, outputFormat: jpeg, jpegQuality: 0.9 }, preprocessing: { resizeMode: aspectFill, targetWidth: 256, targetHeight: 256, normalize: true }, debug: { logInferenceTime: true, saveIntermediateBuffer: false } }在 Swift 里读取这两个文件可以用Bundle.main.path(forResource:ofType:)拿到路径再用对应的解析库。config.toml可以用TOMLDecodersettings.json直接用JSONDecoder。这样切换本地模型和云端模型时只改配置不改代码。提示api_key不要硬编码进 Git 仓库建议用.gitignore排除config.toml或者用环境变量注入。4. 推理链路UIImage 到 CVPixelBuffer 的完整转换CoreML 处理图片时输入输出都是CVPixelBuffer所以核心工作是把UIImage转成CVPixelBuffer推理完再转回UIImage。这段代码我试过很多次下面这版比较稳。先看UIImage转CVPixelBufferfunc buffer(from image: UIImage, size: CGSize) - CVPixelBuffer? { let attrs [ kCVPixelBufferCGImageCompatibilityKey: kCFBooleanTrue, kCVPixelBufferCGBitmapContextCompatibilityKey: kCFBooleanTrue ] as CFDictionary var pixelBuffer: CVPixelBuffer? let status CVPixelBufferCreate( kCFAllocatorDefault, Int(size.width), Int(size.height), kCVPixelFormatType_32ARGB, attrs, pixelBuffer ) guard status kCVReturnSuccess, let buffer pixelBuffer else { return nil } CVPixelBufferLockBaseAddress(buffer, []) defer { CVPixelBufferUnlockBaseAddress(buffer, []) } let context CGContext( data: CVPixelBufferGetBaseAddress(buffer), width: Int(size.width), height: Int(size.height), bitsPerComponent: 8, bytesPerRow: CVPixelBufferGetBytesPerRow(buffer), space: CGColorSpaceCreateDeviceRGB(), bitmapInfo: CGImageAlphaInfo.noneSkipFirst.rawValue ) context?.draw(image.cgImage!, in: CGRect(origin: .zero, size: size)) return buffer }推理调用guard let model try? StyleTransfer(configuration: MLModelConfiguration()), let inputBuffer buffer(from: inputImage, size: CGSize(width: 256, height: 256)) else { return } let input StyleTransferInput(input: inputBuffer) guard let output try? model.prediction(input: input) else { return } let outputImage image(from: output.output)CVPixelBuffer转回UIImagefunc image(from pixelBuffer: CVPixelBuffer) - UIImage? { CVPixelBufferLockBaseAddress(pixelBuffer, []) defer { CVPixelBufferUnlockBaseAddress(pixelBuffer, []) } let ciImage CIImage(cvPixelBuffer: pixelBuffer) let context CIContext() guard let cgImage context.createCGImage(ciImage, from: ciImage.extent) else { return nil } return UIImage(cgImage: cgImage) }整个链路跑通后真机上单张 256x256 图片的推理时间大概在几十毫秒到一百多毫秒之间具体看设备芯片。A12 以后的设备会明显快一些。5. 真机验证与常见报错排查清单配置和代码都写好后真机验证步骤是这样的第一步在 Xcode 里选中你的真机设备确保签名配置正确。第二步把.mlmodel文件加入 target 的 Copy Bundle Resources。第三步运行 App选一张本地图片触发风格转换。第四步观察控制台输出的推理耗时和输出图片。如果跑不起来对照下面这个排查清单报错信息可能原因解决方式MLModelErrorcode 0模型文件未加入 target检查 Build Phases 的 Copy Bundle ResourcesCVPixelBufferCreate返回失败尺寸或格式不匹配确认宽高与模型输入一致格式用 32ARGB输出图片全黑或全白颜色空间或归一化问题检查CGColorSpaceCreateDeviceRGB和 normalize 配置推理结果与预期差异大模型输入尺寸或通道顺序不对用mlmodel的modelDescription确认 input 形状真机崩溃但模拟器正常内存或 Metal 兼容性降低输入分辨率检查设备是否支持 Metalapi_key无效Key 未正确注入或过期到控制台重新生成检查config.toml路径还有一个容易忽略的点如果你同时用了本地 CoreML 和云端模型做对比记得在settings.json里把use_local开关切对否则会走错通道。6. 凭证统一与后续接入把 Key 和通道配置收拢到config.toml之后后续要加新的模型或者切换通道只改配置就行。如果你需要生成新的 Key可以到控制台的 API Keys 页面操作https://taotoken.net/console/api-keys?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 。接入文档在 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 里面有各个接口的详细说明。如果你在开发阶段想先验证模型效果、不想写代码可以直接用模型对话页面快速试https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 。长期做编码和 Agent 类工作的可以看看 Coding Planhttps://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 。最后说一个我踩过的坑CoreML 模型转换时如果输入张量的通道顺序是 RGB 而 CoreML 默认按 BGR 处理输出颜色会偏。解决办法是在转换时显式指定image_input_names和bgr_order参数或者在 Swift 侧做通道交换。这个细节在文档里不太显眼但真机上很容易翻车。
iOS 图片风格转换（CoreML）实战：用 TaoToken 统一 Key 打通模型配置与本地推理链路
1. 从 Prisma 到 CoreMLiOS 端图片风格转换到底难在哪图片风格转换这件事很多人第一次接触是 Prisma 那类应用拍一张照片几秒钟后变成梵高星空或者浮世绘。它背后是卷积神经网络在做风格迁移把一张内容图和一张风格图做特征融合输出一张既有原图构图、又带目标画风的新图。到了 iOS 端苹果从 iOS 11 开始提供 CoreML让开发者可以把训练好的风格迁移模型转成.mlmodel直接在设备上跑推理不用把用户照片传到服务器。但真正在 Xcode 项目里落地时卡人的往往不是模型本身而是三件事第一模型文件从哪来、怎么转成 CoreML 格式第二推理链路里图片要在UIImage、CVPixelBuffer、MLMultiArray之间来回转换稍有不慎就崩第三如果你还想在开发阶段调用云端模型做效果对比、或者用统一凭证管理多个模型的调用Key 和通道的配置很容易散落在各个文件里。这篇就聚焦 iOS 端 CoreML 图片风格转换的工程落地面向需要在 Xcode 项目里接入风格迁移模型的开发者。我会给出可复制的config.toml与settings.json骨架演示怎么通过 TaoToken 统一 Key 和 API 通道来管理模型调用凭证再附上真机推理验证步骤和常见报错排查清单。适合已经会写 Swift、但对 CoreML 推理链路和凭证管理还不太熟的人。2. 前置准备TaoToken 统一 Key 与 CoreML 模型文件在动手写推理代码之前先把两样东西准备好一个是 CoreML 模型文件一个是模型调用凭证的管理方式。CoreML 模型文件通常有两种来源。一种是从开源项目或 MLModelZoo 下载已经转好的.mlmodel直接拖进 Xcode另一种是自己用 PyTorch 或 TensorFlow 训练好风格迁移网络再用coremltools转换。转换命令大致长这样pip install coremltools python -c import coremltools as ct import torch model torch.load(style_transfer.pth, map_locationcpu) model.eval() example torch.rand(1, 3, 256, 256) traced torch.jit.trace(model, example) mlmodel ct.convert(traced, inputs[ct.TensorType(nameinput, shapeexample.shape)]) mlmodel.save(StyleTransfer.mlmodel) 转换出来的.mlmodel拖进 Xcode 后Xcode 会自动生成对应的 Swift 类比如StyleTransfer里面会有prediction(input:)方法。至于凭证管理如果你只在本地跑 CoreML其实不需要任何 Key。但实际开发中经常有这样的需求想用云端模型做效果对比、想统一管理多个模型的调用凭证、或者团队里几个人共用一套配置。这时候用 TaoToken 的统一 Key 和 API 通道会省事很多。它的官网是 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content API 入口是 https://taotoken.net/api 注册后在控制台生成 Key 即可。注意CoreML 本地推理本身不依赖网络TaoToken 的 Key 主要用于开发阶段的模型调用和凭证统一管理两者是配合关系不是替代关系。3. 可复制配置config.toml 与 settings.json 骨架为了让凭证和模型配置不散落在代码里我习惯用两个配置文件config.toml放模型通道和 Key 的映射settings.json放推理参数和图片处理选项。下面是可以直接复制的骨架。config.toml# TaoToken 统一通道配置 [taotoken] base_url https://taotoken.net/api api_key sk-你的Key timeout 30 [models.style_transfer] provider taotoken model_name style-transfer-v1 local_mlmodel StyleTransfer.mlmodel input_size 256 use_local true [models.style_transfer_cloud] provider taotoken model_name style-transfer-cloud endpoint /v1/images/style use_local falsesettings.json{ styleTransfer: { defaultStyle: starry_night, blendRatio: 0.5, preserveColor: true, outputFormat: jpeg, jpegQuality: 0.9 }, preprocessing: { resizeMode: aspectFill, targetWidth: 256, targetHeight: 256, normalize: true }, debug: { logInferenceTime: true, saveIntermediateBuffer: false } }在 Swift 里读取这两个文件可以用Bundle.main.path(forResource:ofType:)拿到路径再用对应的解析库。config.toml可以用TOMLDecodersettings.json直接用JSONDecoder。这样切换本地模型和云端模型时只改配置不改代码。提示api_key不要硬编码进 Git 仓库建议用.gitignore排除config.toml或者用环境变量注入。4. 推理链路UIImage 到 CVPixelBuffer 的完整转换CoreML 处理图片时输入输出都是CVPixelBuffer所以核心工作是把UIImage转成CVPixelBuffer推理完再转回UIImage。这段代码我试过很多次下面这版比较稳。先看UIImage转CVPixelBufferfunc buffer(from image: UIImage, size: CGSize) - CVPixelBuffer? { let attrs [ kCVPixelBufferCGImageCompatibilityKey: kCFBooleanTrue, kCVPixelBufferCGBitmapContextCompatibilityKey: kCFBooleanTrue ] as CFDictionary var pixelBuffer: CVPixelBuffer? let status CVPixelBufferCreate( kCFAllocatorDefault, Int(size.width), Int(size.height), kCVPixelFormatType_32ARGB, attrs, pixelBuffer ) guard status kCVReturnSuccess, let buffer pixelBuffer else { return nil } CVPixelBufferLockBaseAddress(buffer, []) defer { CVPixelBufferUnlockBaseAddress(buffer, []) } let context CGContext( data: CVPixelBufferGetBaseAddress(buffer), width: Int(size.width), height: Int(size.height), bitsPerComponent: 8, bytesPerRow: CVPixelBufferGetBytesPerRow(buffer), space: CGColorSpaceCreateDeviceRGB(), bitmapInfo: CGImageAlphaInfo.noneSkipFirst.rawValue ) context?.draw(image.cgImage!, in: CGRect(origin: .zero, size: size)) return buffer }推理调用guard let model try? StyleTransfer(configuration: MLModelConfiguration()), let inputBuffer buffer(from: inputImage, size: CGSize(width: 256, height: 256)) else { return } let input StyleTransferInput(input: inputBuffer) guard let output try? model.prediction(input: input) else { return } let outputImage image(from: output.output)CVPixelBuffer转回UIImagefunc image(from pixelBuffer: CVPixelBuffer) - UIImage? { CVPixelBufferLockBaseAddress(pixelBuffer, []) defer { CVPixelBufferUnlockBaseAddress(pixelBuffer, []) } let ciImage CIImage(cvPixelBuffer: pixelBuffer) let context CIContext() guard let cgImage context.createCGImage(ciImage, from: ciImage.extent) else { return nil } return UIImage(cgImage: cgImage) }整个链路跑通后真机上单张 256x256 图片的推理时间大概在几十毫秒到一百多毫秒之间具体看设备芯片。A12 以后的设备会明显快一些。5. 真机验证与常见报错排查清单配置和代码都写好后真机验证步骤是这样的第一步在 Xcode 里选中你的真机设备确保签名配置正确。第二步把.mlmodel文件加入 target 的 Copy Bundle Resources。第三步运行 App选一张本地图片触发风格转换。第四步观察控制台输出的推理耗时和输出图片。如果跑不起来对照下面这个排查清单报错信息可能原因解决方式MLModelErrorcode 0模型文件未加入 target检查 Build Phases 的 Copy Bundle ResourcesCVPixelBufferCreate返回失败尺寸或格式不匹配确认宽高与模型输入一致格式用 32ARGB输出图片全黑或全白颜色空间或归一化问题检查CGColorSpaceCreateDeviceRGB和 normalize 配置推理结果与预期差异大模型输入尺寸或通道顺序不对用mlmodel的modelDescription确认 input 形状真机崩溃但模拟器正常内存或 Metal 兼容性降低输入分辨率检查设备是否支持 Metalapi_key无效Key 未正确注入或过期到控制台重新生成检查config.toml路径还有一个容易忽略的点如果你同时用了本地 CoreML 和云端模型做对比记得在settings.json里把use_local开关切对否则会走错通道。6. 凭证统一与后续接入把 Key 和通道配置收拢到config.toml之后后续要加新的模型或者切换通道只改配置就行。如果你需要生成新的 Key可以到控制台的 API Keys 页面操作https://taotoken.net/console/api-keys?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 。接入文档在 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 里面有各个接口的详细说明。如果你在开发阶段想先验证模型效果、不想写代码可以直接用模型对话页面快速试https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 。长期做编码和 Agent 类工作的可以看看 Coding Planhttps://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 。最后说一个我踩过的坑CoreML 模型转换时如果输入张量的通道顺序是 RGB 而 CoreML 默认按 BGR 处理输出颜色会偏。解决办法是在转换时显式指定image_input_names和bgr_order参数或者在 Swift 侧做通道交换。这个细节在文档里不太显眼但真机上很容易翻车。
