FlagEmbedding 容器化部署完整方案一台机器跑通嵌入检索到常驻重排服务【免费下载链接】FlagEmbeddingRetrieval and Retrieval-augmented LLMs项目地址: https://gitcode.com/GitHub_Trending/fl/FlagEmbeddingFlagEmbedding 是 BGE 系列的开源工具集核心是两套模型做稠密向量检索的嵌入模型BGE Embedder和对检索结果做精排的重排模型BGE Reranker两者一起支撑语义搜索和 RAG 场景。下面这套容器化流程目标只有一个让它在任何一台带 GPU 的机器上复制几行命令就能跑起来不用你手动折腾驱动和依赖。什么时候才值得容器化别把容器化当成默认动作。先对照下面三条命中两条以上再动手否则直接pip install更快。目标机和你开发机不一致操作系统、CUDA 驱动、Python 版本任意一项不同裸装环境大概率踩坑容器能把这份差异锁死。同一套模型要反复部署嵌入/重排模型要在多台机器、多个环境里跑容器镜像保证每份部署用的是同一版依赖。GPU 要长期独占训练或评测会长时间占用显存容器能把宿主机依赖和这块 GPU 的使用隔离开避免互相污染。三条都不满足、又只是偶尔跑一次推理的话本地装包足矣容器化反而多一层维护成本。最短路径一条命令先跑起来先别急着优化跑通再说。分两步拿到正反馈。第一步确认宿主机环境就绪。需要 Docker 20.10 以上、已装好 NVIDIA Container Toolkit、以及 Git。硬件参考下限是 8 核 CPU、16GB 内存、一张 8GB 显存的 NVIDIA 卡想跑微调建议直接给到 16GB 显存。第二步在项目根目录放一个精简Dockerfile只保留关键几行完整依赖以setup.py为准FROM nvidia/cuda:11.7.1-cudnn8-devel-ubuntu22.04 WORKDIR /app RUN apt-get update apt-get install -y --no-install-recommends git python3 python3-pip \ ln -s /usr/bin/python3 /usr/bin/python rm -rf /var/lib/apt/lists/* RUN pip3 install --no-cache-dir --upgrade pip RUN git clone https://gitcode.com/GitHub_Trending/fl/FlagEmbedding . RUN pip3 install --no-cache-dir torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117 \ pip3 install --no-cache-dir -e . ENV HF_HUB_CACHE/app/cache ENV PYTHONPATH/app这条Dockerfile做的事基于 CUDA 11.7 镜像装好系统依赖把仓库拉进来按setup.py安装库并指定 cu117 的 PyTorch再把 HuggingFace 缓存目录指向/app/cache。构建并验证一条命令docker build -t flagembedding:latest . \ docker run --gpus all --rm flagembedding:latest \ python -c from FlagEmbedding import FlagModel; print(ok)第一次构建要拉基础镜像和依赖参考耗时 10 到 20 分钟网络不稳就重跑构建命令层缓存会加速后续构建。看到输出ok说明库能正常 import最小部署就成了。按需解决四个常见问题对应的参数跑通之后按你实际卡住的地方挑对应命令即可不必全配。显存不够微调直接 OOM微调脚本examples/finetune/embedder/encoder_only/base.sh里两个参数直接决定显存占用。把per_device_train_batch_size往下调该脚本默认值为 2可继续降同时开gradient_checkpointing用时间换空间per_device_train_batch_size2 # 显存 8GB 建议从 2 起16GB 可上调到 8~16 gradient_checkpointing # base.sh 已开启OOM 时确认它没被注释调小批量是最直接的手段配合梯度累积可以基本保持等效训练步长。想固定用某一块 GPU多卡机器上用CUDA_VISIBLE_DEVICES把容器绑到指定卡--gpus里也写明设备号docker run --gpus device0 --rm \ -e CUDA_VISIBLE_DEVICES0 \ flagembedding:latest这样容器只看到 0 号卡不会误占正在跑别的任务的卡。结果要留存缓存别再重复下模型和数据落到卷里重启容器不用重新拉。缓存目录由HF_HUB_CACHE控制默认~/.cache/huggingface/hubdocker run --gpus all --rm \ -v $PWD/cache:/app/cache \ -v $PWD/data:/app/data \ -v $PWD/output:/app/output \ flagembedding:latest三个卷分别对应/app/cache存模型缓存、/app/data存数据集、/app/output存训练与推理产物。宿主机目录不存在会先建出来。要变成常驻服务把--rm换成-d起个名字映射端口日志写到独立目录方便后台跑推理服务docker run --gpus all -d \ --name flagembedding-service \ -p 8000:8000 \ -v $PWD/cache:/app/cache \ -v $PWD/logs:/app/logs \ flagembedding:latest-d表示后台运行--name给服务起名便于后续管理-p 8000:8000把容器端口映射到宿主机对应Dockerfile里的EXPOSE 8000。验证清单怎么确认部署成功了跑完命令别只看没报错。按这张表逐项确认每项都有明确预期和查法检查点预期结果怎么查镜像已生成docker images有flagembedding:latestdocker images \| grep flagembedding库可导入终端输出ok见最小部署那条python -c命令GPU 可见nvidia-smi列出预期显卡进容器执行nvidia-smi缓存生效模型文件落在/app/cache重启不再下载docker run ... ls /app/cache结果落盘训练/推理产物出现在挂载的output目录检查宿主机$PWD/output服务在跑容器状态为Up端口已监听docker ps与curl localhost:8000六项全过才算部署闭环而不只是能import。故障排查现象、原因、处理遇到报错先对表定位比盲目重装高效。现象可能原因处理镜像构建很慢或中断首次拉基础镜像和依赖、网络不稳重跑构建命令层缓存会续传确认网络通畅起容器后import失败依赖没装全或走了requirements.txt而项目实际用setup.py确认用pip install -e .按setup.py安装微调 OOM批量过大、单卡显存不足降per_device_train_batch_size、确认gradient_checkpointing开启占错了卡未固定设备号容器看到多卡用--gpus device0加CUDA_VISIBLE_DEVICES0绑定每次重启都重新下模型没挂缓存卷或HF_HUB_CACHE未指向挂载目录挂-v $PWD/cache:/app/cache并设置HF_HUB_CACHE/app/cachenvidia-smi在容器里找不到卡宿主未装 NVIDIA Container Toolkit先装好 Toolkit 并重启 Docker再带--gpus all启动镜像体积偏大时可用多阶段构建并清理构建缓存想进一步压缩可考虑更小的基础镜像但要留意 CUDA 和依赖的兼容性。延伸学习跑通容器只是入口。想继续往下走按这条线看快速入门FlagAutoModel加载、编码、算相似度的最小用法。微调示例嵌入模型微调的参数与启动方式。推理示例 与 重排推理嵌入和重排各自的调用方式。Tutorials 与 官方文档从嵌入、指标、索引到评估的完整教程。参数和依赖以仓库内的setup.py与脚本为准环境有变化时先查这两个文件再改容器。【免费下载链接】FlagEmbeddingRetrieval and Retrieval-augmented LLMs项目地址: https://gitcode.com/GitHub_Trending/fl/FlagEmbedding创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
FlagEmbedding 容器化部署完整方案：一台机器跑通嵌入检索到常驻重排服务
FlagEmbedding 容器化部署完整方案一台机器跑通嵌入检索到常驻重排服务【免费下载链接】FlagEmbeddingRetrieval and Retrieval-augmented LLMs项目地址: https://gitcode.com/GitHub_Trending/fl/FlagEmbeddingFlagEmbedding 是 BGE 系列的开源工具集核心是两套模型做稠密向量检索的嵌入模型BGE Embedder和对检索结果做精排的重排模型BGE Reranker两者一起支撑语义搜索和 RAG 场景。下面这套容器化流程目标只有一个让它在任何一台带 GPU 的机器上复制几行命令就能跑起来不用你手动折腾驱动和依赖。什么时候才值得容器化别把容器化当成默认动作。先对照下面三条命中两条以上再动手否则直接pip install更快。目标机和你开发机不一致操作系统、CUDA 驱动、Python 版本任意一项不同裸装环境大概率踩坑容器能把这份差异锁死。同一套模型要反复部署嵌入/重排模型要在多台机器、多个环境里跑容器镜像保证每份部署用的是同一版依赖。GPU 要长期独占训练或评测会长时间占用显存容器能把宿主机依赖和这块 GPU 的使用隔离开避免互相污染。三条都不满足、又只是偶尔跑一次推理的话本地装包足矣容器化反而多一层维护成本。最短路径一条命令先跑起来先别急着优化跑通再说。分两步拿到正反馈。第一步确认宿主机环境就绪。需要 Docker 20.10 以上、已装好 NVIDIA Container Toolkit、以及 Git。硬件参考下限是 8 核 CPU、16GB 内存、一张 8GB 显存的 NVIDIA 卡想跑微调建议直接给到 16GB 显存。第二步在项目根目录放一个精简Dockerfile只保留关键几行完整依赖以setup.py为准FROM nvidia/cuda:11.7.1-cudnn8-devel-ubuntu22.04 WORKDIR /app RUN apt-get update apt-get install -y --no-install-recommends git python3 python3-pip \ ln -s /usr/bin/python3 /usr/bin/python rm -rf /var/lib/apt/lists/* RUN pip3 install --no-cache-dir --upgrade pip RUN git clone https://gitcode.com/GitHub_Trending/fl/FlagEmbedding . RUN pip3 install --no-cache-dir torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117 \ pip3 install --no-cache-dir -e . ENV HF_HUB_CACHE/app/cache ENV PYTHONPATH/app这条Dockerfile做的事基于 CUDA 11.7 镜像装好系统依赖把仓库拉进来按setup.py安装库并指定 cu117 的 PyTorch再把 HuggingFace 缓存目录指向/app/cache。构建并验证一条命令docker build -t flagembedding:latest . \ docker run --gpus all --rm flagembedding:latest \ python -c from FlagEmbedding import FlagModel; print(ok)第一次构建要拉基础镜像和依赖参考耗时 10 到 20 分钟网络不稳就重跑构建命令层缓存会加速后续构建。看到输出ok说明库能正常 import最小部署就成了。按需解决四个常见问题对应的参数跑通之后按你实际卡住的地方挑对应命令即可不必全配。显存不够微调直接 OOM微调脚本examples/finetune/embedder/encoder_only/base.sh里两个参数直接决定显存占用。把per_device_train_batch_size往下调该脚本默认值为 2可继续降同时开gradient_checkpointing用时间换空间per_device_train_batch_size2 # 显存 8GB 建议从 2 起16GB 可上调到 8~16 gradient_checkpointing # base.sh 已开启OOM 时确认它没被注释调小批量是最直接的手段配合梯度累积可以基本保持等效训练步长。想固定用某一块 GPU多卡机器上用CUDA_VISIBLE_DEVICES把容器绑到指定卡--gpus里也写明设备号docker run --gpus device0 --rm \ -e CUDA_VISIBLE_DEVICES0 \ flagembedding:latest这样容器只看到 0 号卡不会误占正在跑别的任务的卡。结果要留存缓存别再重复下模型和数据落到卷里重启容器不用重新拉。缓存目录由HF_HUB_CACHE控制默认~/.cache/huggingface/hubdocker run --gpus all --rm \ -v $PWD/cache:/app/cache \ -v $PWD/data:/app/data \ -v $PWD/output:/app/output \ flagembedding:latest三个卷分别对应/app/cache存模型缓存、/app/data存数据集、/app/output存训练与推理产物。宿主机目录不存在会先建出来。要变成常驻服务把--rm换成-d起个名字映射端口日志写到独立目录方便后台跑推理服务docker run --gpus all -d \ --name flagembedding-service \ -p 8000:8000 \ -v $PWD/cache:/app/cache \ -v $PWD/logs:/app/logs \ flagembedding:latest-d表示后台运行--name给服务起名便于后续管理-p 8000:8000把容器端口映射到宿主机对应Dockerfile里的EXPOSE 8000。验证清单怎么确认部署成功了跑完命令别只看没报错。按这张表逐项确认每项都有明确预期和查法检查点预期结果怎么查镜像已生成docker images有flagembedding:latestdocker images \| grep flagembedding库可导入终端输出ok见最小部署那条python -c命令GPU 可见nvidia-smi列出预期显卡进容器执行nvidia-smi缓存生效模型文件落在/app/cache重启不再下载docker run ... ls /app/cache结果落盘训练/推理产物出现在挂载的output目录检查宿主机$PWD/output服务在跑容器状态为Up端口已监听docker ps与curl localhost:8000六项全过才算部署闭环而不只是能import。故障排查现象、原因、处理遇到报错先对表定位比盲目重装高效。现象可能原因处理镜像构建很慢或中断首次拉基础镜像和依赖、网络不稳重跑构建命令层缓存会续传确认网络通畅起容器后import失败依赖没装全或走了requirements.txt而项目实际用setup.py确认用pip install -e .按setup.py安装微调 OOM批量过大、单卡显存不足降per_device_train_batch_size、确认gradient_checkpointing开启占错了卡未固定设备号容器看到多卡用--gpus device0加CUDA_VISIBLE_DEVICES0绑定每次重启都重新下模型没挂缓存卷或HF_HUB_CACHE未指向挂载目录挂-v $PWD/cache:/app/cache并设置HF_HUB_CACHE/app/cachenvidia-smi在容器里找不到卡宿主未装 NVIDIA Container Toolkit先装好 Toolkit 并重启 Docker再带--gpus all启动镜像体积偏大时可用多阶段构建并清理构建缓存想进一步压缩可考虑更小的基础镜像但要留意 CUDA 和依赖的兼容性。延伸学习跑通容器只是入口。想继续往下走按这条线看快速入门FlagAutoModel加载、编码、算相似度的最小用法。微调示例嵌入模型微调的参数与启动方式。推理示例 与 重排推理嵌入和重排各自的调用方式。Tutorials 与 官方文档从嵌入、指标、索引到评估的完整教程。参数和依赖以仓库内的setup.py与脚本为准环境有变化时先查这两个文件再改容器。【免费下载链接】FlagEmbeddingRetrieval and Retrieval-augmented LLMs项目地址: https://gitcode.com/GitHub_Trending/fl/FlagEmbedding创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
计算与应用全解析)
