systemd 这套东西用好了是真顺手用不好是真折磨人。我见过太多人卡在会敲 systemctl start 但不懂 service 和 target 到底怎么配合这一步上出了故障只能对着满屏报错干瞪眼。这篇东西不打算面面俱到讲 systemd 的所有细节那得上千页文档我就聚焦在 service 和 target 这两个最常见的单元类型上把它们的协作逻辑、文件结构、常用命令和排错思路一次说透。1. 先理解 systemd 的设计逻辑启动如何从串行走向并行1.1 SysVinit 时代的串行启动困境聊 systemd 之前得先知道它到底解决了什么问题。传统 SysVinit 启动方式下系统按脚本编号顺序执行/etc/rc.d/rc3.d/里的启动脚本S01xxx先跑、S99xxx后跑一个跑完才跑下一个。这种设计简单直观但效率低下——如果某个服务启动时需要等待网络就绪后面的服务都得跟着干等。服务器配置越高、服务越多启动时间越长10分钟开机不是梦。依赖关系更是靠人工约定维持的。你在 S99 启动数据库另一个脚本在 S50 就想连接它那必然失败。维护成本极高。1.2 单元Unit与依赖图sysVinit 的基因突变systemd 把启动对象抽象成了单元Unit每个单元对应一个配置文件描述一个具体的系统资源比如一个服务.service、一个挂载点.mount、一个套接字.socket、一个设备.device以及本文重点之一的 target.target。单元之间通过依赖关系组成一张有向无环图。systemd 会根据依赖关系进行拓扑排序没有依赖关系的单元可以并行启动有依赖关系的按依赖顺序执行。这就像装修房子不需要等刷墙完成才去铺地板只要水电改造完成瓦工和木工就能同时进场。启动时间从串行累加变成关键路径长度系统开机速度快了几个量级。1.3 关键概念service 和 target 到底是什么关系刚开始接触 systemd 的人最容易被这两个词绕晕。我用一句话概括service 是做什么target 是处于什么状态。service 单元描述的是某个具体的服务进程比如 nginx.service、sshd.service、docker.service它定义了这个进程怎么启动、怎么停止、挂在哪个 target 下。target 单元不启动任何进程它只是一个逻辑分组和状态标记代表一组服务的集合。打个比方target 就像公司里的项目组标签——生产环境组下挂着 nginx、mysql、redis 等服务的名片。你切换到某个 target就等于通知这组服务该上班了切换到另一个 target就是通知另一组服务该下班了。一句话总结它们的协作方式target 通过 Wants 或 Requires 声明依赖哪些 serviceservice 通过 Install 段的 WantedBy 挂在某个 target 下两者互相配合共同完成系统某个状态的收敛。2. service 单元拆解从 unit 文件到运行状态的完整链路2.1 unit 文件的三层结构与核心字段service 单元的配置文件通常分三段[Unit]、[Service]、[Install]。这三段各司其职少了哪段都会出问题。[Unit]段描述单元的基本信息和依赖关系。Description一段人类可读的描述systemctl status里显示的就是它。After指名本单元在哪些单元之后启动。它只控制顺序不负责拉起依赖。Requires硬依赖。如果这里列出的单元启动失败本单元也会启动失败。Wants软依赖。如果这里列出的单元启动失败本单元继续启动不影响自身。这是最容易踩坑的地方。很多人Afternetwork-online.target以为这就保证了网络就绪但线上环境暴露过这个问题——刷写的时候如果你只有 After 没有 Wants/Requiressystemd 不会因为你写了 After 就去启动那个依赖项。After 约束的是如果它存在且排在前面那我等它而不是我依赖它请拉起它。要拉起依赖必须额外写Wants或Requires。[Service]段是核心描述进程如何运行。Type决定 systemd 如何判断服务已启动完成。常用值有simple默认值进程启动即认为服务已启动不等待就绪。forking父进程 Fork 出子进程后父进程退出systemd 认为服务已启动。常用于传统守护进程。oneshot进程执行完就退出适合一次性任务。需要配合RemainAfterExit。notify进程通过 sd_notify 主动通知 systemd 我准备好了最精确但需要程序支持。idle等系统空闲了再启动实际用得不多。ExecStart启动命令的唯一主入口。注意这个字段只能出现一次除非用ExecStart前缀追加多行但那样也会合并为一个主进程。ExecStop停止命令。如果没写systemd 会默认给主进程发 SIGTERM。Restart进程退出后是否自动重启。可选值no默认、on-success、on-failure、on-abnormal、on-abort、on-watchdog、always。RestartSec重启前等待的秒数默认 100ms。Environment/EnvironmentFile注入环境变量很多服务启动参数靠这个。User/Group以什么身份运行安全加固必备。LimitNOFILE文件描述符上限高并发服务必须要调经典问题——Too many open files。[Install]段定义安装行为。WantedBy通常填一个 target比如multi-user.target。执行systemctl enable时systemd 会在/etc/systemd/system/target名.wants/下创建一个指向当前 unit 文件的软链接从而实现开机自启。RequiredBy效果类似但生成的是.requires/软链接表示硬依赖。Alias给单元一个别名。这三段的结构我建议刻在脑子里。排查问题时90% 的错误都能追溯到这三段的某个字段写错了。2.2 service 状态机与 systemctl 命令的对应关系systemd 的 service 状态不是只有跑着和没跑。systemctl status输出第一行的Active:字段有几种状态状态含义active (running)服务正在运行最常见active (exited)服务已启动并正常退出常见于 oneshot 类型服务active (waiting)服务已启动但正在等待事件常见于 socket 监听型服务inactive (dead)服务未启动activating (auto-restart)服务正在自动重启你可能在日志里看到这个状态反复横跳deactivating服务正在停止过程中failed服务启动失败或运行中崩溃对应到命令上systemctl start是请求启动、systemctl stop是请求停止、systemctl restart是先停止再启动、systemctl reload是重载配置文件但不重启进程。注意 reload 的前提是服务支持 SIGHUP 重载不支持的服务执行 reload 会直接报错。有两个命令特别容易被忽略systemctl is-enabled和systemctl is-active。前者用于判断服务是否设置了开机自启后者用于判断服务当前是否活跃。在脚本里做条件判断时这两个命令配合使用比硬解析systemctl status输出可靠得多。2.3 service 启停的底层动作enable 到底做了什么systemctl enable这个操作是新手的重灾区。它本身不会启动服务只是根据[Install]段的WantedBy在对应 target 的 wants 目录里建了一个软链接。真正开机时target 被拉起才会通过这个软链接把服务带起来。对应的systemctl disable就是删掉软链接不会停止正在运行的服务。这个启而不动、禁而不停的设定让很多人困惑一旦理解了 enable 只是在创建开机快照引用就完全想通了。所以要实现开机自启且立即启动请用systemctl enable --now把两步一次性做完。3. target 是什么把服务编排成一套可切换的系统状态3.1 target 与 SysVinit 运行级别的对应关系SysVinit 时代有运行级别runlevel的概念runlevel 3 是文本模式多用户runlevel 5 是图形模式。systemd 保留了这套理念但包装成了 target 单元。常用 target 对应关系如下运行级别target 单元说明0poweroff.target关机1rescue.target单用户救援模式2/3/4multi-user.target多用户文本模式5graphical.target多用户图形模式6reboot.target重启-emergency.target紧急模式比 rescue 更精简查看当前处于哪个 target用systemctl get-default。修改默认 target用systemctl set-default multi-user.target。这条命令实质上是修改/etc/systemd/system/default.target这个软链接让系统开机时自动进入 multi-user 状态。3.2 从运行级别切换到target 切换运行级别切换的命令是 init Nsystemd 里对应的是systemctl isolate target。isolate 这个词很形象——切换目标就意味着先停掉当前 target 之外的服务再拉起新 target 依赖的服务。用这条命令时心里要有数network.target 和 dbus.service 这种基础服务最好不要随便 isolate否则可能导致网络断开甚至系统无法访问。生产环境做 target 切换前先看清当前 target 的依赖树systemctl list-dependencies target可以列出某个 target 会拉起哪些单元。3.3 自定义 target把服务分成多套运行方案target 最实用的场景之一是自定义服务分组。比如一台服务器上同时跑着开发环境和生产环境的服务你想让它在开发模式和生产模式之间切换不需要逐个 start/stop直接定义两个 target 就能实现。自定义 target 很简单写一个/etc/systemd/system/dev.target文件[Unit] DescriptionDevelop Environment Target Requiresmulti-user.target Aftermulti-user.target AllowIsolateyes然后在开发环境的 service 文件的[Install]段里把WantedBymulti-user.target改成WantedBydev.target。执行systemctl enable后这些服务就会挂到 dev.target 下。切换到开发模式systemctl isolate dev.target切换回生产模式systemctl isolate multi-user.target这样就把服务编排从单个服务启停提升到了整组服务切换的层面效率完全不是一个级别。3.4 Wants、Requires 与 After 的协作陷阱前面已经提到 After 只控顺序不拉依赖这里再细化一个典型场景。假设你的服务依赖数据库unit 文件写了[Unit] Requiresmydb.service Aftermydb.service这段配置表达的语义是mydb 必须启动成功且本服务在 mydb 之后启动。但如果 mydb 在开机时因为某种原因没被任何 target 拉起仅凭这两行systemd 会在启动本服务时自动去拉 mydb。这个自动拉起的机制是 Requires 的关键特性也是很多人困惑的地方。但 Requires 有个副作用如果 mydb 启动失败你的服务也会启动失败。如果只是希望它启动但不强求就用Wantsmydb.service。排查这类问题时systemd-analyze critical-chain非常有用。它会分析出启动过程中最耗时的关键路径帮你看清楚哪个服务阻塞了启动。执行效果类似systemd-analyze critical-chain myapp.service输出会显示从当前服务回溯到开机目标之间的依赖链以及每个环节消耗的时间。排查启动慢、启动卡死的问题这是第一个要跑的命令。4. 实战从零配置一个开机自启且崩溃自动恢复的服务4.1 需求场景与设计思路假设我们要部署一个自己写的日志采集脚本/opt/log-agent/collector.py它长期监听日志目录变化并上传到远端。需求有三个开机自动启动且在网络就绪之后再启动。进程崩溃后自动拉起。重试要有限度不能让服务器陷入无限重启的循环。这个场景非常典型涵盖了 unit 文件的绝大部分核心字段。我建议凡是做系统运维的都应该能凭记忆写出这个配置。4.2 完整 unit 文件示例与字段解读创建/etc/systemd/system/log-agent.service[Unit] DescriptionLog Collection Agent Wantsnetwork-online.target Afternetwork-online.target [Service] Typesimple Userloguser Grouploggroup WorkingDirectory/opt/log-agent ExecStart/usr/bin/python3 /opt/log-agent/collector.py ExecStop/bin/kill -SIGTERM $MAINPID Restarton-failure RestartSec5 EnvironmentFile/etc/log-agent/agent.env LimitNOFILE65535 [Install] WantedBymulti-user.target逐个字段解释一下设计意图Wantsnetwork-online.target配合Afternetwork-online.target确保网络真正就绪后才启动。注意用的是 Wants 而非 Requires因为网络没起来时日志采集器也不至于完全不能用只是可能暂时连不上远端。Typesimplecollector.py 是前台运行、不 fork 的 Python 脚本用 simple 最合适。User和Group为采集器创建一个独立账户不 root 运行。这是安全加固的基本要求日志采集脚本一旦被攻击者注入恶意代码权限范围被限制在独立用户内。ExecStop默认停服信号是 SIGTERMPython 脚本需要捕获 SIGTERM 做优雅退出这里显式指定更明确。Restarton-failure只在非正常退出时重启。脚本主动sys.exit(0)退出不重启因为可能是手工维护或正常退出崩溃、被杀、异常退出则拉起。RestartSec55 秒后再拉起给远端端口释放或外部依赖恢复留出时间避免疯狂重启打爆日志。EnvironmentFile把敏感配置API key、远端地址从脚本中剥离到独立文件方便管理也避免在 ps 命令行里暴露敏感信息。LimitNOFILE65535日志采集器可能同时打开大量文件句柄系统默认 ulimit 可能不够。4.3 启用、启动与验证流程写完 unit 文件后严格按照顺序执行sudo systemctl daemon-reload sudo systemctl enable --now log-agent.servicedaemon-reload不可省略。你改了 unit 文件后systemd 并不知道必须重新加载才会采用新的配置。这是新手最容易漏掉的步骤。验证运行状态systemctl status log-agent.service输出里Active: active (running)表示正常。接着验证开机自启systemctl is-enabled log-agent.service输出enabled即可。4.4 验证崩溃自动恢复逻辑这是最值得做的一步实测重启策略是否生效。sudo pkill -9 -f collector.py sleep 8 systemctl status log-agent.service如果配置正确8 秒后你会发现服务已自动重新启动状态从activating (auto-restart)变为active (running)。这里有个细节systemctl status会显示服务已启动的次数和最近一次的退出码方便了解崩溃频率。如果你看到服务启动次数在飙升就要考虑是不是Restartalways配得太激进导致崩溃-重启死循环。我用on-failure配合RestartSec的实践就是为了给外部依赖留出恢复时间避免服务在依赖未就绪时反复尝试。关于StartLimitIntervalSec也有必要提一下。默认情况下systemd 对单位时间内重启次数有限制如果超过限制会拒绝继续拉起并进入failed状态这是保护机制。如果你确实希望无限重启需要在 service 段加StartLimitIntervalSec0 StartLimitBurst0但我建议保持默认毕竟无限重启不是一个好设计。系统提示你连续重启失败说明这个服务有更深层的问题。5. 服务起不来一套高效的故障排查链路5.1 第一步看清报错区分 Exec 失败和依赖失败服务启动失败时的报错五花八门但归纳起来无非几类。我看到网络上有不少人贴过Job for xxx.service failed because the control process exited with error code这类的报错这属于典型的Exec 启动失败——命令本身执行出错可能是脚本路径不对、权限不足、命令找不到也可能是脚本逻辑抛了异常。另一种是Dependency failed for xxx.service这种直接告诉你依赖的单元没起来不用自己瞎猜去查依赖的服务为什么失败即可。用systemctl list-dependencies --reverse看哪些服务依赖当前单元或直接一层层去查上游依赖。5.2 第二步用 journalctl 看日志而不是靠猜定位问题的最快路径是看日志journalctl -u log-agent.service -n 100-u指定单元-n 100显示最近 100 行。加上-e参数可以直接跳到日志末尾-f参数类似 tail -f用于实时跟踪。如果看完日志还没头绪尝试journalctl -u log-agent.service --since today看今天全量日志。很多时候系统日志会给出误导信息比如Permission denied并不一定是你以为的那个权限问题也可能是 SELinux 拦截。遇到这种情况用journalctl -u xxx.service看到内核报错后再查一下 SELinuxausearch -m avc -ts recent如果 SELinux 拦截确实存在要么调整策略要么给脚本目录设置正确的安全上下文。这是 CentOS/RHEL 系发行版比较高发的坑。5.3 第三步检查文件权限、路径与工作目录ExecStart里的命令在 systemd 环境下运行环境变量与交互式 shell 完全不同。很多人脚本在终端里能跑做成服务就报No such file or directory最常见原因是脚本第一行的 shebang 路径不对比如写的是#!/usr/bin/python但系统里只有/usr/bin/python3。另一个隐蔽问题是WorkingDirectory。不写这个字段时服务的工作目录是/脚本里如果用相对路径读写文件就会找不到文件或写入权限不足。我在配置采集服务时都会明确指定WorkingDirectory这条经验省了无数排查时间。权限问题也值得单独排查。User指定的用户是否对日志目录、配置文件目录有读写权限确认方式sudo -u loguser test -r /etc/log-agent/agent.env echo read ok sudo -u loguser test -w /var/log/agent echo write ok还有一类情况是 ExecStart 里用了环境变量但环境变量没有通过EnvironmentFile注入成功运行时直接拿了空值。可以通过systemctl show log-agent.service -p Environment查看服务实际收到的环境变量确认注入是否生效。5.4 一套标准的排错顺序表我把日常排错顺序整理成一张表实际遇到问题按顺序执行即可顺序动作对应命令解决的问题1查看服务状态systemctl status xxx.service确认是否 failed/activating2看系统日志journalctl -u xxx.service -n 100定位报错行3手动运行命令以服务用户的身份在终端跑 ExecStart排除环境变量、权限问题4检查配置文件systemd-analyze verify /etc/systemd/system/xxx.service检查 unit 文件语法错误5检查依赖链systemctl list-dependencies xxx.service排查依赖未就绪6查看内核日志dmesg | tail -50排查 OOM、进程被杀等系统级问题第六步相当实用。进程启动就被杀日志里却看不到任何输出十有八九是内核 OOM Killer 动了手这时候dmesg里会有Out of memory: Killed process的记录直接锁定问题方向。6. 几个提升日常维护效率的命令组合与检查思路6.1 快速盘点系统当前服务状态看系统所有失败的服务一条命令就够了systemctl list-units --typeservice --statefailed如果输出为空说明当前所有服务健康。日常巡检时把它写进 cron 或监控脚本定时检查失败服务并及时告警比等到用户反馈服务挂了再处理高效得多。列出当前运行的 targetsystemctl list-units --typetarget --stateactive输出里包含当前处于哪个 target、每个 target 下有多少活跃单元能一眼看出系统的整体状态。6.2 分析开机耗时systemd-analyze 三连systemd-analyze 是排查启动慢问题的利器三个命令组合用systemd-analyze time systemd-analyze blame systemd-analyze critical-chaintime给出总开机时间blame按启动耗时从高到低排列所有单元找出最耗时的罪魁祸首critical-chain展示关键路径暴露的是哪些服务的延长直接影响开机时间而blame里耗时高但不在关键路径上的服务其实影响没那么大这两个要配合起来看不要看到blame里某个服务高就直接下结论。6.3 批量管理服务的思路线上环境如果有多台服务器需要同步操作服务状态一条远程命令搞定for host in web01 web02 web03; do ssh $host systemctl restart nginx.service; done注意批量操作前一定先验证配置改完 unit 文件忘了daemon-reload就去重启服务很可能出现重启后状态正常但服务行为诡异的情况。6.4 关于开机启动项日常检查排查为什么这个服务开机自动执行了这类问题时只要记住软链接比 unit 文件本身更有参考价值systemctl list-unit-files --typeservice --stateenabled这个命令枚举出所有已启用开机自启的服务。如果想看某个服务究竟由哪个 target 牵起查看对应 wants 目录的软链接就能一目了然ls -l /etc/systemd/system/multi-user.target.wants/ | grep log-agent如果看到软链接指向/dev/null说明该服务已被mask屏蔽。mask 和 disable 不一样disable 只是取消开机自启manual 启动仍可执行mask 则是彻底锁定连手动启动都不允许会报Failed to start: Unit xxx is masked.的错误。6.5 安全视角下的服务加固习惯最后多说两句安全习惯。配置服务时尽量遵循以下几条原则最小权限运行不要整篇 unit 文件里全是 root 运行。web 服务用 www-data日志采集用独立用户数据库用自己的专用用户。关键系统服务禁止随意 mask尤其是 sshd、systemd-journald 这类基础服务一旦 mask可能导致连远程管理入口都进不去。生产环境别图一时方便在防火墙加固时随手 mask 掉不认识的系统服务先查清楚它的作用再说。ProtectSystem 与 ProtectHome 加固如果你的服务不需要写系统目录考虑在 service 段加上ProtectSystemstrict ProtectHometrue PrivateTmptrue这些都是 systemd 自带的沙箱加固选项能够阻止服务进程写系统关键路径、访问 home 目录即使进程被攻破也能显著缩小破坏面。配置完用systemd-analyze security log-agent.service查看安全评分能看到加固前后的差异。我在第一次给采集脚本加上ProtectSystemstrict时服务直接启动失败排了半天发现是脚本要在/var/log/agent/下写状态文件被沙箱挡住了。解决办法是单独放行该目录ReadWritePaths/var/log/agent/这类跟沙箱机制的磨合是正常的经历过一次系统性的加固过程后你对 systemd 的信任感会明显不同——它不只是进程管理器更像一个系统级的资源治理框架。最后再分享一个小技巧改完任何 unit 文件后养成习惯执行systemd-analyze verify做语法检查再daemon-reload重新加载。这个习惯帮我挡掉了至少一半的配置改了没生效的蠢问题。systemd 的文档很多但实际用下来真正高价值的点就集中在 service 和 target 的协作关系、依赖字段的精确语义、日志与状态机的联动这三大块上把这三点吃透日常运维中的绝大部分场景都能游刃有余地应对。
systemd service 与 target 协作机制及故障排查指南
systemd 这套东西用好了是真顺手用不好是真折磨人。我见过太多人卡在会敲 systemctl start 但不懂 service 和 target 到底怎么配合这一步上出了故障只能对着满屏报错干瞪眼。这篇东西不打算面面俱到讲 systemd 的所有细节那得上千页文档我就聚焦在 service 和 target 这两个最常见的单元类型上把它们的协作逻辑、文件结构、常用命令和排错思路一次说透。1. 先理解 systemd 的设计逻辑启动如何从串行走向并行1.1 SysVinit 时代的串行启动困境聊 systemd 之前得先知道它到底解决了什么问题。传统 SysVinit 启动方式下系统按脚本编号顺序执行/etc/rc.d/rc3.d/里的启动脚本S01xxx先跑、S99xxx后跑一个跑完才跑下一个。这种设计简单直观但效率低下——如果某个服务启动时需要等待网络就绪后面的服务都得跟着干等。服务器配置越高、服务越多启动时间越长10分钟开机不是梦。依赖关系更是靠人工约定维持的。你在 S99 启动数据库另一个脚本在 S50 就想连接它那必然失败。维护成本极高。1.2 单元Unit与依赖图sysVinit 的基因突变systemd 把启动对象抽象成了单元Unit每个单元对应一个配置文件描述一个具体的系统资源比如一个服务.service、一个挂载点.mount、一个套接字.socket、一个设备.device以及本文重点之一的 target.target。单元之间通过依赖关系组成一张有向无环图。systemd 会根据依赖关系进行拓扑排序没有依赖关系的单元可以并行启动有依赖关系的按依赖顺序执行。这就像装修房子不需要等刷墙完成才去铺地板只要水电改造完成瓦工和木工就能同时进场。启动时间从串行累加变成关键路径长度系统开机速度快了几个量级。1.3 关键概念service 和 target 到底是什么关系刚开始接触 systemd 的人最容易被这两个词绕晕。我用一句话概括service 是做什么target 是处于什么状态。service 单元描述的是某个具体的服务进程比如 nginx.service、sshd.service、docker.service它定义了这个进程怎么启动、怎么停止、挂在哪个 target 下。target 单元不启动任何进程它只是一个逻辑分组和状态标记代表一组服务的集合。打个比方target 就像公司里的项目组标签——生产环境组下挂着 nginx、mysql、redis 等服务的名片。你切换到某个 target就等于通知这组服务该上班了切换到另一个 target就是通知另一组服务该下班了。一句话总结它们的协作方式target 通过 Wants 或 Requires 声明依赖哪些 serviceservice 通过 Install 段的 WantedBy 挂在某个 target 下两者互相配合共同完成系统某个状态的收敛。2. service 单元拆解从 unit 文件到运行状态的完整链路2.1 unit 文件的三层结构与核心字段service 单元的配置文件通常分三段[Unit]、[Service]、[Install]。这三段各司其职少了哪段都会出问题。[Unit]段描述单元的基本信息和依赖关系。Description一段人类可读的描述systemctl status里显示的就是它。After指名本单元在哪些单元之后启动。它只控制顺序不负责拉起依赖。Requires硬依赖。如果这里列出的单元启动失败本单元也会启动失败。Wants软依赖。如果这里列出的单元启动失败本单元继续启动不影响自身。这是最容易踩坑的地方。很多人Afternetwork-online.target以为这就保证了网络就绪但线上环境暴露过这个问题——刷写的时候如果你只有 After 没有 Wants/Requiressystemd 不会因为你写了 After 就去启动那个依赖项。After 约束的是如果它存在且排在前面那我等它而不是我依赖它请拉起它。要拉起依赖必须额外写Wants或Requires。[Service]段是核心描述进程如何运行。Type决定 systemd 如何判断服务已启动完成。常用值有simple默认值进程启动即认为服务已启动不等待就绪。forking父进程 Fork 出子进程后父进程退出systemd 认为服务已启动。常用于传统守护进程。oneshot进程执行完就退出适合一次性任务。需要配合RemainAfterExit。notify进程通过 sd_notify 主动通知 systemd 我准备好了最精确但需要程序支持。idle等系统空闲了再启动实际用得不多。ExecStart启动命令的唯一主入口。注意这个字段只能出现一次除非用ExecStart前缀追加多行但那样也会合并为一个主进程。ExecStop停止命令。如果没写systemd 会默认给主进程发 SIGTERM。Restart进程退出后是否自动重启。可选值no默认、on-success、on-failure、on-abnormal、on-abort、on-watchdog、always。RestartSec重启前等待的秒数默认 100ms。Environment/EnvironmentFile注入环境变量很多服务启动参数靠这个。User/Group以什么身份运行安全加固必备。LimitNOFILE文件描述符上限高并发服务必须要调经典问题——Too many open files。[Install]段定义安装行为。WantedBy通常填一个 target比如multi-user.target。执行systemctl enable时systemd 会在/etc/systemd/system/target名.wants/下创建一个指向当前 unit 文件的软链接从而实现开机自启。RequiredBy效果类似但生成的是.requires/软链接表示硬依赖。Alias给单元一个别名。这三段的结构我建议刻在脑子里。排查问题时90% 的错误都能追溯到这三段的某个字段写错了。2.2 service 状态机与 systemctl 命令的对应关系systemd 的 service 状态不是只有跑着和没跑。systemctl status输出第一行的Active:字段有几种状态状态含义active (running)服务正在运行最常见active (exited)服务已启动并正常退出常见于 oneshot 类型服务active (waiting)服务已启动但正在等待事件常见于 socket 监听型服务inactive (dead)服务未启动activating (auto-restart)服务正在自动重启你可能在日志里看到这个状态反复横跳deactivating服务正在停止过程中failed服务启动失败或运行中崩溃对应到命令上systemctl start是请求启动、systemctl stop是请求停止、systemctl restart是先停止再启动、systemctl reload是重载配置文件但不重启进程。注意 reload 的前提是服务支持 SIGHUP 重载不支持的服务执行 reload 会直接报错。有两个命令特别容易被忽略systemctl is-enabled和systemctl is-active。前者用于判断服务是否设置了开机自启后者用于判断服务当前是否活跃。在脚本里做条件判断时这两个命令配合使用比硬解析systemctl status输出可靠得多。2.3 service 启停的底层动作enable 到底做了什么systemctl enable这个操作是新手的重灾区。它本身不会启动服务只是根据[Install]段的WantedBy在对应 target 的 wants 目录里建了一个软链接。真正开机时target 被拉起才会通过这个软链接把服务带起来。对应的systemctl disable就是删掉软链接不会停止正在运行的服务。这个启而不动、禁而不停的设定让很多人困惑一旦理解了 enable 只是在创建开机快照引用就完全想通了。所以要实现开机自启且立即启动请用systemctl enable --now把两步一次性做完。3. target 是什么把服务编排成一套可切换的系统状态3.1 target 与 SysVinit 运行级别的对应关系SysVinit 时代有运行级别runlevel的概念runlevel 3 是文本模式多用户runlevel 5 是图形模式。systemd 保留了这套理念但包装成了 target 单元。常用 target 对应关系如下运行级别target 单元说明0poweroff.target关机1rescue.target单用户救援模式2/3/4multi-user.target多用户文本模式5graphical.target多用户图形模式6reboot.target重启-emergency.target紧急模式比 rescue 更精简查看当前处于哪个 target用systemctl get-default。修改默认 target用systemctl set-default multi-user.target。这条命令实质上是修改/etc/systemd/system/default.target这个软链接让系统开机时自动进入 multi-user 状态。3.2 从运行级别切换到target 切换运行级别切换的命令是 init Nsystemd 里对应的是systemctl isolate target。isolate 这个词很形象——切换目标就意味着先停掉当前 target 之外的服务再拉起新 target 依赖的服务。用这条命令时心里要有数network.target 和 dbus.service 这种基础服务最好不要随便 isolate否则可能导致网络断开甚至系统无法访问。生产环境做 target 切换前先看清当前 target 的依赖树systemctl list-dependencies target可以列出某个 target 会拉起哪些单元。3.3 自定义 target把服务分成多套运行方案target 最实用的场景之一是自定义服务分组。比如一台服务器上同时跑着开发环境和生产环境的服务你想让它在开发模式和生产模式之间切换不需要逐个 start/stop直接定义两个 target 就能实现。自定义 target 很简单写一个/etc/systemd/system/dev.target文件[Unit] DescriptionDevelop Environment Target Requiresmulti-user.target Aftermulti-user.target AllowIsolateyes然后在开发环境的 service 文件的[Install]段里把WantedBymulti-user.target改成WantedBydev.target。执行systemctl enable后这些服务就会挂到 dev.target 下。切换到开发模式systemctl isolate dev.target切换回生产模式systemctl isolate multi-user.target这样就把服务编排从单个服务启停提升到了整组服务切换的层面效率完全不是一个级别。3.4 Wants、Requires 与 After 的协作陷阱前面已经提到 After 只控顺序不拉依赖这里再细化一个典型场景。假设你的服务依赖数据库unit 文件写了[Unit] Requiresmydb.service Aftermydb.service这段配置表达的语义是mydb 必须启动成功且本服务在 mydb 之后启动。但如果 mydb 在开机时因为某种原因没被任何 target 拉起仅凭这两行systemd 会在启动本服务时自动去拉 mydb。这个自动拉起的机制是 Requires 的关键特性也是很多人困惑的地方。但 Requires 有个副作用如果 mydb 启动失败你的服务也会启动失败。如果只是希望它启动但不强求就用Wantsmydb.service。排查这类问题时systemd-analyze critical-chain非常有用。它会分析出启动过程中最耗时的关键路径帮你看清楚哪个服务阻塞了启动。执行效果类似systemd-analyze critical-chain myapp.service输出会显示从当前服务回溯到开机目标之间的依赖链以及每个环节消耗的时间。排查启动慢、启动卡死的问题这是第一个要跑的命令。4. 实战从零配置一个开机自启且崩溃自动恢复的服务4.1 需求场景与设计思路假设我们要部署一个自己写的日志采集脚本/opt/log-agent/collector.py它长期监听日志目录变化并上传到远端。需求有三个开机自动启动且在网络就绪之后再启动。进程崩溃后自动拉起。重试要有限度不能让服务器陷入无限重启的循环。这个场景非常典型涵盖了 unit 文件的绝大部分核心字段。我建议凡是做系统运维的都应该能凭记忆写出这个配置。4.2 完整 unit 文件示例与字段解读创建/etc/systemd/system/log-agent.service[Unit] DescriptionLog Collection Agent Wantsnetwork-online.target Afternetwork-online.target [Service] Typesimple Userloguser Grouploggroup WorkingDirectory/opt/log-agent ExecStart/usr/bin/python3 /opt/log-agent/collector.py ExecStop/bin/kill -SIGTERM $MAINPID Restarton-failure RestartSec5 EnvironmentFile/etc/log-agent/agent.env LimitNOFILE65535 [Install] WantedBymulti-user.target逐个字段解释一下设计意图Wantsnetwork-online.target配合Afternetwork-online.target确保网络真正就绪后才启动。注意用的是 Wants 而非 Requires因为网络没起来时日志采集器也不至于完全不能用只是可能暂时连不上远端。Typesimplecollector.py 是前台运行、不 fork 的 Python 脚本用 simple 最合适。User和Group为采集器创建一个独立账户不 root 运行。这是安全加固的基本要求日志采集脚本一旦被攻击者注入恶意代码权限范围被限制在独立用户内。ExecStop默认停服信号是 SIGTERMPython 脚本需要捕获 SIGTERM 做优雅退出这里显式指定更明确。Restarton-failure只在非正常退出时重启。脚本主动sys.exit(0)退出不重启因为可能是手工维护或正常退出崩溃、被杀、异常退出则拉起。RestartSec55 秒后再拉起给远端端口释放或外部依赖恢复留出时间避免疯狂重启打爆日志。EnvironmentFile把敏感配置API key、远端地址从脚本中剥离到独立文件方便管理也避免在 ps 命令行里暴露敏感信息。LimitNOFILE65535日志采集器可能同时打开大量文件句柄系统默认 ulimit 可能不够。4.3 启用、启动与验证流程写完 unit 文件后严格按照顺序执行sudo systemctl daemon-reload sudo systemctl enable --now log-agent.servicedaemon-reload不可省略。你改了 unit 文件后systemd 并不知道必须重新加载才会采用新的配置。这是新手最容易漏掉的步骤。验证运行状态systemctl status log-agent.service输出里Active: active (running)表示正常。接着验证开机自启systemctl is-enabled log-agent.service输出enabled即可。4.4 验证崩溃自动恢复逻辑这是最值得做的一步实测重启策略是否生效。sudo pkill -9 -f collector.py sleep 8 systemctl status log-agent.service如果配置正确8 秒后你会发现服务已自动重新启动状态从activating (auto-restart)变为active (running)。这里有个细节systemctl status会显示服务已启动的次数和最近一次的退出码方便了解崩溃频率。如果你看到服务启动次数在飙升就要考虑是不是Restartalways配得太激进导致崩溃-重启死循环。我用on-failure配合RestartSec的实践就是为了给外部依赖留出恢复时间避免服务在依赖未就绪时反复尝试。关于StartLimitIntervalSec也有必要提一下。默认情况下systemd 对单位时间内重启次数有限制如果超过限制会拒绝继续拉起并进入failed状态这是保护机制。如果你确实希望无限重启需要在 service 段加StartLimitIntervalSec0 StartLimitBurst0但我建议保持默认毕竟无限重启不是一个好设计。系统提示你连续重启失败说明这个服务有更深层的问题。5. 服务起不来一套高效的故障排查链路5.1 第一步看清报错区分 Exec 失败和依赖失败服务启动失败时的报错五花八门但归纳起来无非几类。我看到网络上有不少人贴过Job for xxx.service failed because the control process exited with error code这类的报错这属于典型的Exec 启动失败——命令本身执行出错可能是脚本路径不对、权限不足、命令找不到也可能是脚本逻辑抛了异常。另一种是Dependency failed for xxx.service这种直接告诉你依赖的单元没起来不用自己瞎猜去查依赖的服务为什么失败即可。用systemctl list-dependencies --reverse看哪些服务依赖当前单元或直接一层层去查上游依赖。5.2 第二步用 journalctl 看日志而不是靠猜定位问题的最快路径是看日志journalctl -u log-agent.service -n 100-u指定单元-n 100显示最近 100 行。加上-e参数可以直接跳到日志末尾-f参数类似 tail -f用于实时跟踪。如果看完日志还没头绪尝试journalctl -u log-agent.service --since today看今天全量日志。很多时候系统日志会给出误导信息比如Permission denied并不一定是你以为的那个权限问题也可能是 SELinux 拦截。遇到这种情况用journalctl -u xxx.service看到内核报错后再查一下 SELinuxausearch -m avc -ts recent如果 SELinux 拦截确实存在要么调整策略要么给脚本目录设置正确的安全上下文。这是 CentOS/RHEL 系发行版比较高发的坑。5.3 第三步检查文件权限、路径与工作目录ExecStart里的命令在 systemd 环境下运行环境变量与交互式 shell 完全不同。很多人脚本在终端里能跑做成服务就报No such file or directory最常见原因是脚本第一行的 shebang 路径不对比如写的是#!/usr/bin/python但系统里只有/usr/bin/python3。另一个隐蔽问题是WorkingDirectory。不写这个字段时服务的工作目录是/脚本里如果用相对路径读写文件就会找不到文件或写入权限不足。我在配置采集服务时都会明确指定WorkingDirectory这条经验省了无数排查时间。权限问题也值得单独排查。User指定的用户是否对日志目录、配置文件目录有读写权限确认方式sudo -u loguser test -r /etc/log-agent/agent.env echo read ok sudo -u loguser test -w /var/log/agent echo write ok还有一类情况是 ExecStart 里用了环境变量但环境变量没有通过EnvironmentFile注入成功运行时直接拿了空值。可以通过systemctl show log-agent.service -p Environment查看服务实际收到的环境变量确认注入是否生效。5.4 一套标准的排错顺序表我把日常排错顺序整理成一张表实际遇到问题按顺序执行即可顺序动作对应命令解决的问题1查看服务状态systemctl status xxx.service确认是否 failed/activating2看系统日志journalctl -u xxx.service -n 100定位报错行3手动运行命令以服务用户的身份在终端跑 ExecStart排除环境变量、权限问题4检查配置文件systemd-analyze verify /etc/systemd/system/xxx.service检查 unit 文件语法错误5检查依赖链systemctl list-dependencies xxx.service排查依赖未就绪6查看内核日志dmesg | tail -50排查 OOM、进程被杀等系统级问题第六步相当实用。进程启动就被杀日志里却看不到任何输出十有八九是内核 OOM Killer 动了手这时候dmesg里会有Out of memory: Killed process的记录直接锁定问题方向。6. 几个提升日常维护效率的命令组合与检查思路6.1 快速盘点系统当前服务状态看系统所有失败的服务一条命令就够了systemctl list-units --typeservice --statefailed如果输出为空说明当前所有服务健康。日常巡检时把它写进 cron 或监控脚本定时检查失败服务并及时告警比等到用户反馈服务挂了再处理高效得多。列出当前运行的 targetsystemctl list-units --typetarget --stateactive输出里包含当前处于哪个 target、每个 target 下有多少活跃单元能一眼看出系统的整体状态。6.2 分析开机耗时systemd-analyze 三连systemd-analyze 是排查启动慢问题的利器三个命令组合用systemd-analyze time systemd-analyze blame systemd-analyze critical-chaintime给出总开机时间blame按启动耗时从高到低排列所有单元找出最耗时的罪魁祸首critical-chain展示关键路径暴露的是哪些服务的延长直接影响开机时间而blame里耗时高但不在关键路径上的服务其实影响没那么大这两个要配合起来看不要看到blame里某个服务高就直接下结论。6.3 批量管理服务的思路线上环境如果有多台服务器需要同步操作服务状态一条远程命令搞定for host in web01 web02 web03; do ssh $host systemctl restart nginx.service; done注意批量操作前一定先验证配置改完 unit 文件忘了daemon-reload就去重启服务很可能出现重启后状态正常但服务行为诡异的情况。6.4 关于开机启动项日常检查排查为什么这个服务开机自动执行了这类问题时只要记住软链接比 unit 文件本身更有参考价值systemctl list-unit-files --typeservice --stateenabled这个命令枚举出所有已启用开机自启的服务。如果想看某个服务究竟由哪个 target 牵起查看对应 wants 目录的软链接就能一目了然ls -l /etc/systemd/system/multi-user.target.wants/ | grep log-agent如果看到软链接指向/dev/null说明该服务已被mask屏蔽。mask 和 disable 不一样disable 只是取消开机自启manual 启动仍可执行mask 则是彻底锁定连手动启动都不允许会报Failed to start: Unit xxx is masked.的错误。6.5 安全视角下的服务加固习惯最后多说两句安全习惯。配置服务时尽量遵循以下几条原则最小权限运行不要整篇 unit 文件里全是 root 运行。web 服务用 www-data日志采集用独立用户数据库用自己的专用用户。关键系统服务禁止随意 mask尤其是 sshd、systemd-journald 这类基础服务一旦 mask可能导致连远程管理入口都进不去。生产环境别图一时方便在防火墙加固时随手 mask 掉不认识的系统服务先查清楚它的作用再说。ProtectSystem 与 ProtectHome 加固如果你的服务不需要写系统目录考虑在 service 段加上ProtectSystemstrict ProtectHometrue PrivateTmptrue这些都是 systemd 自带的沙箱加固选项能够阻止服务进程写系统关键路径、访问 home 目录即使进程被攻破也能显著缩小破坏面。配置完用systemd-analyze security log-agent.service查看安全评分能看到加固前后的差异。我在第一次给采集脚本加上ProtectSystemstrict时服务直接启动失败排了半天发现是脚本要在/var/log/agent/下写状态文件被沙箱挡住了。解决办法是单独放行该目录ReadWritePaths/var/log/agent/这类跟沙箱机制的磨合是正常的经历过一次系统性的加固过程后你对 systemd 的信任感会明显不同——它不只是进程管理器更像一个系统级的资源治理框架。最后再分享一个小技巧改完任何 unit 文件后养成习惯执行systemd-analyze verify做语法检查再daemon-reload重新加载。这个习惯帮我挡掉了至少一半的配置改了没生效的蠢问题。systemd 的文档很多但实际用下来真正高价值的点就集中在 service 和 target 的协作关系、依赖字段的精确语义、日志与状态机的联动这三大块上把这三点吃透日常运维中的绝大部分场景都能游刃有余地应对。
