如果你在大数据或者数据平台领域待过一阵子肯定听说过Apache SeaTunnel。它是一款使用门槛很低的分布式数据集成工具能帮你把各种数据源之间搬数据比如MySQL到Hive、Kafka到ClickHouse等等。相比其他同步工具SeaTunnel最吸引我的是配置简洁一份配置文件就能把来源、转换、目标说清楚。这篇文章我打算完整记录一下我在Linux环境下从零搭建SeaTunnel 2.3.3以及配套Web控制台的整个过程包括踩过的坑适合刚开始接触SeaTunnel、想通过可视化界面管理同步任务的工程师看。我这次部署的目标机器是普通两台4核8G的Linux服务器一台跑引擎一台跑Web端但实际上都放在同一台机器上也没问题。SeaTunnel自身不依赖Hadoop生态单机也能跑这点对入门非常友好。Web端也并不是一个独立的大系统它是SeaTunnel官方推出的可视化管理平台能直接在浏览器里配置数据源、创建同步任务、看运行日志和监控状态省去了一边改配置文件一边敲命令行的麻烦。1. 部署思路与版本选择1.1 整体架构和组件关系在动手之前我先把SeaTunnel和它的Web端之间的关系理清楚这能避免后续部署时搞混配置位置。SeaTunnel本身是一个数据集成引擎负责真正执行同步任务你可以把它理解成一个“跑数据搬运工作的工人”而SeaTunnel Web是这个工人的“管理控制室”让你不用直接命令工人干活而是通过图形化界面给工人派活、看结果。整个系统其实分三层SeaTunnel引擎层核心执行环境负责解析配置、调度任务、对接各种数据源和数据目标。所有同步动作都发生在这一层。Web后端基于Spring Boot开发的服务主要作用是把Web前端发来的指令翻译成SeaTunnel引擎能理解的提交动作同时管理数据源信息、任务元数据、执行记录等。Web前端用户直接操作的浏览器界面用Vue之类的技术构建负责展示页面、配置表单、任务状态和日志。Web后端需要连接一个MySQL数据库用来保存任务、数据源配置、用户信息等业务数据。所以完整的部署顺序是先准备好MySQL再部署引擎最后再部署Web前后端。Web后端启动时会自动连接引擎把任务提交给SeaTunnel执行所以引擎必须提前就位。1.2 环境需求清单环境部分不需要太高配置但是必须满足下面的条件否则会在某个环节卡住。依赖项版本或配置要求说明操作系统LinuxCentOS 7.x / Ubuntu 20.04等均可用Windows也能跑但脚本兼容性差不推荐生产使用JDKJDK 8及以上我使用的是OpenJDK 1.8.0_392SeaTunnel官方对JDK8支持很稳定MySQLMySQL 8.0 / 5.7用于Web端业务数据存储需要提前建好库内存至少4GB引擎和Web同时跑的时候8G更舒服磁盘至少20GB连接器插件和日志文件会占用不少空间网络可以访问Maven中央仓库或本地仓库安装连接器插件时需要下载依赖jar包JDK安装我这里就不展开了但记得在/etc/profile里配好JAVA_HOME并执行java -version确认一下。很多问题都出在JDK版本太新或者环境变量没生效上导致脚本起不来。1.3 版本选型建议版本选择上我以Apache SeaTunnel 2.3.3为例Web端使用对应的1.0.0版本。这两个版本在官网上都能直接下载社区反馈也比较稳定。如果你下载的是其他版本请注意配置文件路径和脚本名称可能会有差异尤其是Web端版本迭代时改动不算小。我的建议是生产环境不要盲目追最新版选择你所在的团队验证过的版本。数据同步工具牵扯到很多数据源连接器的兼容性新版本往往意味着连接器API有变化老配置可能跑不起来。我就曾经把版本从2.1.0升到2.3.6结果很多连接器配置项改名了花了不少时间调整任务配置。2. SeaTunnel引擎安装2.1 下载与解压我是从Apache官网的下载页面拿到安装包的链接为https://seatunnel.apache.org/download/选择apache-seatunnel-2.3.3-bin.tar.gz。下载完成后上传到服务器并解压到指定目录。tar -zxvf apache-seatunnel-2.3.3-bin.tar.gz mv apache-seatunnel-2.3.3 /opt/seatunnel解压后目录结构大致是这样的bin/启动和停止脚本比如seatunnel.sh、install-plugin.sh。config/引擎级配置比如seatunnel-env.sh、hazelcast.yaml等。lib/引擎核心jar包。connectors/连接器插件的存放位置里面会区分seatunnel这个子目录放各种connector的jar包。plugins/一些可选插件一般用不到。这个目录我会在后面多处引用建议把SEATUNNEL_HOME加进环境变量export SEATUNNEL_HOME/opt/seatunnel echo export SEATUNNEL_HOME/opt/seatunnel /etc/profile source /etc/profile2.2 安装连接器插件SeaTunnel最核心的价值在于连接器。官方把连接器从主包里拆出来了需要单独安装。装连接器有两种方式一种是有网环境下直接运行官方脚本。脚本会从Maven中央仓库拉取对应的jar包到connectors/seatunnel目录sh ${SEATUNNEL_HOME}/bin/install-plugin.sh --plugins connector-console connector-fakeconnector-console是把结果输出到控制台connector-fake是用来模拟生成数据的连接器。这两个是测试引擎跑通时最常用的组合所以先装它们。如果想一次装全所有连接器可以直接执行sh install-plugin.sh脚本会把所有官方连接器都下载下来但时间会比较长。另一种是离线部署时的手动方式。从Maven仓库或者官方连接器压缩包中把对应版本的connector jar包放到connectors/seatunnel目录下。注意放完后检查一下文件权限我曾经因为目录权限不对启动时报了找不到连接器的错后来发现是jar包根本就没读出来。2.3 跑通第一个离线任务引擎装好、插件装好以后我会先跑一个最简单的任务验证引擎本身没有问题。在${SEATUNNEL_HOME}/config下创建一个test.conf文件env { parallelism 1 job.mode BATCH } source { FakeSource { schema { fields { name string age int } } row.num 5 } } transform { } sink { ConsoleSink {} }这个配置的意思是用FakeSource生成5条模拟数据每条包含name和age两个字段不做任何转换直接输出到控制台。然后执行sh ${SEATUNNEL_HOME}/bin/seatunnel.sh --config ${SEATUNNEL_HOME}/config/test.conf如果一切正常你会看到控制台输出类似下面这样的日志并且能看见生成的记录内容2023-... INFO SeaTunnel: ... 2023-... INFO TableSink: ...第一次跑的时候引擎会加载很多jar包比较慢属于正常现象。如果这里能跑通说明JDK、环境变量、核心jar包都没问题Web端部署的前提条件已经满足。3. Seatunnel Web端部署3.1 Web端组成与官方包结构SeaTunnel Web官方提供的二进制包名字是apache-seatunnel-web-1.0.0-bin.tar.gz下载后解压到/opt/seatunnel-web。解压后你会看到bin/包含seatunnel-backend-daemon.sh、seatunnel-frontend-daemon.sh等启停脚本。conf/后端配置文件application.yml前端一些基础配置也在这里。init_sql/初始化数据库的SQL脚本比如seatunnel-server-mysql.sql。lib/后端服务依赖的jar包。webapp/前端编译后的静态文件后端可以直接托管也可以交给Nginx。注意这套Web端的设计里前端和后端是两个独立进程。后端负责接口和数据库交互前端负责页面展示。如果只启动后端但前端没启动浏览器访问不到页面只启动前端但后端没启动页面能打开但接口全挂登录不了。3.2 数据库初始化和依赖准备Web后端需要MySQL来存储任务定义、数据源连接信息、执行历史等。我这里直接在一台装了MySQL 8.0的机器上操作。先登录MySQL建一个专门的库和账号CREATE DATABASE seatunnel_web DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci; CREATE USER seatunnel% IDENTIFIED BY seatunnel123; GRANT ALL PRIVILEGES ON seatunnel_web.* TO seatunnel%; FLUSH PRIVILEGES;UTF8MB4很关键尤其是任务名称和字段注释里如果有中文用utf8可能会有长度问题。接着用官方脚本初始化表结构。找到init_sql目录下的SQL文件执行mysql -h127.0.0.1 -useatunnel -pseatunnel123 seatunnel_web /opt/seatunnel-web/init_sql/seatunnel-server-mysql.sql如果脚本文件是拆成多个的就逐个执行。执行完之后可以看一眼库里表数量正常情况下至少有几十张表。如果一张表都没有说明脚本没执行成功多半是SQL文件编码或者MySQL版本问题。3.3 后端服务配置与启动后端配置集中在/opt/seatunnel-web/conf/application.yml。我通常重点修改这几块数据库连接信息spring: datasource: url: jdbc:mysql://127.0.0.1:3306/seatunnel_web?useSSLfalseuseUnicodetruecharacterEncodingutf8mb4serverTimezoneAsia/Shanghai username: seatunnel password: seatunnel123 driver-class-name: com.mysql.cj.jdbc.Driver服务监听端口server: port: 8080指向SeaTunnel引擎的配置路径seatunnel: engine: home: /opt/seatunnel如果seatunnel.home配置不对后面从Web提交任务时就会找不到引擎脚本。我一开始漏了这个配置结果Web端提交任务一直报错日志提示找不到seatunnel.sh。改完配置后启动后端sh /opt/seatunnel-web/bin/seatunnel-backend-daemon.sh start启动后确认端口是否监听netstat -nltp | grep 8080如果端口没起来去/opt/seatunnel-web/logs/下看后端日志常见的是数据库连不上、端口被占用、配置文件格式错误。我习惯用tail -f实时跟踪日志一旦有报错能马上看到。3.4 前端服务配置与访问前端相对简单官方包自带了静态文件也提供了启动脚本。先看conf/application.yml里有没有前端端口相关配置没有的话直接运行前端daemon脚本sh /opt/seatunnel-web/bin/seatunnel-frontend-daemon.sh start前端服务默认监听的端口不是特别固定有的版本是8081有的版本是8000。我建议启动后先用netstat看看实际监听端口并注意日志中的访问地址。比如我这次启动后日志末尾会打印一行类似web server started at: http://0.0.0.0:8081冒号后面的端口就是你要访问的端口。访问方式是在浏览器里打开http://服务器IP:8081。如果页面打不开先确认防火墙是否放行了对应端口firewall-cmd --zonepublic --add-port8081/tcp --permanent firewall-cmd --reload云服务器的话记得在安全组里也放行这个端口。3.5 登录和整体功能预览Web前端启动成功后浏览器会跳转到登录页。SeaTunnel Web早期版本默认管理员的账号密码是admin/admin不同版本可能不同我启动后第一次登录用的是admin/admin登录成功后会提示修改密码也可以直接用默认密码进去。登录进去以后主界面左边会有数据源、任务管理、调度管理、系统管理等菜单。第一次进去的时候不要急着创建任务先点一遍菜单看看页面是否都能正常加载接口有没有跨域报错。如果页面能打开但点击菜单后一直转圈多半是前端请求不到后端接口需要把前端的API地址做相应配置指向正确的后端地址和端口。4. 基于Web创建一个数据集成任务4.1 添加数据源在Web界面创建同步任务之前得先把源端和目标端的数据源信息维护进去。在“数据源”菜单里点击新增选择数据源类型比如MySQL然后填写连接信息。实际填写的字段一般是数据源名称自定义方便识别。数据库IP和端口。数据库名称。账号和密码。填写完毕后Web端通常会有一个“测试连接”按钮。不要直接跳过一定要点一下验证数据库凭据和网络是否通。我就遇到过能连上MySQL命令行但Web端测试连接就是失败的情况最后排查出来是安全组只放行了3306端口给特定IP而Web服务器不在白名单里。4.2 创建同步作业数据源维护好之后进入任务管理模块新建一个同步任务。这里其实就是用图形化方式生成SeaTunnel的配置。你需要选择同步模式通常是“整库同步”或者“单表同步”然后选源数据源、源表再选目标数据源和目标表。Web界面会自动根据源表结构生成目标表的字段映射一般不需要手动改。如果源端和目标端字段类型不完全一致Web上会有映射编辑功能我建议在这个步骤多花一点时间把类型转换规则确认好免得任务运行时报类型转换错误。创建完作业以后可以先用“试运行”或者“预览”功能跑一次看是否能够正常读取数据。如果没问题再保存作业并正式提交。4.3 提交运行与状态监控提交作业时Web端会把任务交给SeaTunnel引擎执行。这时候你回到作业列表通常能看到作业的运行状态比如“运行中”、“成功”、“失败”。点击运行记录还能查看本次执行的日志。这里我想特别提一句Web端的日志展示完整度是有限的。如果你想排查深层次问题比如连接器内部报错、数据转换失败的具体堆栈还是得去服务端看SeaTunnel引擎的日志。Web端只是把一部分标准输出和错误信息透传出来并非全部。5. 常见问题与排查实录5.1 Web页面能打开但登录接口报错这种情况十有八九是后端没启动或者前端找不到后端。先确认后端端口是否监听再用浏览器F12看网络请求找到登录接口的实际返回。如果是503后端挂了如果是404路径不对如果是网络超时可能是跨域或者后端IP配错了。我之前还遇到过一种情况前端和后端都正常但接口返回Whitelabel Error Page后来发现是MySQL里的用户表数据有问题初始化脚本执行了一半导致用户表缺字段。5.2 任务提交后一直停留在等待状态从Web提交一个任务引擎却没有反应一段时间后任务还是“等待执行”。先去看后端日志是否有类似“cannot find seatunnel engine”或“task state error”的信息。排查方向有三个引擎路径配置是否正确seatunnel.home是否指向了包含bin/seatunnel.sh的真实目录。引擎的connectors/seatunnel目录下是否存在任务中需要使用的连接器jar包。当前用户对SeaTunnel目录是否有读写权限。Web后端进程如果是以root启动的但SeaTunnel目录属主是其他用户也会出问题。5.3 连接器找不到或类冲突这是最常见的坑。安装连接器时包版本和引擎版本不匹配比如SeaTunnel 2.3.3引擎里放了一个2.3.6的连接器jar包运行时会抛出NoSuchMethodError或者ClassNotFoundException。每个大版本对应的连接器必须从对应发布渠道获取。我通常的做法是在下载连接器时把包名中带版本号的那一段和引擎版本保持一致。如果已经有多个连接器版本混在connectors/seatunnel目录里最好先清空再重新安装偷懒容易出问题。5.4 端口占用和服务重复启动Web端部署久了最容易碰到端口被占用的情况。尤其是重启过程中旧的Java进程没有完全退出新进程又起不来。启动前先检查端口lsof -i:8080如果有旧进程先kill掉再启动。不建议每次都用kill -9硬杀最好先尝试优雅关闭脚本比如seatunnel-backend-daemon.sh stop。如果脚本没反应用jps找出对应的Java进程再优雅关闭。硬杀之后有时会残留本地临时文件或锁导致启动失败。5.5 内存不足导致引擎崩溃SeaTunnel引擎默认的JVM堆内存可能比较大。如果服务器总内存只有4G同时跑Web后端和SeaTunnel引擎很容易出现OutOfMemoryError。这种情况可以去改bin/seatunnel.sh或者seatunnel-env.sh里的JAVA_OPTS把-Xmx调小。比如我有一台4G机器把SEATUNNEL_HEAP_OPTS改成-Xms512m -Xmx1024m同时把Web端后端的JVM参数也相应调小任务照样能跑只是并发能力弱一些。对测试环境来说稳定运行比性能更重要。5.6 日志文件位置和排查手段我把这次部署涉及到的日志路径统一整理了一下组件日志路径SeaTunnel引擎日志${SEATUNNEL_HOME}/logs/seatunnel-engine.logWeb后端日志/opt/seatunnel-web/logs/seatunnel-backend-daemon.logWeb前端日志/opt/seatunnel-web/logs/seatunnel-frontend-daemon.log排查问题时从这些日志的尾部开始看。日志虽然又臭又长但异常信息一般都会包含ERROR或者Exception。一个实用技巧是grep -i error /opt/seatunnel-web/logs/*.log | tail -n 50这样能最快定位到今天的报错位置再根据报错内容往上层参数上推。6. 一点实际部署心得这次部署其实没有太多高深的地方但踩过的坑不少。回头总结一下最容易被忽视的其实就是两个路径配置和目录权限。Web端和引擎之间的信息传递依赖配置文件里的绝对路径。如果路径里的某个目录写错了Web端不会给你一个醒目的“路径不存在”提示而是在运行任务时才报错排查起来很绕。我个人建议刚上手的时候把SeaTunnel引擎和Web端都放在同一台服务器上先把本地模式跑通再考虑分布式和生产化。另外如果你在公司的内网环境下载连接器非常慢可以用官方连接器压缩包提前在本地下载好再传到服务器。不要把时间浪费在反复尝试网络超时上。如果你部署完这整套流程一定会发现SeaTunnel的威力确实不小。后续你可以试着接一个真实的数据源比如从MySQL同步一张业务表到另一个数据库感受一下任务从Web提交到执行完毕的完整链路。遇到问题的时候多看看日志多确认配置很多坑都能自己绕过去。
Apache SeaTunnel 2.3.3 与 Web 控制台部署全记录
如果你在大数据或者数据平台领域待过一阵子肯定听说过Apache SeaTunnel。它是一款使用门槛很低的分布式数据集成工具能帮你把各种数据源之间搬数据比如MySQL到Hive、Kafka到ClickHouse等等。相比其他同步工具SeaTunnel最吸引我的是配置简洁一份配置文件就能把来源、转换、目标说清楚。这篇文章我打算完整记录一下我在Linux环境下从零搭建SeaTunnel 2.3.3以及配套Web控制台的整个过程包括踩过的坑适合刚开始接触SeaTunnel、想通过可视化界面管理同步任务的工程师看。我这次部署的目标机器是普通两台4核8G的Linux服务器一台跑引擎一台跑Web端但实际上都放在同一台机器上也没问题。SeaTunnel自身不依赖Hadoop生态单机也能跑这点对入门非常友好。Web端也并不是一个独立的大系统它是SeaTunnel官方推出的可视化管理平台能直接在浏览器里配置数据源、创建同步任务、看运行日志和监控状态省去了一边改配置文件一边敲命令行的麻烦。1. 部署思路与版本选择1.1 整体架构和组件关系在动手之前我先把SeaTunnel和它的Web端之间的关系理清楚这能避免后续部署时搞混配置位置。SeaTunnel本身是一个数据集成引擎负责真正执行同步任务你可以把它理解成一个“跑数据搬运工作的工人”而SeaTunnel Web是这个工人的“管理控制室”让你不用直接命令工人干活而是通过图形化界面给工人派活、看结果。整个系统其实分三层SeaTunnel引擎层核心执行环境负责解析配置、调度任务、对接各种数据源和数据目标。所有同步动作都发生在这一层。Web后端基于Spring Boot开发的服务主要作用是把Web前端发来的指令翻译成SeaTunnel引擎能理解的提交动作同时管理数据源信息、任务元数据、执行记录等。Web前端用户直接操作的浏览器界面用Vue之类的技术构建负责展示页面、配置表单、任务状态和日志。Web后端需要连接一个MySQL数据库用来保存任务、数据源配置、用户信息等业务数据。所以完整的部署顺序是先准备好MySQL再部署引擎最后再部署Web前后端。Web后端启动时会自动连接引擎把任务提交给SeaTunnel执行所以引擎必须提前就位。1.2 环境需求清单环境部分不需要太高配置但是必须满足下面的条件否则会在某个环节卡住。依赖项版本或配置要求说明操作系统LinuxCentOS 7.x / Ubuntu 20.04等均可用Windows也能跑但脚本兼容性差不推荐生产使用JDKJDK 8及以上我使用的是OpenJDK 1.8.0_392SeaTunnel官方对JDK8支持很稳定MySQLMySQL 8.0 / 5.7用于Web端业务数据存储需要提前建好库内存至少4GB引擎和Web同时跑的时候8G更舒服磁盘至少20GB连接器插件和日志文件会占用不少空间网络可以访问Maven中央仓库或本地仓库安装连接器插件时需要下载依赖jar包JDK安装我这里就不展开了但记得在/etc/profile里配好JAVA_HOME并执行java -version确认一下。很多问题都出在JDK版本太新或者环境变量没生效上导致脚本起不来。1.3 版本选型建议版本选择上我以Apache SeaTunnel 2.3.3为例Web端使用对应的1.0.0版本。这两个版本在官网上都能直接下载社区反馈也比较稳定。如果你下载的是其他版本请注意配置文件路径和脚本名称可能会有差异尤其是Web端版本迭代时改动不算小。我的建议是生产环境不要盲目追最新版选择你所在的团队验证过的版本。数据同步工具牵扯到很多数据源连接器的兼容性新版本往往意味着连接器API有变化老配置可能跑不起来。我就曾经把版本从2.1.0升到2.3.6结果很多连接器配置项改名了花了不少时间调整任务配置。2. SeaTunnel引擎安装2.1 下载与解压我是从Apache官网的下载页面拿到安装包的链接为https://seatunnel.apache.org/download/选择apache-seatunnel-2.3.3-bin.tar.gz。下载完成后上传到服务器并解压到指定目录。tar -zxvf apache-seatunnel-2.3.3-bin.tar.gz mv apache-seatunnel-2.3.3 /opt/seatunnel解压后目录结构大致是这样的bin/启动和停止脚本比如seatunnel.sh、install-plugin.sh。config/引擎级配置比如seatunnel-env.sh、hazelcast.yaml等。lib/引擎核心jar包。connectors/连接器插件的存放位置里面会区分seatunnel这个子目录放各种connector的jar包。plugins/一些可选插件一般用不到。这个目录我会在后面多处引用建议把SEATUNNEL_HOME加进环境变量export SEATUNNEL_HOME/opt/seatunnel echo export SEATUNNEL_HOME/opt/seatunnel /etc/profile source /etc/profile2.2 安装连接器插件SeaTunnel最核心的价值在于连接器。官方把连接器从主包里拆出来了需要单独安装。装连接器有两种方式一种是有网环境下直接运行官方脚本。脚本会从Maven中央仓库拉取对应的jar包到connectors/seatunnel目录sh ${SEATUNNEL_HOME}/bin/install-plugin.sh --plugins connector-console connector-fakeconnector-console是把结果输出到控制台connector-fake是用来模拟生成数据的连接器。这两个是测试引擎跑通时最常用的组合所以先装它们。如果想一次装全所有连接器可以直接执行sh install-plugin.sh脚本会把所有官方连接器都下载下来但时间会比较长。另一种是离线部署时的手动方式。从Maven仓库或者官方连接器压缩包中把对应版本的connector jar包放到connectors/seatunnel目录下。注意放完后检查一下文件权限我曾经因为目录权限不对启动时报了找不到连接器的错后来发现是jar包根本就没读出来。2.3 跑通第一个离线任务引擎装好、插件装好以后我会先跑一个最简单的任务验证引擎本身没有问题。在${SEATUNNEL_HOME}/config下创建一个test.conf文件env { parallelism 1 job.mode BATCH } source { FakeSource { schema { fields { name string age int } } row.num 5 } } transform { } sink { ConsoleSink {} }这个配置的意思是用FakeSource生成5条模拟数据每条包含name和age两个字段不做任何转换直接输出到控制台。然后执行sh ${SEATUNNEL_HOME}/bin/seatunnel.sh --config ${SEATUNNEL_HOME}/config/test.conf如果一切正常你会看到控制台输出类似下面这样的日志并且能看见生成的记录内容2023-... INFO SeaTunnel: ... 2023-... INFO TableSink: ...第一次跑的时候引擎会加载很多jar包比较慢属于正常现象。如果这里能跑通说明JDK、环境变量、核心jar包都没问题Web端部署的前提条件已经满足。3. Seatunnel Web端部署3.1 Web端组成与官方包结构SeaTunnel Web官方提供的二进制包名字是apache-seatunnel-web-1.0.0-bin.tar.gz下载后解压到/opt/seatunnel-web。解压后你会看到bin/包含seatunnel-backend-daemon.sh、seatunnel-frontend-daemon.sh等启停脚本。conf/后端配置文件application.yml前端一些基础配置也在这里。init_sql/初始化数据库的SQL脚本比如seatunnel-server-mysql.sql。lib/后端服务依赖的jar包。webapp/前端编译后的静态文件后端可以直接托管也可以交给Nginx。注意这套Web端的设计里前端和后端是两个独立进程。后端负责接口和数据库交互前端负责页面展示。如果只启动后端但前端没启动浏览器访问不到页面只启动前端但后端没启动页面能打开但接口全挂登录不了。3.2 数据库初始化和依赖准备Web后端需要MySQL来存储任务定义、数据源连接信息、执行历史等。我这里直接在一台装了MySQL 8.0的机器上操作。先登录MySQL建一个专门的库和账号CREATE DATABASE seatunnel_web DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci; CREATE USER seatunnel% IDENTIFIED BY seatunnel123; GRANT ALL PRIVILEGES ON seatunnel_web.* TO seatunnel%; FLUSH PRIVILEGES;UTF8MB4很关键尤其是任务名称和字段注释里如果有中文用utf8可能会有长度问题。接着用官方脚本初始化表结构。找到init_sql目录下的SQL文件执行mysql -h127.0.0.1 -useatunnel -pseatunnel123 seatunnel_web /opt/seatunnel-web/init_sql/seatunnel-server-mysql.sql如果脚本文件是拆成多个的就逐个执行。执行完之后可以看一眼库里表数量正常情况下至少有几十张表。如果一张表都没有说明脚本没执行成功多半是SQL文件编码或者MySQL版本问题。3.3 后端服务配置与启动后端配置集中在/opt/seatunnel-web/conf/application.yml。我通常重点修改这几块数据库连接信息spring: datasource: url: jdbc:mysql://127.0.0.1:3306/seatunnel_web?useSSLfalseuseUnicodetruecharacterEncodingutf8mb4serverTimezoneAsia/Shanghai username: seatunnel password: seatunnel123 driver-class-name: com.mysql.cj.jdbc.Driver服务监听端口server: port: 8080指向SeaTunnel引擎的配置路径seatunnel: engine: home: /opt/seatunnel如果seatunnel.home配置不对后面从Web提交任务时就会找不到引擎脚本。我一开始漏了这个配置结果Web端提交任务一直报错日志提示找不到seatunnel.sh。改完配置后启动后端sh /opt/seatunnel-web/bin/seatunnel-backend-daemon.sh start启动后确认端口是否监听netstat -nltp | grep 8080如果端口没起来去/opt/seatunnel-web/logs/下看后端日志常见的是数据库连不上、端口被占用、配置文件格式错误。我习惯用tail -f实时跟踪日志一旦有报错能马上看到。3.4 前端服务配置与访问前端相对简单官方包自带了静态文件也提供了启动脚本。先看conf/application.yml里有没有前端端口相关配置没有的话直接运行前端daemon脚本sh /opt/seatunnel-web/bin/seatunnel-frontend-daemon.sh start前端服务默认监听的端口不是特别固定有的版本是8081有的版本是8000。我建议启动后先用netstat看看实际监听端口并注意日志中的访问地址。比如我这次启动后日志末尾会打印一行类似web server started at: http://0.0.0.0:8081冒号后面的端口就是你要访问的端口。访问方式是在浏览器里打开http://服务器IP:8081。如果页面打不开先确认防火墙是否放行了对应端口firewall-cmd --zonepublic --add-port8081/tcp --permanent firewall-cmd --reload云服务器的话记得在安全组里也放行这个端口。3.5 登录和整体功能预览Web前端启动成功后浏览器会跳转到登录页。SeaTunnel Web早期版本默认管理员的账号密码是admin/admin不同版本可能不同我启动后第一次登录用的是admin/admin登录成功后会提示修改密码也可以直接用默认密码进去。登录进去以后主界面左边会有数据源、任务管理、调度管理、系统管理等菜单。第一次进去的时候不要急着创建任务先点一遍菜单看看页面是否都能正常加载接口有没有跨域报错。如果页面能打开但点击菜单后一直转圈多半是前端请求不到后端接口需要把前端的API地址做相应配置指向正确的后端地址和端口。4. 基于Web创建一个数据集成任务4.1 添加数据源在Web界面创建同步任务之前得先把源端和目标端的数据源信息维护进去。在“数据源”菜单里点击新增选择数据源类型比如MySQL然后填写连接信息。实际填写的字段一般是数据源名称自定义方便识别。数据库IP和端口。数据库名称。账号和密码。填写完毕后Web端通常会有一个“测试连接”按钮。不要直接跳过一定要点一下验证数据库凭据和网络是否通。我就遇到过能连上MySQL命令行但Web端测试连接就是失败的情况最后排查出来是安全组只放行了3306端口给特定IP而Web服务器不在白名单里。4.2 创建同步作业数据源维护好之后进入任务管理模块新建一个同步任务。这里其实就是用图形化方式生成SeaTunnel的配置。你需要选择同步模式通常是“整库同步”或者“单表同步”然后选源数据源、源表再选目标数据源和目标表。Web界面会自动根据源表结构生成目标表的字段映射一般不需要手动改。如果源端和目标端字段类型不完全一致Web上会有映射编辑功能我建议在这个步骤多花一点时间把类型转换规则确认好免得任务运行时报类型转换错误。创建完作业以后可以先用“试运行”或者“预览”功能跑一次看是否能够正常读取数据。如果没问题再保存作业并正式提交。4.3 提交运行与状态监控提交作业时Web端会把任务交给SeaTunnel引擎执行。这时候你回到作业列表通常能看到作业的运行状态比如“运行中”、“成功”、“失败”。点击运行记录还能查看本次执行的日志。这里我想特别提一句Web端的日志展示完整度是有限的。如果你想排查深层次问题比如连接器内部报错、数据转换失败的具体堆栈还是得去服务端看SeaTunnel引擎的日志。Web端只是把一部分标准输出和错误信息透传出来并非全部。5. 常见问题与排查实录5.1 Web页面能打开但登录接口报错这种情况十有八九是后端没启动或者前端找不到后端。先确认后端端口是否监听再用浏览器F12看网络请求找到登录接口的实际返回。如果是503后端挂了如果是404路径不对如果是网络超时可能是跨域或者后端IP配错了。我之前还遇到过一种情况前端和后端都正常但接口返回Whitelabel Error Page后来发现是MySQL里的用户表数据有问题初始化脚本执行了一半导致用户表缺字段。5.2 任务提交后一直停留在等待状态从Web提交一个任务引擎却没有反应一段时间后任务还是“等待执行”。先去看后端日志是否有类似“cannot find seatunnel engine”或“task state error”的信息。排查方向有三个引擎路径配置是否正确seatunnel.home是否指向了包含bin/seatunnel.sh的真实目录。引擎的connectors/seatunnel目录下是否存在任务中需要使用的连接器jar包。当前用户对SeaTunnel目录是否有读写权限。Web后端进程如果是以root启动的但SeaTunnel目录属主是其他用户也会出问题。5.3 连接器找不到或类冲突这是最常见的坑。安装连接器时包版本和引擎版本不匹配比如SeaTunnel 2.3.3引擎里放了一个2.3.6的连接器jar包运行时会抛出NoSuchMethodError或者ClassNotFoundException。每个大版本对应的连接器必须从对应发布渠道获取。我通常的做法是在下载连接器时把包名中带版本号的那一段和引擎版本保持一致。如果已经有多个连接器版本混在connectors/seatunnel目录里最好先清空再重新安装偷懒容易出问题。5.4 端口占用和服务重复启动Web端部署久了最容易碰到端口被占用的情况。尤其是重启过程中旧的Java进程没有完全退出新进程又起不来。启动前先检查端口lsof -i:8080如果有旧进程先kill掉再启动。不建议每次都用kill -9硬杀最好先尝试优雅关闭脚本比如seatunnel-backend-daemon.sh stop。如果脚本没反应用jps找出对应的Java进程再优雅关闭。硬杀之后有时会残留本地临时文件或锁导致启动失败。5.5 内存不足导致引擎崩溃SeaTunnel引擎默认的JVM堆内存可能比较大。如果服务器总内存只有4G同时跑Web后端和SeaTunnel引擎很容易出现OutOfMemoryError。这种情况可以去改bin/seatunnel.sh或者seatunnel-env.sh里的JAVA_OPTS把-Xmx调小。比如我有一台4G机器把SEATUNNEL_HEAP_OPTS改成-Xms512m -Xmx1024m同时把Web端后端的JVM参数也相应调小任务照样能跑只是并发能力弱一些。对测试环境来说稳定运行比性能更重要。5.6 日志文件位置和排查手段我把这次部署涉及到的日志路径统一整理了一下组件日志路径SeaTunnel引擎日志${SEATUNNEL_HOME}/logs/seatunnel-engine.logWeb后端日志/opt/seatunnel-web/logs/seatunnel-backend-daemon.logWeb前端日志/opt/seatunnel-web/logs/seatunnel-frontend-daemon.log排查问题时从这些日志的尾部开始看。日志虽然又臭又长但异常信息一般都会包含ERROR或者Exception。一个实用技巧是grep -i error /opt/seatunnel-web/logs/*.log | tail -n 50这样能最快定位到今天的报错位置再根据报错内容往上层参数上推。6. 一点实际部署心得这次部署其实没有太多高深的地方但踩过的坑不少。回头总结一下最容易被忽视的其实就是两个路径配置和目录权限。Web端和引擎之间的信息传递依赖配置文件里的绝对路径。如果路径里的某个目录写错了Web端不会给你一个醒目的“路径不存在”提示而是在运行任务时才报错排查起来很绕。我个人建议刚上手的时候把SeaTunnel引擎和Web端都放在同一台服务器上先把本地模式跑通再考虑分布式和生产化。另外如果你在公司的内网环境下载连接器非常慢可以用官方连接器压缩包提前在本地下载好再传到服务器。不要把时间浪费在反复尝试网络超时上。如果你部署完这整套流程一定会发现SeaTunnel的威力确实不小。后续你可以试着接一个真实的数据源比如从MySQL同步一张业务表到另一个数据库感受一下任务从Web提交到执行完毕的完整链路。遇到问题的时候多看看日志多确认配置很多坑都能自己绕过去。
