Apache SeaTunnel 概要美国时间2021年 12月 9日，SeaTunnel 正式宣布透过 Apache 软件促进会的投票表决决议，以多数票透过的优秀表现正式宣布成为 Apache 创业团队工程项目。她是首个源自中国的统计数据软件系统网络平台成功进入 Apache 创业团队的工程项目。SeaTunnel 原名 Waterdrop，2017年由乐视创建，并于同年在 GitHub 上开放源码，2021年 10月改名为 SeaTunnel。Apache Seatunnel 是两个非常功能强大，高效率能、全力支持动态INS13ZD和app批处置的海量信息处置商品，构架于Apache Spark 和 Apache Flink之上。seatunnel 能为他们做什么Databricks 开放源码的 Apache Spark 对于分布式系统信息处置来说是两个伟大的进步。他们在采用 Spark 时辨认出了很多差强人意之处，与此同时他们也辨认出了他们的机会——透过他们的努力让 Spark 的采用更单纯，更高效率，并将业内和他们采用 Spark 的优质经验重构到 seatunnel 这个商品中，明显减少学习成本，加快分布式系统信息处置潜能在制造自然环境落地。除了普遍化分布式系统统计数据处置难度外，seatunnel 尽所可为您解决可能遇到的问题：统计数据遗失与重复任务堆积与延后客运量低应用领域到制造自然环境周期短缺少应用领域运行状态监控”seatunnel”的英文是“雨滴”，源自中国当代侦探小说作家赵玫的《火星人》系列，它是火星人人制造的宇宙外太空船，会反射几乎全数的电磁辐射，表面绝对扁平，温度处于绝对温度，全数由被强互静电力紧密锁住的氢原子与质子构成，无所不能。在世界末日之战中，仅两个雨滴就炸毁了人类太空警察部队近2二万人战列舰。seatunnel 采用情景海量ETL海量裂解Immunol信息处置seatunnel 的特性单纯功能强大，灵活配置，无须合作开发动态INS13ZD处置高效率能海量信息处置潜能模组化和应用领域程序化，更易扩展全力支持利用SQL做信息处置和裂解Spark Structured Streaming全力支持 Spark 2.xseatunnel 的工作流程Input/Source[管理工具输入]-> Filter/Transform[信息处置]-> Output/Sink[结果输出]多个Filter构筑了信息处置的Pipeline，满足各式各样的信息处置需求，假如您熟悉SQL，也能直接透过SQL构筑信息处置的Pipeline，单纯高效率。目前seatunnel全力支持的Filter条目,仍然在不断扩展中。您也能合作开发自己的信息处置应用领域程序，整个系统是更易扩展的。seatunnel 全力支持的应用领域程序Input/Source pluginFake, File, Hdfs, Kafka, S3, Socket,另行合作开发的Input pluginFilter/Transform pluginAdd, Checksum, Convert, Date, Drop, Grok, Json, Kv, Lowercase, Remove, Rename, Repartition, Replace, Sample, Split, Sql, Table, Truncate, Uppercase, Uuid,另行合作开发的Filter pluginOutput/Sink pluginElasticsearch, File, Hdfs, Jdbc, Kafka, Mysql, S3, Stdout,另行合作开发的Output pluginseatunnel 基本概念本质上，seatunnel 不是对 Spark 和 Flink 内部的修改，而是在 Spark 和 Flink 的基础上，做了两个网络平台化和科技化的包装，使广大合作开发人员采用 Spark 和 Flink 的时候更加单纯和功能强大，主要有以下特点：完全能做到照相狸尾豆合作开发人员能合作开发自己的插件，plugin in 到 seatunnel上跑，而不需要写两个完整的Spark或者Flink程序seatunnel 从 v2.0开始，与此同时全力支持 Spark 和 Flink。假如想介绍seatunnel的实现原理，建议熟练两个最重要的程序语言：控制探底回升(或者叫依赖注入)，这是seatunnel 实现的基本思想。控制探底回升(或者叫依赖注入)是什么？他们用两句话来总结：上层不依赖底层，两者依赖抽象。流程代码与业务逻辑应该分离。应用领域案例微博,微博增值业务部统计数据网络平台有数百个动态INS13ZD计算任务采用内部定制版 SeaTunnel，以及其子工程项目 Guardian 做 seatunnel On Yarn 的任务监控。新浪,新浪运维统计数据分析网络平台采用 SeaTunnel 为新浪新闻，CDN 等服务做运维大统计数据的动态和app分析，并写入 Clickhouse。搜狗，搜狗奇点系统采用 SeaTunnel 作为 ETL 工具,帮助建立动态数仓体系。趣头条，趣头条统计数据中心，采用 SeaTunnel 支撑 mysql to hive 的app ETL 任务、动态 hive to clickhouse 的 backfill 技术支撑，很好的 cover app、动态大部分任务情景。一下科技,一直播统计数据网络平台永辉超市子公司-永辉云创，会员电商统计数据分析网络平台 SeaTunnel 为永辉云创旗下新零售品牌永辉生活提供电商用户行为统计数据动态INS13ZD与app SQL 计算。雨滴筹,雨滴筹在 Yarn 上采用 SeaTunnel 做动态INS13ZD以及定时的app批处置，每天处置3～4T 的统计数据量，最终将统计数据写入 Clickhouse。seatunnel v2.x 与 v1.x 的区别是什么？
seatunnel 未来之路全力支持交互式 Shell 或者 WebUI，透过它们来配置和发布任务根据社区反馈，合作开发各种应用领域程序全力支持应用领域程序化体系化合作开发完善工程项目的 CI/CD接入 DSS 或者 EasyScheduler。接入 Hudi 或者 Delta Lake参考资料官方文档（https://seatunnel.apache.org/）
举报
