大数据数据分析后端【免费下载链接】datafusionApache DataFusion SQL Query Engine项目地址https://gitcode.com/gh_mirrors/datafu/datafusion点击查看免费下载Apache DataFusion 13.0.02022-10-06 发布是 DataFusion 演进历程中一个承上启下的重要版本它以类型强制转换type coercion从物理阶段迁移到逻辑阶段为主轴展开了一次大规模内部重构同时落地了 TIMESTAMPTZ 时区支持、Top-K/排序优化、Parquet 剪枝增强等一系列面向查询性能与 SQL 兼容性的能力。阅读本文后你将完整掌握该版本的两项破坏性变更、类型系统重构的全貌以及这些能力在当前仓库中的源码级实现位置与调用关系。本文基于 dev/changelog/13.0.0.md 的变更记录展开并对照当前仓库源码如 datafusion/optimizer/src/analyzer/type_coercion.rs、datafusion/core/src/execution/context/mod.rs进行印证帮助读者理解历史变更的动机与今日代码的对应关系。版本概览13.0.0 的定位与影响面13.0.0 是 DataFusion 从 12.0.0 到 13.0.0 的一个大版本变更记录覆盖 4 个分类共约 80 余项合并的 PR 与修复的 issue2 项破坏性变更Breaking changesObjectStoreProvider的签名变更与OptimizerConfig的 Builder 化约 40 项功能增强Implemented enhancements以类型强制转换重构、时区支持、Top-K 优化、Parquet 读取优化为核心约 35 项缺陷修复Fixed bugs集中在 decimal 类型强制转换、聚合计划投影下推、UNION/INTERSECT/EXCEPT 列数一致性等配套的文档更新与生态动作升级 Arrow 24.0.0、发布自动化到 Homebrew、将 DataFusion 纳入 ClickBench 基准等。从整体脉络看13.0.0 的主题非常清晰理顺类型系统与优化器规则之间的顺序关系把类型强制转换从物理执行阶段前移到逻辑优化阶段同时用一批针对排序、Top-K、Parquet 剪枝的优化来改善性能。两项破坏性变更API 兼容性提示对于 13.0.0 之前的用户升级时最需要注意的是以下两项 API 变化。ObjectStoreProvider 变为 fallibleObjectStoreProvider的接口从返回Option改为返回ResultPR #3584即提供对象存储这一操作现在允许失败并返回错误而不再只是找不到就返回 None。这一改动前后经历了两轮演进先是允许返回ResultOption_#3594最终收敛为Result。其意义在于对象存储的解析不仅存在未注册的静默缺失场景还存在URL 前缀匹配但底层 store 初始化失败的错误场景。将返回值改为Result后错误可以被显式传播而不是被吞掉。在当前仓库中这一能力对应 SessionContext::register_object_store 与RuntimeEnv::register_object_store注册时以 URL 前缀为键查询时按前缀匹配解析错误可在解析阶段即时抛出。OptimizerConfig 改为 Builder 风格 APIOptimizerConfig从直接构造/修改字段改为 Builder 风格 APIPR #3525。这是 DataFusion 配置体系向不可变配置 链式构造演进的标志性一步配置项集中、默认值明确、构造过程类型安全。此后 13.0.0 又在此基础上加入了ConfigOptions支持类型转换#3522并进一步把time_zone纳入配置体系#3485为后文提到的时区支持铺路。核心主线类型强制转换从物理阶段迁移到逻辑阶段13.0.0 最大的内部重构是类型强制转换type coercion位置的迁移。在旧架构中二元表达式、IN列表、CASE WHEN、LIKE、UDF 等表达式是在物理计划构建/执行阶段才做类型统一13.0.0 通过一系列 PR 将其系统性前移删除物理阶段的 ScalarUDF 类型强制转换#3734、PR #3735从物理阶段移除 binary expression 的类型强制转换#3396把InList的类型强制转换从物理阶段移到逻辑阶段#3468、PR #3472为CASE WHEN增加类型强制转换#3673、PR #3676支持LIKE/UNLIKE/IS TRUE/IS FALSE/IS UNKNOWN的类型强制转换#3509、PR #3510支持子查询的类型强制转换#3557、PR #3636将类型强制转换规则调整到优化器规则链的最前端并保证在FilterPushDown之前执行#3289、PR #3459统一收敛强制转换代码到datafusion_expr::type_coercion及其子模块PR #3728从ScalarValue与聚合函数代码中移除类型强制转换#3705类型强制转换完成后立即执行表达式求值#3431、PR #3444。重构动机从 13.0.0 修复的若干 bug 可以反推出重构的动机旧方案中物理二元表达式的左右类型必须完全一致导致大量内部错误例如Dictionary(Int16, Utf8) Int64的物理二元表达式内部错误#3685Boolean AND Decimal128(10, 2)的类型强制转换错误#3644Decimal128(10, 2) 与 Boolean在BETWEEN中的强制转换内部错误#3646、#3645。把强制转换统一放到逻辑阶段后所有表达式在进入物理执行前就已经具有一致的输入类型物理层不再需要承担隐式补类型的职责错误也能在逻辑规划阶段提前暴露。当前源码中的对应实现这一重构的成果在今天的仓库中依然清晰可见类型强制转换现在由 TypeCoercion 这个AnalyzerRule承担它通过transform_up_with_subqueries自底向上遍历逻辑计划合并输入 schemamerge_schema并针对Filter强制谓词为 Boolean、BinaryExpr、Case、InList、Like、WindowFunction、子查询等各类表达式统一确定公共类型。其依赖的规则集位于datafusion_expr::type_coercion包括comparison_coercion、like_coercion、regex_coercion、type_union_coercion、get_coerce_type_for_case_expression等见 type_coercion.rs。值得注意的是13.0.0 中把类型强制转换作为优化器规则链最前端的规则的设计与当前仓库中TypeCoercion作为 analyzer 规则在逻辑优化之前运行的结构一脉相承这也解释了为什么该版本中大量围绕FilterPushDown、projection_push_down的 bug如 #3738、#3704会集中出现并被集中修复——类型信息一旦统一后续规则对 schema 的假设就不再成立必须同步修正。TIMESTAMPTZ 与时区支持让时间真正带时区13.0.0 在时间类型体系上迈出了重要一步引入了带时区的时间戳类型新增 TIMESTAMPTZ#3659、PR #3660并支持SQLDataType::Timestamp(TimezoneInfo)#3693time_zone进入ConfigOptions#3485成为会话级配置项支持get/showtimezone#3255支持Statement::ShowVariable以展示会话配置#3364、PR #3455对暂不支持的Time With Time Zone明确报错Unsupported SQL type直到DataType::Time64支持时区为止#3715、PR #3718。配套的时间相关修复修复naive时间戳字符串上的to_timestamp谓词行为不符合预期的问题#765为DATE_PART补充 arrow-rs 已支持的单位#3502、PR #3503InList节点支持 timestamp 数据类型#3449、PR #3450。这些改动让 DataFusion 能够以统一的会话时区语义处理timestamptz值并在 SQL 层提供SHOW类语句查看当前时区配置为后续更完善的时间类型体系奠定了基础。Top-K 与排序优化让ORDER BY LIMIT更快13.0.0 针对排序与 Top-K 场景做了一组性能优化核心思路是把 limit 信息尽早传导给排序算子Push limit to sort#3528、PR #3530把LIMIT下推到Sort算子排序时可以只保留前 K 条支持 Top-K 查询优化#3515ORDER BY EXPR [ASC]LIMIT场景采用 Top-K 排序并行执行带 limit 的排序#3526、PR #3527在get_sorted_iter中使用fetchlimit#3544、PR #3545防止 Top-K 查询的过度分配与 spill#3596、PR #3593固定 limit 下不再为全量数据分配排序缓冲区用 Arrow row format 重写SortPreservingMerge据该 PR#3386说明可带来约 50%–70% 的性能提升。这些优化共同改善了取前 N 条这一最频繁的分析场景逻辑层把LIMIT下推物理层在排序和归并时都只维护前 K 个元素既减少了 CPU 开销也显著降低了内存压力与 spill 风险。当前仓库的 benchmarks 目录如 benchmarks/sql_benchmarks 下的各类 suite仍保留了大量排序、Top-K 相关的基准测试用于持续回归验证。Parquet 读取与剪枝增强更少的 IO、更快的扫描13.0.0 在 Parquet 数据源上做了多项深度优化ParquetExec支持RowFilter下推#3360、PR #3380把行级过滤下沉到 Parquet 解码阶段ParquetRecordBatchStream下推RowFilter时支持使用 offset index#3456、PR #3616配合 offset index 精确定位需要读取的行组一次查询只扫描一次 Parquet 统计信息#871、PR #3649缓存收集到的文件统计信息避免重复 IOParquetScanOptions公开化#3550、PR #3551扫描选项可配置且可从ParquetExec获取引用剪枝支持cast/try_cast表达式#3414、PR #3454并补充了带 cast 的剪枝测试行过滤谓词的数据类型对齐NULL 的谓词值使用列的数据类型#3470二元表达式两侧类型保持一致#3469。RowFilter 与剪枝的配合RowFilter的引入意味着 Parquet 扫描不再只靠统计信息 谓词做粗粒度的行组/页级剪枝还可以在解码过程中逐行应用过滤表达式从而只把满足条件的行送入上层算子。结合 offset index 后扫描器能够跳过那些无需解码的数据区间。这与 13.0.0 同时期的文件统计信息缓存#871形成合力——统计信息只需读取一次之后反复用于剪枝决策。当前仓库中Parquet 相关实现位于 datafusion/datasource-parquet/src其 bench 与测试datafusion/datasource-parquet/benches覆盖了剪枝、过滤下推等场景而 benchmarks/sql_benchmarks/parquet_row_filter_skip 这类基准套件正是针对行过滤跳过能力的专项压测。表达式简化constant folding增强13.0.0 大幅扩展了逻辑优化器中simplify_expressions规则的化简能力覆盖了更多代数恒等式与空值传播场景Modulo运算符的简化规则#3664、PR #3669A * 0与A * null的简化#3626、PR #3627A / null的简化#3624、PR #3625CONCAT_WS(NULL, ..)简化为NULL#3607、PR #3608regexp_replace优化已知 pattern/replacement 时避免重复编译正则#3613、PR #3614输入数组为空时提前中止#3647、PR #3648between简化考虑数据类型#3587、PR #3661PreCastLitInComparisonExpressions规则改为unwrap_cast_in_comparison#3622、PR #3662并修复其在 schema 中查找字段的 bug#3690、PR #3699简化表达式规则与 CAST 表达式的冲突修复#3409、PR #3657从simplify_expressions规则中移除类型强制转换避免规则间的职责重叠。这些简化让优化器能够在计划阶段就把必然为 NULL/必然为 0的表达式直接折叠掉减少运行时的无谓计算。配合类型强制转换的前移simplify_expressions不再需要自行处理类型转换规则职责更加单一清晰——这正是 13.0.0理顺优化器规则顺序主题的又一体现。SQL 兼容性与语义正确性修复13.0.0 在 SQL 语义与计划构建层面也有一批值得关注的改进与修复WITH语句支持列别名#3716、PR #3717CTE 可以同时指定列名与表达式名递归 CTE 的拒绝时机提前#3713、PR #3714在处理子表达式之前就拒绝递归 CTE避免误导性的计划错误INTERSECT/EXCEPT列数一致性检查#3632、PR #3674UNION 列数不一致时不再 panic#3630、PR #3638构建 UNION 计划时检查每个查询的列数一致UNION 不同类型列的强制转换#3467、PR #3513自定义 window frame 逻辑PR #3570窗口函数支持ROWS、RANGE、PRECEDING、FOLLOWING帧定义StringConcat与concat在含 NULL 时结果不一致的修复#3569聚合查询逻辑计划序列化的修复#3555、PR #3574以及ScalarValue序列化对Dictionary、Binary、LargeBinary、Time64、IntervalMonthDayNano、Struct等类型的补齐#3531、PR #3532 至 #3536projection_push_down生成非法聚合计划的修复#3738、PR #3739在Aggregate::try_new中构建聚合 schemaexpr_visitor未访问聚合 filter 表达式的修复PR #3548聚合 filter 无法下推到表扫描的修复#3546。开发者 API 与可用性增强面向库使用者13.0.0 提供了若干新的便捷 API 与公开接口SessionContext::register_batch/read_batch#3426、PR #3600将单个RecordBatch注册为一张表。当前仓库中的实现位于 datafusion/core/src/execution/context/mod.rs内部通过MemTable::try_new包装后注册使用方式如ctx.register_batch(t, batch)DataFrame::cachePR #3512无自定义 cache factory 时会把物理计划物化为MemTable供后续查询复用FileStream/FileOpener公开化#3466、PR #3514数据源开发者可基于公开的文件流接口实现自定义格式from_proto_binary_op公开化#3489、PR #3490并补充BitwiseXor映射#3495、PR #3496datafusion-cli 支持注册 object store 与外部表#3424、PR #3540并补充了通过 CLI 查询 S3 等对象存储中文档#3399、PR #3631decimal 相关修复decimal 数组与 NULL 标量的比较不再 panic#3487、PR #3567decimal 除法错误信息更准确#3498除零正确报错#3517NULL 与 decimal 运算的强制转换修复#3549FixedSizeBinary加入 hasher 支持#1516、PR #3458ReduceOuterJoin优化器支持cast/try_cast表达式#3565、PR #3621。生态、依赖升级与工程化13.0.0 还包含一批工程与生态层面的动作升级 Arrow、Parquet、Arrow-Flight 到 24.0.0#3689、PR #3691同步升级 sqlparser 到 0.24.0#3675与 0.25.0#3698发布流程自动化把发布自动推送到 Homebrew#3506、PR #3507发布 datafusion-cli 12.0.0 到 Homebrew#3501优化器模块整合将 optimizer 初始化迁移到 optimizer cratePR #3692整合优化器 pass 以便统一测试#3524cross join → inner join优化从 planner 迁移到 optimizer#2859并进一步转换更多 cross join 以改善 TPCH Q19 的执行计划#78、PR #3482基准生态将 DataFusion 纳入 ClickBench 基准#2902 与 benchmarks/sql_benchmarks/clickbench 仍保留完整的 ClickBench 查询集与 suite 配置用户生态文档将 OctoSQL#3605、Dask SQL#3581、Parseable#3471等项目列入 DataFusion 应用列表。总结13.0.0 的技术遗产回看 Apache DataFusion 13.0.0它留下的技术遗产可以概括为三条主线类型系统的一次关键收敛类型强制转换从物理阶段全面前移到逻辑阶段形成今日TypeCoercion作为 analyzer 规则、在优化器链最前端运行的架构大幅减少了物理执行层的隐式类型处理和由此引发的内部错误查询性能的定向强化Top-K/limit 下推、并行排序、Arrow row format 的SortPreservingMerge、ParquetRowFilter offset index 统计信息缓存共同改善了排序与扫描两大热点路径SQL 能力与可用性的持续补齐TIMESTAMPTZ 与时区配置、WITH列别名、UNION/INTERSECT/EXCEPT 语义检查、register_batch、DataFrame::cache等让 DataFusion 在兼容性与易用性上更进一步。对于今天的开发者而言13.0.0 的变更记录不仅是一份历史档案更是一张理解 DataFusion 内部架构演进的地图从 type_coercion.rs 到 execution/context/mod.rs这些在 13.0.0 定型的结构至今仍是 DataFusion 的核心骨架。赞分享大数据数据分析后端【免费下载链接】datafusionApache DataFusion SQL Query Engine项目地址https://gitcode.com/gh_mirrors/datafu/datafusion点击查看免费下载相关推荐找数难、血缘断用 DataHub 元数据平台把数据资产变成一本台账找数难、血缘断用 DataHub 元数据平台把数据资产变成一本台账 DataHub 是一个开源的元数据平台官方定位是数据与 AI 栈的上下文平台。说白了大数据数据分析后端DataFusion 16.0.0 版本技术解析窗口函数增强、NATURAL JOIN 支持与查询规划器架构重构DataFusion 16.0.0 版本技术解析窗口函数增强、NATURAL JOIN 支持与查询规划器架构重构 Apache DataFusion 16.0大数据数据分析后端launch-editor中间件使用指南轻松集成到Express/Node.js项目launch editor中间件使用指南轻松集成到Express/Node.js项目 launch editor middleware 是一款功能强大的中间件上一篇ECC hookify-list 命令实战一站式盘点与管理你的 Claude Code 行为防护规则下一篇ASP.NET Core Skill 参考路由指南用 _sections.md 快速定位官方技术参考的正确打开方式创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
Apache DataFusion 13.0.0 版本技术解析：类型强制转换重构、时区支持与查询优化
大数据数据分析后端【免费下载链接】datafusionApache DataFusion SQL Query Engine项目地址https://gitcode.com/gh_mirrors/datafu/datafusion点击查看免费下载Apache DataFusion 13.0.02022-10-06 发布是 DataFusion 演进历程中一个承上启下的重要版本它以类型强制转换type coercion从物理阶段迁移到逻辑阶段为主轴展开了一次大规模内部重构同时落地了 TIMESTAMPTZ 时区支持、Top-K/排序优化、Parquet 剪枝增强等一系列面向查询性能与 SQL 兼容性的能力。阅读本文后你将完整掌握该版本的两项破坏性变更、类型系统重构的全貌以及这些能力在当前仓库中的源码级实现位置与调用关系。本文基于 dev/changelog/13.0.0.md 的变更记录展开并对照当前仓库源码如 datafusion/optimizer/src/analyzer/type_coercion.rs、datafusion/core/src/execution/context/mod.rs进行印证帮助读者理解历史变更的动机与今日代码的对应关系。版本概览13.0.0 的定位与影响面13.0.0 是 DataFusion 从 12.0.0 到 13.0.0 的一个大版本变更记录覆盖 4 个分类共约 80 余项合并的 PR 与修复的 issue2 项破坏性变更Breaking changesObjectStoreProvider的签名变更与OptimizerConfig的 Builder 化约 40 项功能增强Implemented enhancements以类型强制转换重构、时区支持、Top-K 优化、Parquet 读取优化为核心约 35 项缺陷修复Fixed bugs集中在 decimal 类型强制转换、聚合计划投影下推、UNION/INTERSECT/EXCEPT 列数一致性等配套的文档更新与生态动作升级 Arrow 24.0.0、发布自动化到 Homebrew、将 DataFusion 纳入 ClickBench 基准等。从整体脉络看13.0.0 的主题非常清晰理顺类型系统与优化器规则之间的顺序关系把类型强制转换从物理执行阶段前移到逻辑优化阶段同时用一批针对排序、Top-K、Parquet 剪枝的优化来改善性能。两项破坏性变更API 兼容性提示对于 13.0.0 之前的用户升级时最需要注意的是以下两项 API 变化。ObjectStoreProvider 变为 fallibleObjectStoreProvider的接口从返回Option改为返回ResultPR #3584即提供对象存储这一操作现在允许失败并返回错误而不再只是找不到就返回 None。这一改动前后经历了两轮演进先是允许返回ResultOption_#3594最终收敛为Result。其意义在于对象存储的解析不仅存在未注册的静默缺失场景还存在URL 前缀匹配但底层 store 初始化失败的错误场景。将返回值改为Result后错误可以被显式传播而不是被吞掉。在当前仓库中这一能力对应 SessionContext::register_object_store 与RuntimeEnv::register_object_store注册时以 URL 前缀为键查询时按前缀匹配解析错误可在解析阶段即时抛出。OptimizerConfig 改为 Builder 风格 APIOptimizerConfig从直接构造/修改字段改为 Builder 风格 APIPR #3525。这是 DataFusion 配置体系向不可变配置 链式构造演进的标志性一步配置项集中、默认值明确、构造过程类型安全。此后 13.0.0 又在此基础上加入了ConfigOptions支持类型转换#3522并进一步把time_zone纳入配置体系#3485为后文提到的时区支持铺路。核心主线类型强制转换从物理阶段迁移到逻辑阶段13.0.0 最大的内部重构是类型强制转换type coercion位置的迁移。在旧架构中二元表达式、IN列表、CASE WHEN、LIKE、UDF 等表达式是在物理计划构建/执行阶段才做类型统一13.0.0 通过一系列 PR 将其系统性前移删除物理阶段的 ScalarUDF 类型强制转换#3734、PR #3735从物理阶段移除 binary expression 的类型强制转换#3396把InList的类型强制转换从物理阶段移到逻辑阶段#3468、PR #3472为CASE WHEN增加类型强制转换#3673、PR #3676支持LIKE/UNLIKE/IS TRUE/IS FALSE/IS UNKNOWN的类型强制转换#3509、PR #3510支持子查询的类型强制转换#3557、PR #3636将类型强制转换规则调整到优化器规则链的最前端并保证在FilterPushDown之前执行#3289、PR #3459统一收敛强制转换代码到datafusion_expr::type_coercion及其子模块PR #3728从ScalarValue与聚合函数代码中移除类型强制转换#3705类型强制转换完成后立即执行表达式求值#3431、PR #3444。重构动机从 13.0.0 修复的若干 bug 可以反推出重构的动机旧方案中物理二元表达式的左右类型必须完全一致导致大量内部错误例如Dictionary(Int16, Utf8) Int64的物理二元表达式内部错误#3685Boolean AND Decimal128(10, 2)的类型强制转换错误#3644Decimal128(10, 2) 与 Boolean在BETWEEN中的强制转换内部错误#3646、#3645。把强制转换统一放到逻辑阶段后所有表达式在进入物理执行前就已经具有一致的输入类型物理层不再需要承担隐式补类型的职责错误也能在逻辑规划阶段提前暴露。当前源码中的对应实现这一重构的成果在今天的仓库中依然清晰可见类型强制转换现在由 TypeCoercion 这个AnalyzerRule承担它通过transform_up_with_subqueries自底向上遍历逻辑计划合并输入 schemamerge_schema并针对Filter强制谓词为 Boolean、BinaryExpr、Case、InList、Like、WindowFunction、子查询等各类表达式统一确定公共类型。其依赖的规则集位于datafusion_expr::type_coercion包括comparison_coercion、like_coercion、regex_coercion、type_union_coercion、get_coerce_type_for_case_expression等见 type_coercion.rs。值得注意的是13.0.0 中把类型强制转换作为优化器规则链最前端的规则的设计与当前仓库中TypeCoercion作为 analyzer 规则在逻辑优化之前运行的结构一脉相承这也解释了为什么该版本中大量围绕FilterPushDown、projection_push_down的 bug如 #3738、#3704会集中出现并被集中修复——类型信息一旦统一后续规则对 schema 的假设就不再成立必须同步修正。TIMESTAMPTZ 与时区支持让时间真正带时区13.0.0 在时间类型体系上迈出了重要一步引入了带时区的时间戳类型新增 TIMESTAMPTZ#3659、PR #3660并支持SQLDataType::Timestamp(TimezoneInfo)#3693time_zone进入ConfigOptions#3485成为会话级配置项支持get/showtimezone#3255支持Statement::ShowVariable以展示会话配置#3364、PR #3455对暂不支持的Time With Time Zone明确报错Unsupported SQL type直到DataType::Time64支持时区为止#3715、PR #3718。配套的时间相关修复修复naive时间戳字符串上的to_timestamp谓词行为不符合预期的问题#765为DATE_PART补充 arrow-rs 已支持的单位#3502、PR #3503InList节点支持 timestamp 数据类型#3449、PR #3450。这些改动让 DataFusion 能够以统一的会话时区语义处理timestamptz值并在 SQL 层提供SHOW类语句查看当前时区配置为后续更完善的时间类型体系奠定了基础。Top-K 与排序优化让ORDER BY LIMIT更快13.0.0 针对排序与 Top-K 场景做了一组性能优化核心思路是把 limit 信息尽早传导给排序算子Push limit to sort#3528、PR #3530把LIMIT下推到Sort算子排序时可以只保留前 K 条支持 Top-K 查询优化#3515ORDER BY EXPR [ASC]LIMIT场景采用 Top-K 排序并行执行带 limit 的排序#3526、PR #3527在get_sorted_iter中使用fetchlimit#3544、PR #3545防止 Top-K 查询的过度分配与 spill#3596、PR #3593固定 limit 下不再为全量数据分配排序缓冲区用 Arrow row format 重写SortPreservingMerge据该 PR#3386说明可带来约 50%–70% 的性能提升。这些优化共同改善了取前 N 条这一最频繁的分析场景逻辑层把LIMIT下推物理层在排序和归并时都只维护前 K 个元素既减少了 CPU 开销也显著降低了内存压力与 spill 风险。当前仓库的 benchmarks 目录如 benchmarks/sql_benchmarks 下的各类 suite仍保留了大量排序、Top-K 相关的基准测试用于持续回归验证。Parquet 读取与剪枝增强更少的 IO、更快的扫描13.0.0 在 Parquet 数据源上做了多项深度优化ParquetExec支持RowFilter下推#3360、PR #3380把行级过滤下沉到 Parquet 解码阶段ParquetRecordBatchStream下推RowFilter时支持使用 offset index#3456、PR #3616配合 offset index 精确定位需要读取的行组一次查询只扫描一次 Parquet 统计信息#871、PR #3649缓存收集到的文件统计信息避免重复 IOParquetScanOptions公开化#3550、PR #3551扫描选项可配置且可从ParquetExec获取引用剪枝支持cast/try_cast表达式#3414、PR #3454并补充了带 cast 的剪枝测试行过滤谓词的数据类型对齐NULL 的谓词值使用列的数据类型#3470二元表达式两侧类型保持一致#3469。RowFilter 与剪枝的配合RowFilter的引入意味着 Parquet 扫描不再只靠统计信息 谓词做粗粒度的行组/页级剪枝还可以在解码过程中逐行应用过滤表达式从而只把满足条件的行送入上层算子。结合 offset index 后扫描器能够跳过那些无需解码的数据区间。这与 13.0.0 同时期的文件统计信息缓存#871形成合力——统计信息只需读取一次之后反复用于剪枝决策。当前仓库中Parquet 相关实现位于 datafusion/datasource-parquet/src其 bench 与测试datafusion/datasource-parquet/benches覆盖了剪枝、过滤下推等场景而 benchmarks/sql_benchmarks/parquet_row_filter_skip 这类基准套件正是针对行过滤跳过能力的专项压测。表达式简化constant folding增强13.0.0 大幅扩展了逻辑优化器中simplify_expressions规则的化简能力覆盖了更多代数恒等式与空值传播场景Modulo运算符的简化规则#3664、PR #3669A * 0与A * null的简化#3626、PR #3627A / null的简化#3624、PR #3625CONCAT_WS(NULL, ..)简化为NULL#3607、PR #3608regexp_replace优化已知 pattern/replacement 时避免重复编译正则#3613、PR #3614输入数组为空时提前中止#3647、PR #3648between简化考虑数据类型#3587、PR #3661PreCastLitInComparisonExpressions规则改为unwrap_cast_in_comparison#3622、PR #3662并修复其在 schema 中查找字段的 bug#3690、PR #3699简化表达式规则与 CAST 表达式的冲突修复#3409、PR #3657从simplify_expressions规则中移除类型强制转换避免规则间的职责重叠。这些简化让优化器能够在计划阶段就把必然为 NULL/必然为 0的表达式直接折叠掉减少运行时的无谓计算。配合类型强制转换的前移simplify_expressions不再需要自行处理类型转换规则职责更加单一清晰——这正是 13.0.0理顺优化器规则顺序主题的又一体现。SQL 兼容性与语义正确性修复13.0.0 在 SQL 语义与计划构建层面也有一批值得关注的改进与修复WITH语句支持列别名#3716、PR #3717CTE 可以同时指定列名与表达式名递归 CTE 的拒绝时机提前#3713、PR #3714在处理子表达式之前就拒绝递归 CTE避免误导性的计划错误INTERSECT/EXCEPT列数一致性检查#3632、PR #3674UNION 列数不一致时不再 panic#3630、PR #3638构建 UNION 计划时检查每个查询的列数一致UNION 不同类型列的强制转换#3467、PR #3513自定义 window frame 逻辑PR #3570窗口函数支持ROWS、RANGE、PRECEDING、FOLLOWING帧定义StringConcat与concat在含 NULL 时结果不一致的修复#3569聚合查询逻辑计划序列化的修复#3555、PR #3574以及ScalarValue序列化对Dictionary、Binary、LargeBinary、Time64、IntervalMonthDayNano、Struct等类型的补齐#3531、PR #3532 至 #3536projection_push_down生成非法聚合计划的修复#3738、PR #3739在Aggregate::try_new中构建聚合 schemaexpr_visitor未访问聚合 filter 表达式的修复PR #3548聚合 filter 无法下推到表扫描的修复#3546。开发者 API 与可用性增强面向库使用者13.0.0 提供了若干新的便捷 API 与公开接口SessionContext::register_batch/read_batch#3426、PR #3600将单个RecordBatch注册为一张表。当前仓库中的实现位于 datafusion/core/src/execution/context/mod.rs内部通过MemTable::try_new包装后注册使用方式如ctx.register_batch(t, batch)DataFrame::cachePR #3512无自定义 cache factory 时会把物理计划物化为MemTable供后续查询复用FileStream/FileOpener公开化#3466、PR #3514数据源开发者可基于公开的文件流接口实现自定义格式from_proto_binary_op公开化#3489、PR #3490并补充BitwiseXor映射#3495、PR #3496datafusion-cli 支持注册 object store 与外部表#3424、PR #3540并补充了通过 CLI 查询 S3 等对象存储中文档#3399、PR #3631decimal 相关修复decimal 数组与 NULL 标量的比较不再 panic#3487、PR #3567decimal 除法错误信息更准确#3498除零正确报错#3517NULL 与 decimal 运算的强制转换修复#3549FixedSizeBinary加入 hasher 支持#1516、PR #3458ReduceOuterJoin优化器支持cast/try_cast表达式#3565、PR #3621。生态、依赖升级与工程化13.0.0 还包含一批工程与生态层面的动作升级 Arrow、Parquet、Arrow-Flight 到 24.0.0#3689、PR #3691同步升级 sqlparser 到 0.24.0#3675与 0.25.0#3698发布流程自动化把发布自动推送到 Homebrew#3506、PR #3507发布 datafusion-cli 12.0.0 到 Homebrew#3501优化器模块整合将 optimizer 初始化迁移到 optimizer cratePR #3692整合优化器 pass 以便统一测试#3524cross join → inner join优化从 planner 迁移到 optimizer#2859并进一步转换更多 cross join 以改善 TPCH Q19 的执行计划#78、PR #3482基准生态将 DataFusion 纳入 ClickBench 基准#2902 与 benchmarks/sql_benchmarks/clickbench 仍保留完整的 ClickBench 查询集与 suite 配置用户生态文档将 OctoSQL#3605、Dask SQL#3581、Parseable#3471等项目列入 DataFusion 应用列表。总结13.0.0 的技术遗产回看 Apache DataFusion 13.0.0它留下的技术遗产可以概括为三条主线类型系统的一次关键收敛类型强制转换从物理阶段全面前移到逻辑阶段形成今日TypeCoercion作为 analyzer 规则、在优化器链最前端运行的架构大幅减少了物理执行层的隐式类型处理和由此引发的内部错误查询性能的定向强化Top-K/limit 下推、并行排序、Arrow row format 的SortPreservingMerge、ParquetRowFilter offset index 统计信息缓存共同改善了排序与扫描两大热点路径SQL 能力与可用性的持续补齐TIMESTAMPTZ 与时区配置、WITH列别名、UNION/INTERSECT/EXCEPT 语义检查、register_batch、DataFrame::cache等让 DataFusion 在兼容性与易用性上更进一步。对于今天的开发者而言13.0.0 的变更记录不仅是一份历史档案更是一张理解 DataFusion 内部架构演进的地图从 type_coercion.rs 到 execution/context/mod.rs这些在 13.0.0 定型的结构至今仍是 DataFusion 的核心骨架。赞分享大数据数据分析后端【免费下载链接】datafusionApache DataFusion SQL Query Engine项目地址https://gitcode.com/gh_mirrors/datafu/datafusion点击查看免费下载相关推荐找数难、血缘断用 DataHub 元数据平台把数据资产变成一本台账找数难、血缘断用 DataHub 元数据平台把数据资产变成一本台账 DataHub 是一个开源的元数据平台官方定位是数据与 AI 栈的上下文平台。说白了大数据数据分析后端DataFusion 16.0.0 版本技术解析窗口函数增强、NATURAL JOIN 支持与查询规划器架构重构DataFusion 16.0.0 版本技术解析窗口函数增强、NATURAL JOIN 支持与查询规划器架构重构 Apache DataFusion 16.0大数据数据分析后端launch-editor中间件使用指南轻松集成到Express/Node.js项目launch editor中间件使用指南轻松集成到Express/Node.js项目 launch editor middleware 是一款功能强大的中间件上一篇ECC hookify-list 命令实战一站式盘点与管理你的 Claude Code 行为防护规则下一篇ASP.NET Core Skill 参考路由指南用 _sections.md 快速定位官方技术参考的正确打开方式创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
