Doris Flink Connector
本文按版本倒序列出 Doris Flink Connector 的版本发布说明。
26.1.1
Bug 修复
- 修复启用压缩后，批量 Sink 长时间运行时可能卡住的问题。#653
致谢
- @addu390
26.1.0
功能与改进
- Stream Load 默认启用 gzip 压缩。#648
致谢
- @JNSimba
26.0.0
功能与改进
- 支持 Doris
DECIMAL256类型。#628 - 支持
ArrayData中的嵌套类型字段。#606 - 支持带 UTF-8 字符集编码的 HTTP 请求。#623
- 增加可配置的 Thrift 最大消息大小。#593
- 优化 MongoDB CDC 类型推断，避免不必要的 decimal 转换。#596
- 改进 FE host 无效时的错误信息。#629
- 支持 Flink 2.x。#636
Bug 修复
- 修复 group commit 重试时 label 处理的问题。#635
- 修复没有行分隔符的类型在 batch Stream Load 中的处理问题。#619
- 修复 Doris 字段默认值为空字符串时 DDL 生成不正确的问题。#600
- 修复
BackendClient中可能影响 Arrow Flight 读取的拼写错误。#622
致谢
- @QuakeWang
- @JNSimba
- @jqcc
- @potterhe
- @kwonder0926
- @gnehil
- @keytouch
- @AlexRiedler
25.1.0
功能与改进
- 在分库分表场景中自动创建新的同步表。#564
- Doris Source 默认使用 Arrow Flight SQL 读取。#574
- 增加集成测试和端到端测试用例。#569 #577 #580
- 兼容 Doris 2.1.3 及之后版本的 IP 类型读取。#576
- 增加发布脚本。#567
- 增加 batch mode 的重试间隔。#579
- 在 MongoDB CDC 同步中自动创建新表。#573
- 增加使用示例。#589
Bug 修复
- 修复 Stream Load 线程异常退出后 Flink 任务可能卡住的问题。#578
- 修复 PostgreSQL CDC 同步中的类型转换问题。#582
- 修复 MongoDB CDC 同步中非
_idObjectId 字段的 schema 长度不匹配问题。#588
致谢
- @Aalron
- @JNSimba
- @kwonder0926
- @vinlee19
25.0.0
功能与改进
- 支持通过 Arrow Flight SQL 读取 catalog table。#530
- 支持
INSERT OVERWRITE。#544 - 支持 partial limit pushdown。#553
- 下推时拼接
doris.filter.query选项。#552 - 兼容 FE API 变化，支持配置需要忽略的响应字段。#549
- 优化 MongoDB CDC
sampleSize计算逻辑。#542 - 忽略 MongoDB schema change 失败。#537
- 为 lookup query 和 Arrow Flight query 增加前缀。#531 #530
Bug 修复
- 修复极端情况下写入错误可能绕过 checkpoint 的问题。#560 #555
- 修复发生 HTTP 错误时写入可能卡住的问题。#539
- 修复 MongoDB timestamp 和 array 类型解析问题。#547
- 修复同步大量表时出现 ORA-12733 的问题。#532
- 修复 timestamp format pushdown 错误。#528
- 修复 SQL parser schema table 注释和字段类型解析不准确的问题。#540
- 修复
Transfer-Encodingheader already present 错误。#525 - 修复多数据库同步中的空指针异常。#534
致谢
- @awol2005ex
- @DongLiang-0
- @JNSimba
- @nativeCat
- @vinlee19
- @xuqinghuang
