Перейти к содержимому

Doris Spark Connector

В этом документе перечислены выпуски Doris Spark Connector в обратном хронологическом порядке.

26.1.0​

Источник: Spark Doris Connector 26.1.0

Spark Connector​

Новые возможности и улучшения​

  • Добавлена поддержка представления столбцов Doris типа ARRAY в Spark как Array[String]. #362
  • Добавлена поддержка Spark 4.1. #365
  • Добавлена поддержка подключений к Doris с односторонним TLS. #369
  • Добавлены программы для регрессионного тестирования Doris. #370
  • Добавлена поддержка режима пакетной записи через S3 TVF. #371
  • Arrow Flight SQL стал режимом чтения по умолчанию. Если он недоступен, используется Thrift. #367

Исправления ошибок​

  • Исправлен поиск узлов BE указанной вычислительной группы в облачном режиме. #361
  • Исправлено преобразование временных меток Arrow для типов Doris DATETIME и TIMESTAMPTZ. #366

Благодарности​

  • @addu390
  • @gnehil
  • @JNSimba
  • @LuciferYang

26.0.0​

Источник: Spark Doris Connector 26.0.0

Spark Connector​

Новые возможности и улучшения​

  • При записи через Stream Load по умолчанию включено сжатие gzip. #356
  • Добавлено журналирование чтения через Arrow Flight. #354
  • Добавлена поддержка HTTP-запросов с кодировкой UTF-8. #347

Исправления ошибок​

  • Исправлены проблемы с выборкой столбцов в Spark 3.3, 3.4 и 3.5. #353

Благодарности​

  • @JNSimba
  • @gnehil

25.2.0​

Источник: Spark Doris Connector 25.2.0

Spark Connector​

Новые возможности и улучшения​

  • Для Doris Flight SQL Reader добавлены повторные попытки подключения к FE и стратегия балансировки нагрузки. #318
  • Добавлена стратегия балансировки нагрузки между узлами FE и BE. #329
  • Добавлен параметр для работы без схемы. #332

Исправления ошибок​

  • Исправлены проблемы с проталкиванием фильтров, содержащих OR в SQL. #317
  • Исправлена ошибка, из-за которой повторные попытки могли зависнуть при зависании FE. #331
  • Улучшена обработка параметра accept_any_schema. #326
  • Исправлены ошибки построения V2Expression. #339
  • Исправлена ошибка, из-за которой параметр doris.benodes не применялся. #346

Благодарности​

  • @JNSimba
  • @wanggx
  • @wary

25.1.0​

Источник: Примечания к выпуску Spark Doris Connector 25.1.0

Spark Connector​

Новые возможности и улучшения​

  • Добавлена поддержка перезаписи для DataSource V2. #281
  • Добавлена поддержка чтения типа DECIMAL128. #290
  • Добавлена совместимость при чтении типа данных IP. #289
  • Улучшено журналирование чтения через BE Thrift и загрузки через Stream Load. #279 #313
  • Добавлены интеграционные тесты для источника и приёмника Doris, а также проверки в CI для Spark 3.2, 3.4 и 3.5. #296 #297 #302 #312
  • Улучшена проверка портов узлов FE и повышена производительность записи. #303
  • Добавлены интервалы между повторными попытками при сбое загрузки. #307
  • Добавлены проверки кодов для запросов к FE. #309
  • После рефакторинга удалён неиспользуемый код. #295

Исправления ошибок​

  • Исправлена компиляция условий фильтрации с IN. #277
  • Исправлены модульные тесты преобразователей строк и схем. #278
  • Исправлено исключение из-за ссылки со значением NULL при фиксации транзакции для пустой партиции. #286
  • Исправлена ошибка, из-за которой результаты отсечения столбцов не передавались на нижний уровень. #287
  • Исправлено снижение производительности из-за ошибки в настройке интервала. #294
  • Исправлены проблемы при проталкивании выражений CASE WHEN из Spark. #300
  • Исправлена ошибка, из-за которой задачи загрузки зависали при неожиданном завершении Stream Load. #305
  • Исправлена ошибка, из-за которой запросы не выполнялись при проталкивании кодировки UTF-8. #311
  • Исправлены конфликты при переименовании ArrowWriter и ArrowUtil. #315

Spark Load​

Новые возможности и улучшения​

  • Добавлена поддержка загрузки конфигурации Hadoop из ресурсов. #280

Благодарности​

  • @aoyuEra
  • @gnehil
  • @JNSimba
  • @IsmailTosunTnyl
  • @qg-lin
  • @vinlee19
  • @wary

25.0.1​

Источник: Примечания к выпуску Spark Doris Connector 25.0.1

Spark Connector​

Новые возможности и улучшения​

  • Добавлена поддержка таблиц с произвольной схемой. #269
  • Добавлено журналирование ответов Stream Load. #271
  • Улучшены сообщения журнала. #274
  • Добавлены скрипты для выпуска версий. #275

Исправления ошибок​

  • Исправлены проблемы с записью в формате Arrow. #270
  • Исправлены проблемы с чтением, вызванные проталкиванием отсечения столбцов. #273

Spark Load​

Исправления ошибок​

  • Исправлены модульные тесты и добавлены проверки сборки в CI. #272

Благодарности​

  • @gnehil
  • @JNSimba

25.0.0​

Источник: Примечания к выпуску Spark Doris Connector 25.0.0

Spark Connector​

Новые возможности и улучшения​

  • Добавлена поддержка проталкивания операций через Spark DataSource V2 API. #250
  • Добавлена поддержка частичного проталкивания ограничения числа строк для Spark 3.2 и более поздних версий. #257
  • Добавлена совместимость с изменениями FE API. #260
  • Добавлена поддержка операторов CREATE TABLE для Spark 3.3 и более поздних версий. #264

Исправления ошибок​

  • Исправлено исключение драйвера при получении JDBC-подключения через Spark Catalog. #251
  • Исправлено исключение при преобразовании данных во время чтения типа date. #253
  • Исправлено исключение, возникавшее из-за загрузки драйвера Arrow JDBC при загрузке драйвера MySQL. #254
  • Исправлено несоответствие порядка столбцов схемы порядку столбцов данных. #256
  • Исправлено исключение при чтении данных типа JSON через Flight SQL. #263
  • Исправлено исключение при чтении данных типа date с включённым параметром spark.sql.datetime.java8API.enabled. #265

Spark Load​

Новые возможности и улучшения​

  • Добавлена поддержка выполнения заданий с использованием объектного хранилища. #266

Благодарности​

  • @gnehil
  • @JNSimba
Report issue