hdfs

HDFS

Name

SinceVersion 1.2

hdfs

Description

HDFS表函数（table-valued-function,tvf），可以让用户像访问关系表格式数据一样，读取并访问 HDFS 上的文件内容。目前支持csv/csv_with_names/csv_with_names_and_types/json/parquet/orc文件格式。

syntax

hdfs(
  "uri" = "..",
  "fs.defaultFS" = "...",
  "hadoop.username" = "...",
  "format" = "csv",
  "keyn" = "valuen" 
  ...
  );

参数说明

访问hdfs相关参数：

uri：（必填）访问hdfs的uri。
fs.defaultFS：（必填）
hadoop.username：（必填）可以是任意字符串，但不能为空
hadoop.security.authentication：（选填）
hadoop.username：（选填）
hadoop.kerberos.principal：（选填）
hadoop.kerberos.keytab：（选填）
dfs.client.read.shortcircuit：（选填）
dfs.domain.socket.path：（选填）

文件格式相关参数

format：(必填) 目前支持 csv/csv_with_names/csv_with_names_and_types/json/parquet/orc
column_separator：(选填) 列分割符, 默认为,。
line_delimiter：(选填) 行分割符，默认为\n。
下面6个参数是用于json格式的导入，具体使用方法可以参照：Json Load
read_json_by_line： (选填) 默认为 "true"
strip_outer_array： (选填) 默认为 "false"
json_root： (选填) 默认为空
json_paths： (选填) 默认为空
num_as_string： (选填) 默认为 false
fuzzy_parse： (选填) 默认为 false
SinceVersion dev下面2个参数是用于csv格式的导入
trim_double_quotes：布尔类型，选填，默认值为 false，为 true 时表示裁剪掉 csv 文件每个字段最外层的双引号
skip_lines：整数类型，选填，默认值为0，含义为跳过csv文件的前几行。当设置format设置为 csv_with_names 或 csv_with_names_and_types 时，该参数会失效

Examples

读取并访问 HDFS 存储上的csv格式文件

MySQL [(none)]> select * from hdfs(
            "uri" = "hdfs://127.0.0.1:842/user/doris/csv_format_test/student.csv",
            "fs.defaultFS" = "hdfs://127.0.0.1:8424",
            "hadoop.username" = "doris",
            "format" = "csv");
+------+---------+------+
| c1   | c2      | c3   |
+------+---------+------+
| 1    | alice   | 18   |
| 2    | bob     | 20   |
| 3    | jack    | 24   |
| 4    | jackson | 19   |
| 5    | liming  | 18   |
+------+---------+------+

可以配合desc function使用

MySQL [(none)]> desc function hdfs(
            "uri" = "hdfs://127.0.0.1:8424/user/doris/csv_format_test/student_with_names.csv",
            "fs.defaultFS" = "hdfs://127.0.0.1:8424",
            "hadoop.username" = "doris",
            "format" = "csv_with_names");

Keywords

hdfs, table-valued-function, tvf

Best Practice

关于HDFS tvf的更详细使用方法可以参照 S3 tvf, 唯一不同的是访问存储系统的方式不一样。

HDFS​

Name​

Description​

syntax​

Examples​

Keywords​

Best Practice​