Hive - 创建表

本章介绍如何创建表格以及如何向其中插入数据。在HIVE中创建表格的惯例与使用SQL创建表格非常相似。

创建表格声明

创建表是用于在Hive中创建表的语句。语法和示例如下所示:

句法

CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.] table_name

[(col_name data_type [COMMENT col_comment], ...)]
[COMMENT table_comment]
[ROW FORMAT row_format]
[STORED AS file_format]

让我们假设您需要使用 CREATE TABLE 语句创建一个名为 employee的 。下表列出了employee表中的字段及其数据类型:

序号 字段名 数据类型
1 Eid int
2 Name String
3 Salary Float
4 Designation string

以下数据是注释,行格式字段,如字段终止符,行终止符和存储文件类型。

COMMENT ‘Employee details’
FIELDS TERMINATED BY ‘\t’
LINES TERMINATED BY ‘\n’
STORED IN TEXT FILE

以下查询使用上述数据创建一个名为 employee 的表。

hive> CREATE TABLE IF NOT EXISTS employee ( eid int, name String,
salary String, destination String)
COMMENT ‘Employee details’
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ‘\t’
LINES TERMINATED BY ‘\n’
STORED AS TEXTFILE;

如果添加选项IF NOT EXISTS,则在表已存在的情况下,Hive会忽略该语句。

成功创建表格后,您会看到以下回复:

OK
Time taken: 5.905 seconds
hive>

JDBC程序

给出创建表的JDBC程序示例。

import java.sql.SQLException;
import java.sql.Connection;
import java.sql.ResultSet;
import java.sql.Statement;
import java.sql.DriverManager;

public class HiveCreateTable {
   private static String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver";

   public static void main(String[] args) throws SQLException {

      // Register driver and create driver instance
      Class.forName(driverName);

      // get connection
      Connection con = DriverManager.getConnection("jdbc:hive://localhost:10000/userdb", "", "");

      // create statement
      Statement stmt = con.createStatement();

      // execute statement
      stmt.executeQuery("CREATE TABLE IF NOT EXISTS "
         +" employee ( eid int, name String, "
         +" salary String, destignation String)"
         +" COMMENT ‘Employee details’"
         +" ROW FORMAT DELIMITED"
         +" FIELDS TERMINATED BY ‘\t’"
         +" LINES TERMINATED BY ‘\n’"
         +" STORED AS TEXTFILE;");

      System.out.println(“ Table employee created.”);
      con.close();
   }
}

将程序保存在名为HiveCreateDb.java的文件中。以下命令用于编译和执行该程序。

$ javac HiveCreateDb.java
$ java HiveCreateDb

输出

Table employee created.

加载数据声明

通常,在SQL中创建表之后,我们可以使用Insert语句插入数据。但是在Hive中,我们可以使用LOAD DATA语句插入数据。

将数据插入Hive时,最好使用LOAD DATA来存储批量记录。有两种加载数据的方式:一种来自本地文件系统,另一种来自Hadoop文件系统。

句法

加载数据的语法如下所示:

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename
[PARTITION (partcol1=val1, partcol2=val2 ...)]
  • LOCAL是指定本地路径的标识符。这是可选的。
  • OVERWRITE是可选的,用于覆盖表中的数据。
  • PARTITION是可选的。

我们将在表格中插入以下数据。这是一个名为文本文件 sample.txt的/ home / user的 目录。

1201  Gopal       45000    Technical manager
1202  Manisha     45000    Proof reader
1203  Masthanvali 40000    Technical writer
1204  Kiran       40000    Hr Admin
1205  Kranthi     30000    Op Admin

以下查询将给定的文本加载到表中。

hive> LOAD DATA LOCAL INPATH '/home/user/sample.txt'
OVERWRITE INTO TABLE employee;

成功下载后,您会看到以下回复:

OK
Time taken: 15.905 seconds
hive>

JDBC程序

下面给出的是将给定数据加载到表中的JDBC程序。

import java.sql.SQLException;
import java.sql.Connection;
import java.sql.ResultSet;
import java.sql.Statement;
import java.sql.DriverManager;

public class HiveLoadData {

   private static String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver";

   public static void main(String[] args) throws SQLException {

      // Register driver and create driver instance
      Class.forName(driverName);

      // get connection
      Connection con = DriverManager.getConnection("jdbc:hive://localhost:10000/userdb", "", "");

      // create statement
      Statement stmt = con.createStatement();

      // execute statement
      stmt.executeQuery("LOAD DATA LOCAL INPATH '/home/user/sample.txt'" + "OVERWRITE INTO TABLE employee;");
      System.out.println("Load Data into employee successful");

      con.close();
   }
}

将该程序保存在名为HiveLoadData.java的文件中。使用以下命令来编译和执行该程序。

$ javac HiveLoadData.java
$ java HiveLoadData

输出:

Load Data into employee successful
推荐教程

R语言教程

R是用于统计分析,图形表示和报告的编程语言和软件环境

Hbase教程

HBase是一个数据模型,类似于Google的大表

Scala教程

Scala是一种现代多范式编程语言,旨在以简洁,优雅和类型安全的方式表达常见的编程模式。

Hive教程

Hive是一个数据仓库基础设施工具,用于处理Hadoop中的结构化数据