...

Hive从入门到精通

课程介绍: 本视频主要讲解Hive是什么,Hive的体系结构,Hive和Hadoop的关系,Hive的元数据存储、Hive的数据存储、Hive和RDBMS的区别,Hive 命令行语法,Hive 表创建、删除、更改,增加分区、删除分析、加载数据到指定分区讲解和案例操作,从文件加载到hive表讲解和案例操作、从查询插入数据到hive表讲解和案例操作,Array、Map、Struct操作案例讲解,查询语句操作,已经Hive UDF、UDTF、UDAF实战开发,Hive优化详解。

课时相关:共 40 课时,更新至第 25 课时

付费服务:所有课时永久观看(不提供下载);专属课件下载。

分享 分享获取学分

01   Hive是什么,Hive的体系结构,Hive和Hadoop的关系   【免费观看】     

Hive是什么,Hive的体系结构,Hive和Hadoop的关系

02   Hive的元数据存储、Hive的数据存储、Hive和RDBMS的区别     

Hive的元数据存储、Hive的数据存储、Hive和RDBMS的区别

03   JDK安装     

JDK安装

04   Hadoop集群搭建-1     

Hadoop集群搭建-1

05   Hadoop集群搭建-2     

Hadoop集群搭建-2

06   Hadoop集群搭建-3     

Hadoop集群搭建-3

07   Hadoop集群搭建-4     

Hadoop集群搭建-4

08   Hadoop集群搭建配置文件配置-5     

Hadoop集群搭建配置文件配置-5

09   Hadoop集群搭建HDFS配置-6     

Hadoop集群搭建HDFS配置-6

10   Zookeeper集群安装与配置     

Zookeeper集群安装与配置

11   Hive安装与配置-1     

Hive安装与配置-1

12   Hive安装与配置-2     

Hive安装与配置-2

13   Hive与Hadoop的处理流程分析案例     

Hive与Hadoop的处理流程分析案例

14   Hive Cli命令行操作讲解     

Hive Cli命令行操作讲解

15   内部表和外部表的创建、修改、删除操作实战     

内部表和外部表的创建、修改、删除操作实战

16   增加分区、删除分析、加载数据到指定分区讲解和案例操作     

增加分区、删除分析、加载数据到指定分区讲解和案例操作

17   增加、修改列以及表属性修改操作讲解     

增加、修改列以及表属性修改操作讲解

18   从文件加载到hive表讲解和案例操作、从查询插入数据到hive表讲解和案例操作     

从文件加载到hive表讲解和案例操作、从查询插入数据到hive表讲解和案例操作

19   Array、Map操作案例分析讲解与实战     

Array、Map操作案例分析讲解与实战

20   Struct 操作案例分析讲解与实战     

Struct 操作案例分析讲解与实战

21   嵌套复合类型案例分析实战/基于RegexSerDe的案例剖析实战     

嵌套复合类型案例分析实战/基于RegexSerDe的案例剖析实战

22   详解Select语法操作     

详解Select语法操作

23   Group by使用详解     

Group by使用详解

24   Hive 中 Order by, Sort by ,Dristribute by,Cluster By 的作用和用法     

Hive 中 Order by, Sort by ,Dristribute by,Cluster By 的作用和用法

25   Hive Order by, Sort by ,Dristribute by,Cluster By操作案例讲解     

Hive Order by, Sort by ,Dristribute by,Cluster By操作案例讲解

1、Hive是什么,Hive的体系结构,Hive和Hadoop的关系

2、Hive的元数据存储、Hive的数据存储、Hive和RDBMS的区别

3、Hive集群安装-包括Hadoop集群安装和Zookeeper集群安装

4、Hive与Hadoop的处理流程分析案例

5、Hive Cli命令行操作讲解

6、内部表和外部表的创建、修改、删除操作实战

7、增加分区、删除分析、加载数据到指定分区讲解和案例操作

8、增加、修改列以及表属性修改操作讲解

9、从文件加载到hive表讲解和案例操作、从查询插入数据到hive表讲解和案例操作

10、Array、Map操作案例分析讲解与实战

11、Struct 操作案例分析讲解与实战

12、嵌套复合类型案例分析实战/基于RegexSerDe的案例剖析实战

13、详解Select语法操作

14、Group by使用详解

15、Hive 中 Order by, Sort by ,Dristribute by,Cluster By 的作用和用法

16、Hive  Order by, Sort by ,Dristribute by,Cluster By操作案例讲解

17、Hive Join详细讲解

暂时还没有资料!!

Storm视频教程

Storm视频教程

1222 人观看

redis视频教程

redis视频教程

108 人观看

Storm项目实战

Storm项目实战

1787 人观看

zookeeper视频教程

zookeeper视频教程

478 人观看

相关笔记
01    hive 表跟mysql绑定以后hive表drop不掉解决办法

 这个问题网上给出的一般都是修改编码集,但对有些朋友来说,貌似不好使,我自己就是受害者。 原因也确实是编码集,但是很多人像我都搞错了顺序呢!下面是原因以及解决!            我安装mysql的时候默认编码是utf8 ,然后我启动hive 它给我自动create了若干张表,然后我才把表的编码集改成latin,但是其实里面表的编码集还是utf8 导致后面的问题我把mysql下的database

02    Hive常用的SQL命令操作

创建表hive> CREATE TABLE pokes (foo INT, bar STRING);创建表并创建索引字段dshive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING);显示所有表hive> SHOW TABLES;按正条件(正则表达式)显示表,hive> SHOW TABLES '.*s';表添加一列hive> ALTER TABLE pokes ADD COLUMNS

03    hive sequencefile 和rcfile 效率对比

源数据放在test1表中,大小 26413896039 Byte。 创建sequencefile 压缩表test2,使用insert  overwrite table test2 select ...语句将test1数据导入 test2 ,设置配置项:set hive.exec.compress.output=true; set mapred.output.compress=true; set mapred.output.compression.codec=com.hadoop.com

04    hive 全排序优化

全排序Hive的排序关键字是SORT BY,它有意区别于传统数据库的ORDER BY也是为了强调两者的区别–SORT BY只能在单机范围内排序。考虑以下表定义:CREATE TABLE if not exists t_order( id int, -- 订单编号 sale_id int, -- 销售ID customer_id int, -- 客户ID product _id int, -- 产品ID amount int -- 数量 ) PARTITIONED BY (ds STRING);在表中查询所

05    hive的查询注意事项以及优化总结

一、控制Hive中Map和reduce的数量Hive中的sql查询会生成执行计划,执行计划以MapReduce的方式执行,那么结合数据和集群的大小,map和reduce的数量就会影响到sql执行的效率。除了要控制数据量和Hive生成的Job的数量外,也要根据实际情况调节map和reduce的数量。 1、 map的数量,通常情况下和split的大小有关系,之前写的一篇blog“map和reduce的数量是如何定义的”有描述。 hive中默认的hive.input.format是org.a

06    hive架构原理简析-mapreduce部分

整个处理流程包括主要包括,语法解析(抽象语法树,AST,采用antlr),语义分析(sematic Analyzer生成查询块),逻辑计划生成(OP tree),逻辑计划优化,物理计划生成(Task tree),以及物理计划执行组成。下面这张图简要的说明了整个处理的流程 这里重点说一下物理计划生成,以及执行。物理计划的生成是根据逻辑操作树(operator)来生成的,物理计划由Task对象执行的,每个task有一个woker对象,work代表物理计划的描述。   主要有Fet

07    HIVE FAQ

1、 $ hiveCannot find hadoop installation: $HADOOP_HOME must be set orhadoop must be in the path原因:HADOOP路径没有在环境变量中定义解决方法:admin@hadoop1~]$ export HADOOP_HOME=$HOME/hadoop-0.19.2 2、FAILED: Execution Error, return code 1 fromorg.apache.hadoop.hive.ql.ex

08    hive GroupBy

Map 端部分聚合:     并不是所有的聚合操作都需要在 Reduce 端完成,很多聚合操作都可以先在Map 端进行部分聚合,最后在 Reduce 端得出最终结果。      基于 Hash      参数包括:§  hive.map.aggr = true 是否在 Map 端进行聚合,默认为 True§  hive.groupby.mapagg

09    hive 合并小文件

文件数目过多,会给 HDFS 带来压力,并且会影响处理效率,可以通过合并 Map 和 Reduce 的结果文件来消除这样的影响:hive.merge.mapfiles = true 是否和并 Map 输出文件,默认为 Truehive.merge.mapredfiles = false 是否合并 Reduce 输出文件,默认为 Falsehive.merge.size.per.task = 256*1000*1000 合并文件的大小

10    Partition

Partition就是分区。分区通过在创建表时启用partition by实现,用来partition的维度并不是实际数据的某一列,具体分区的标志是由插入内容时给定的。当要查询某一分区的内容时可以采用where语句,形似where tablename.partition_key >a来实现。 创建含分区的表 CREATE TABLE page_view(viewTime INT, useridBIGINT, page_url STRING, re

友情链接