...

Hadoop视频-从入门到实战

课程介绍: 详细讲解Hadoop的背景发展过程,还详细讲解了hadoop是什么?hadoop可以解决什么问题?hadoop集群如何搭建?如何进行hadoop框架上面的开发工作?Hadoop运行原理是什么?Hadoop HDFS框架结构怎么样的?HDFS运行原理是什么?MapReduce运行机理?HDFS shell操作、HDFS API操作、MapReduce案例剖析与API操作等进行了详尽的剖析讲解。

课时相关:共 25 课时,更新至第 25 课时

付费服务:所有课时永久观看(不提供下载);专属课件下载。

分享 分享获取学分

01   1.Hadoop与传统BI的区别   【免费观看】 13:13    

1.Hadoop与传统BI的区别

02   2.Hadoop如何解决传统问题   【免费观看】 15:37    

2.Hadoop如何解决传统问题

03   3.Hadoop背景/概念/解决的问题 11:55    

3.Hadoop背景/概念/解决的问题

04   4.Hadoop HDFS 基本概念 27:35    

4.Hadoop HDFS 基本概念

05   5.checkpoint运行原理/数据恢复原理 8:48    

5.checkpoint运行原理/数据恢复原理

06   6.Hadoop HDFS 体系结构/优缺点 15:51    

6.Hadoop HDFS 体系结构/优缺点

07   7.Hadoop HDFS 文件读写操作流程/设计特征 17:36    

7.Hadoop HDFS 文件读写操作流程/设计特征

08   8.Hadoop MapReduce 基本概念/例子分析 15:45    

8.Hadoop MapReduce 基本概念/例子分析

09   9.Hadoop MapReduce 运行原理 17:12    

9.Hadoop MapReduce 运行原理

10   10.Hadoop MapReduce 运行细节 15:35    

10.Hadoop MapReduce 运行细节

11   11.Hadoop集群搭建-JDK安装 20:21    

11.Hadoop集群搭建-JDK安装

12   12.Hadoop集群搭建-1 14:05    

12.Hadoop集群搭建-1

13   13.Hadoop集群搭建-2 19:10    

13.Hadoop集群搭建-2

14   14.Hadoop集群搭建-3 09:07    

14.Hadoop集群搭建-3

15   15.Hadoop集群搭建-4 06:55    

15.Hadoop集群搭建-4

16   16.Hadoop集群搭建配置文件配置-5 17:12    

16.Hadoop集群搭建配置文件配置-5

17   17.Hadoop集群搭建HDFS配置 40:07    

17.Hadoop集群搭建HDFS配置

18   18.Zookeeper集群安装与测试 12:56    

18.Zookeeper集群安装与测试

19   19.Hadoop HDFS Shell操作详解-1 20:01    

19.Hadoop HDFS Shell操作详解-1

20   20.Hadoop HDFS Shell操作详解-2 22:18    

20.Hadoop HDFS Shell操作详解-2

21   21.Hadoop HDFS API 操作-1 20:00    

21.Hadoop HDFS API 操作-1

22   22.Hadoop HDFS API 操作-2 20:00    

22.Hadoop HDFS API 操作-2

23   23.Hadoop HDFS API 操作-3 14:58    

23.Hadoop HDFS API 操作-3

24   24.Hadoop MapReduce API-1     

24.Hadoop MapReduce API-1

25   25.Hadoop MapReduce API-2 案例分析     

25.Hadoop MapReduce API-2 案例分析

1.Hadoop与传统BI的区别
2.Hadoop如何解决传统问题
3.Hadoop背景/概念/解决的问题
4.Hadoop HDFS 基本概念
5.checkpoint运行原理/数据恢复原理
6.Hadoop HDFS 体系结构/优缺点
7.Hadoop HDFS 文件读写操作流程/设计特征
8.Hadoop MapReduce 基本概念/例子分析
9.Hadoop MapReduce 运行原理
10.Hadoop MapReduce 运行细节
11.Hadoop集群搭建-JDK安装
12.Hadoop集群搭建-1
13.Hadoop集群搭建-2
14.Hadoop集群搭建-3
15.Hadoop集群搭建-4
16.Hadoop集群搭建配置文件配置-5
17.Hadoop集群搭建HDFS配置
18.Zookeeper集群安装与测试
19.Hadoop HDFS Shell操作详解-1
20.Hadoop HDFS Shell操作详解-2
21.Hadoop HDFS API 操作-1
22.Hadoop HDFS API 操作-2
23.Hadoop HDFS API 操作-3
24.Hadoop MapReduce API-1
25.Hadoop MapReduce API-2 案例分析

暂时还没有资料!!

Flume视频教程

Flume视频教程

406 人观看

kafka视频教程

kafka视频教程

270 人观看

CDH生态环境搭建

CDH生态环境搭建

205 人观看

JQuery视频教程

JQuery视频教程

135 人观看

zookeeper视频教程

zookeeper视频教程

478 人观看

相关笔记
01    HDFS写过程

Client调用DistributedFileSystem对象的create方法,创建一个文件输出流(FSDataOutputStream)对象 Client调用DistributedFileSystem对象的create方法,创建一个文件输出流(FSDataOutputStream)对象通过DistributedFileSystem对象与Hadoop集群的NameNode进行一次RPC远程调用,在HDFS的Namespace中创建一个文件条目(Entry),该条目没有任何的Block通过FSDataOu

02    Hadoop权威指南12

序列化1、所谓序列化(serialization),是指将结构化对象转化为字节流,以便在网络上传输或写到磁盘进行永久存储。反序列化(deserialization)是指将字节流转回结构化对象的逆过程。2、序列化在分布式数据处理的两大领域经常出现:进程间通信和永久存储.3、远程过程调用(remote  procedure call)RPC :RPC序列化格式如下。     紧凑: 紧凑的格式能够使我们充分利用网络带宽(它是数据中心最稀缺的资源) 

03    Hadoop权威指南11

1、在某些情况下,例如调试一个压缩相关问题时,可能需要禁用原生代码库。将属性Hadoop.native.lib的值设置为false即可,这可确保使用内置的java代码库。2、CodecPool 如果使用的是原生代码库并且需要在使用中执行大量压缩和解压缩操作,可以考虑使用CodecPool,它允许你反复使用压缩和解压缩,以分摊创建这些对象所涉及的开销。3、在codec的重载方法createOutputStream()中,对于指定的CompressionCodec,我们从池中获取一个Compressor实例。

04    Hadoop权威指南5

写入数据1、FileSystem类有一系列创建文件的方法。最简单的方法是给准备创建的文件指定一个Path对象,然后返回一个用于写入数据的输入流:public FSDataOutputStream create(Path f)throws IOException这个方法有多个重载版本,允许我们指定是否需要强制覆盖已有的文件、文件备份数量、写入文件时所用的缓冲区大小、文件块大小及文件权限。2、create()方法能够为需要写入且当前不存在的文件创建父目录。尽管这样很方便,但有时并不希望这样。如果希望不存在父目

05    Hadoop权威指南4

30、Hadoop文件系统中通过Hadoop Path对象来代表文件(而非java.io.File对象,因为它的语义与本地文件系统联系太紧密)。可以将一条路径视为一个Hadoop文件系统URI,如hdfs://localhost/user/tom/quanhle.txt31、FileSystem是一个通用的文件系统API,所以第一步是检索我们需要使用的文件系统实例,这里是HDFS。获取FileSystem实例有两种静态工厂方法:     public static FileS

06    Hadoop权威指南3

16、HDFS中的文件访问权限,一般有三类权限模式:只读权限(r),写入权限(w)和可执行权限(x),在访问一个目录的子项时需要权限(x)17、每个文件和目录都有所属用户(owner)、所属组别(group)及模式(mode)。这个模式是有所属用户的权限、组内成员的权限及其他用户的权限组成的。18、超级用户(super-user),是namenode进程的标识。对于超级用户,系统不会执行任何权限检查。19、Hadoop有一个抽象的文件系统概念,HDFS只是其中的一个实现。Java抽象类org.apache

07    Ganglia安装详解(CentOS_5.5_Final版)

1. 安装rrdtool1.1. 安装依赖包Ø 拷贝CentOS软件包将CentOS安装光盘中的rpm包拷贝到/root/下,以备使用。Ø 安装zlib开发包rpm -ivh /root/CentOS/zlib-devel-1.2.3-3.x86_64.rpmØ 安装freetype开发包:rpm -ivh /root/CentOS/freetype-devel-2.2.1-21.el5_3.x86_64.rpmØ 安装libart开发包:rpm -ivh /root/CentOS/libart_lgpl

08    Hadoop yarn log

首先是页面:报错任务的页面(报错的任务就称为任务1,运行成功的任务就称为任务2):图1 任务2的页面:图2 图1中点击2(History)连接,发现还是在原始连接;而图3的History链接点击后就会出现2的页面。如果在图3中直接点击log,那么会出现log找不到的错误(在图2中点击则没有问题)。图3 通过上面的对比,可以发现图1和图3的url链接是对应的,但是图1点击History还是链接会图1页面,图3却可以连接到图2界面。在图1和图3中直接点击log,会出现log找不到的错误,一般如下:图4 在图2

09    hadoop.matrix

package org.conan.myhadoop.matrix; import java.io.IOException; import java.util.HashMap; import java.util.Iterator; import java.util.Map; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Lon

10    Spark history server

在运行Spark应用程序的时候,driver会提供一个webUI给出应用程序的运行信息,但是该webUI随着应用程序的完成而关闭端口,也就是说,Spark应用程序运行完后,将无法查看应用程序的历史记录。Spark history server就是为了应对这种情况而产生的,通过配置,Spark应用程序在运行完应用程序之后,将应用程序的运行信息写入指定目录,而Spark history server可以将这些运行信息装载并以web的方式供用户浏览。      要使用history

友情链接