...

实时计算(storm、kafka、zookeeper、flume、mysql、redis、memcached、zookeeper锁)

课程介绍: 讲述实时计算的完整开发流程以及案例。 持续更新中。。。

课时相关:共 50 课时,更新至第 30 课时

付费服务:所有课时永久观看(不提供下载);专属课件下载。

分享 分享获取学分

01   linux虚拟机安装教程   【免费观看】 25:20    

讲解如何在windows环境下安装linux虚拟机以及管理工具VMware;注意视频中选择安装了简装版的linux,如果对linux命令不是太熟悉请安装服务器开发版本。

02   flume简介-基础知识   【免费观看】 14:42    

讲述flume的基础知识包括flume的基本概念和核心组件。flume是一个分布式、可靠、高可用的海量日志聚合系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据的简单处理,并写到各种数据接收方的能力。

03   flume安装与测试 39:15    

讲述flume安装与测试,主要包括flume单机安装与测试、flume集群安装与测试、Arvo环境的搭建以及安装过程中的一些异常的解决方案讲解。

04   flume部署方式 20:06    

讲述flume部署种类、流配置。其中详细讲解了单一代理、多代理、多路复用流的配置说明。

05   flume source相关配置及测试 37:51    

讲述flume source相关的配置和案例分析,包括了Avro Source配置、Thrift Source配置、Exec Source配置、JMS Source配置、NetCat Source配置、Spooling Directory Source配置、Sequence Generator Source配置、Syslog TCP Source配置、Multiport Syslog TCP Source配置、Syslog UDP Source配置、Http Source配置、Custom Source配置。

06   flume sink相关配置及测试 41:31    

讲述flume sink相关的配置以及flume channel配置和案例分析,包括了HDFS Sink配置、Logger Sink配置、Avro Sink配置、Thrift Sink配置、IRC Sink配置、File Roll Sink配置、Null Sink配置、Hbase Sink配置、AsyncHbase Sink配置、Custom Sink配置;Memory Channel配置、JDBC Channel配置、File Channel配置、Pseudo Transaction Channel配置、Custom Channel配置。

07   flume selector 相关配置与案例分析 23:10    

讲述 flume selector相关配置和案例分析,包括了Replicating Channel Selector配置、Multiplexing Channel Selector配置、Custom Channel Selector配置。

08   Flume Sink Processors相关配置和案例分析 22:49    

讲述 Flume Sink Processors相关配置和案例分析,包括了Default Sink Processor配置、Failover Sink Processor配置、Load balancing Sink Processor配置。

09   Flume Interceptors相关配置和案例分析 22:18    

讲述 Flume Event Serializers、Flume Interceptors相关配置和案例分析,包括了Body Text Serializer配置、Avro Text Serializer配置、Timestamp Interceptor配置、Host Interceptor配置、Static Interceptor配置、Regex Filtering Interceptor配置。

10   Flume RPC Client开发 30:07    

讲述如何进行 flume RPC Client开发,这个是在通常应用中使用的较多的一种方式。

11   Flume Sink和Flume Source开发 11:37    

讲述如何进行 flume Sink、flume Source开发。

12   kafka基础知识讲解   【免费观看】 10:05    

讲述kafka基础知识,包括了kafka产生背景、设计理念、部署架构、基本概念、设计的关键技术。

13   kafka安装与测试 33:27    

讲解kafka的单机安装与测试、kafka集群安装与测试。

14   kafka深入剖析 52:32    

深入讲解kafka特性,包括Topic/logs、Kafka与JMS的差别、Consumer offset、Consumer与Producer、Partition、Distribution、Producers、Consumers、Guarantees、Use cases。

15   kafka producer和consumer开发 20:17    

讲解kafka producer、consumer的开发。

16   memcached基础知识   【免费观看】 10:52    

讲述Memcached是什么,Memcached有哪些特征,Memcached能做些什么,Memcached适合做些什么。

17   memcached集群安装和命令的使用 35:55    

讲述Memcached集群安装和命令的使用。

18   memcached深入解析 10:13    

详解Memcached的分布式算法、Memcached的删除机制。

19   memcached开发 13:43    

讲解Memcached客户端开发。

20   zookeeper基础知识   【免费观看】 29:31    

讲解zookeeper基本知识,包括zookeeper是什么、设计目标、数据模型、zookeeper server组成、常用方法、典型应用场景。

21   zookeeper用户指令 25:17    

讲解zookeeper用户指令。

22   zookeeper集群安装与测试 22:27    

讲述zookeeper集群安装与测试。

23   zookeeper深入讲解 22:04    

深入讲解zookeeper配置、Zookeeper Stat结构、节点类型、通知的状态类型和事件类型、常用的四字命令。

24   zookeeper开发 01:13:30    

讲解zookeeper开发,包括zookeeper基本操作、通知状态和事件类型验证、授权操作、使用总结。

25   Storm基础知识   【免费观看】 27:47    

storm基础知识讲解,包括实时计算需要解决一些什么问题,怎么实现一个实时计算系统,storm的基本概念,storm应用场景,storm的分组机制。

26   Storm 集群安装视频教程-1 21:09    

详细讲述storm集群的安装,手把手教授安装流程并排除问题.

27   Storm 集群安装视频教程-2 34:44    

详细讲述storm集群的安装,手把手教授安装流程并排除问题.

28   Maven 环境快速搭建教程 7:04    

讲述maven环境的搭建过程,以及常用命令。

29   Storm Storm-starter打包运行测试Storm集群 23:35    

详细讲解storm-starter打包部署运行的全过程,同时进行storm集群验证。

30   Storm 配置文件配置项讲解 14:34    

详细讲解storm配置文件对应的参数,以及用法。

第一章:

1.1 flume教程


    1、flume简介-基础知识

    讲述flume的基础知识包括flume的基本概念和核心组件。flume是一个分布式、可靠、高可用的海量日志聚合系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据的简单处理,并写到各种数据接收方的能力。


    2、flume安装与测试

    讲述flume安装与测试,主要包括flume单机安装与测试、flume集群安装与测试、Arvo环境的搭建以及安装过程中的一些异常的解决方案讲解


    3、flume部署方式

    讲述flume部署种类、流配置。其中详细讲解了单一代理、多代理、多路复用流的配置说明。


    4、flume source相关配置及测试

    讲述flume source相关的配置和案例分析,包括了Avro Source配置、Thrift Source配置、Exec Source配置、JMS Source配置、NetCat Source配置、Spooling Directory Source配置、Sequence Generator Source配置、Syslog  TCP Source配置、Multiport  Syslog  TCP Source配置、Syslog  UDP Source配置、Http Source配置、Custom Source配置。


    5、flume sink相关配置及测试

    讲述flume sink相关的配置以及flume channel配置和案例分析,包括了HDFS Sink配置、Logger Sink配置、Avro Sink配置、Thrift Sink配置、IRC Sink配置、File Roll Sink配置、Null Sink配置、Hbase Sink配置、AsyncHbase Sink配置、Custom Sink配置;Memory Channel配置、JDBC Channel配置、File Channel配置、Pseudo Transaction Channel配置、Custom Channel配置。


    6、flume selector 相关配置与案例分析

    讲述 flume selector相关配置和案例分析,包括了Replicating Channel Selector配置、Multiplexing Channel Selector配置、Custom Channel Selector配置。


    7、Flume Sink Processors相关配置和案例分析

    讲述 Flume Sink Processors相关配置和案例分析,包括了Default Sink Processor配置、Failover Sink Processor配置、Load balancing Sink Processor配置。


    8、Flume Interceptors相关配置和案例分析

    讲述 Flume Event Serializers、Flume Interceptors相关配置和案例分析,包括了Body Text Serializer配置、Avro Text Serializer配置、Timestamp Interceptor配置、Host Interceptor配置、Static Interceptor配置、Regex Filtering Interceptor配置。


    9、Flume RPC Client开发

    讲述如何进行 flume RPC Client开发,这个是在通常应用中使用的较多的一种方式。


    10、Flume Sink和Flume Source开发

    讲述如何进行 flume Sink、flume Source开发。



1.2 zookeeper教程


    1、zookeeper基础知识

    讲解zookeeper基本知识,包括zookeeper是什么、设计目标、数据模型、zookeeper server组成、常用方法、典型应用场景。


    2、zookeeper用户指令

    讲解zookeeper用户指令。


    3、zookeeper集群安装与测试

    讲述zookeeper集群安装与测试


    4、zookeeper深入讲解

    深入讲解zookeeper配置、Zookeeper Stat结构、节点类型、通知的状态类型和事件类型、常用的四字命令


    5、zookeeper开发

    讲解zookeeper开发,包括zookeeper基本操作、通知状态和事件类型验证、授权操作、使用总结



1.3 kafka教程


    1、kafka基础知识讲解

    讲述kafka基础知识,包括了kafka产生背景、设计理念、部署架构、基本概念、设计的关键技术。


    2、kafka安装与测试

    讲解kafka的单机安装与测试、kafka集群安装与测试。


    3、kafka深入剖析

    深入讲解kafka特性,包括Topic/logs、Kafka与JMS的差别、Consumer offset、Consumer与Producer、Partition、Distribution、Producers、Consumers、Guarantees、Use cases。


    4、kafka producer和consumer开发

    讲解kafka producer、consumer的开发。



1.4 memcached教程


    1、memcached基础知识

    讲述Memcached是什么,Memcached有哪些特征,Memcached能做些什么,Memcached适合做些什么


    2、memcached集群安装和命令的使用

    讲述Memcached集群安装和命令的使用


    3、memcached深入解析

    详解Memcached的分布式算法、Memcached的删除机制


    4、memcached开发

    讲解Memcached客户端开发。



1.5 storm教程

    1、storm基本概念和组件介绍


    2、storm分组策略


    3、storm安装


    4、Storm 记录级容错原理


    5、Storm 配置详解


    6、Storm 数据模型(topology)


    7、Storm ack和fail


    8、BasicBolt


    9、Storm 批处理


    10、Storm TOPN


    11、Storm 流程聚合


    12、Storm DRPC


    13、Storm executor、worker、task之间的关系和调优


    14、Storm异常解决



1.6 redis教程


    1、redis简介

    详细讲解redis是什么,有什么不同,redis优势和主要问题,redis和关系型数据库比较,redis的数据持久化以及适用场景。


    2、redis安装

    讲解redis单机安装、master/slave组安装以及测试


    3、redis配置详解

    详细介绍redis的配置。


    4、redis String类型操作

    深入讲解string的每一条命令以及命令的应用场景。

第二章:集群安装

1、准备vm环境

2、zookeeper集群安装与测试

3、flume集群安装与测试

4、kafka集群安装与测试

5、flume和kafka整合与测试

6、storm集群搭建

7、memcached集群搭建

8、redis集群搭建


第三章:集群验证和项目分析

1、验证storm处理能力,从file读取数据然后直接打印

2、kafka和storm整合与测试,从kafka producer端发起数据,storm端打印出对应的数据(引入插件)

3、整合flume、kafka、zookeeper、storm;storm集群验证,从flume读取文件,在storm local cluster模式下面打印出来(需要编写一个简单topology)

4、需求分析,(活跃用户分析)
当天用户统计、当天独立活跃用户、当天业务流量、按照年龄统计独立用户(非独立)、按照指定页面统计(非独立)、用户每天登录次数统计(redis incr)、用户每天登录统计(redis setbit、bitcount)
    涉及:A、去重(memcached)
          B、锁(分布式环境,多线程对同一个表进行读写操作,zookeeper锁机制)
          C、业务拆分
    a、数据检查
    b、业务量统计并入库
    c、用户统计
    d、用户年龄统计
    e、页面统计
    f、用户每天登录次数统计(直接计入redis中,用户名+时间=key )
    g、去重处理
    h、独立用户入库(按照基本维度)
    s、年龄统计(独立用户)
    k、页面统计(独立用户)
    i、用户每天登录统计

5、数据准备,编写自动生成脚本,往flume监控的目录文件注入数据

6、mysql表设计

四、代码编写

1、搭建topology

2、按照需求分析编写对应的bolt

3、完善topology

4、打包测试topology

序号 课件名称 视频名称 课件大小 下载
1 flume简介 flume部署方式 128.61 KB
2 zookeeper简介 zookeeper用户指令 441.58 KB
3 storm基础知识 Storm 集群安装视频教程-1 242.23 KB
4 memcached 1 简介 memcached集群安装和命令的使用 114.75 KB
5 flume安装与测试 flume部署方式 92.97 KB
6 storm集群搭建 Storm 集群安装视频教程-1 718.92 KB
7 zookeeper安装与测试 zookeeper用户指令 60.93 KB
8 memcached 2 集群安装与命令使用 memcached集群安装和命令的使用 444.97 KB
9 storm深入学习-1 Storm 集群安装视频教程-1 391.01 KB
10 zookeeper深入学习 zookeeper用户指令 508.16 KB
11 flume配置深入 flume部署方式 1.51 MB
12 memcached 3 深入分析 memcached集群安装和命令的使用 226.68 KB
13 flume自定义开发 flume部署方式 452.15 KB
14 zookeeper开发及总结 zookeeper用户指令 74.57 KB
15 storm深入学习-2 Storm 集群安装视频教程-1 267.97 KB
16 memcached 4 分布式集群开发案例 memcached集群安装和命令的使用 55.01 KB
17 storm深入学习-3 Storm 集群安装视频教程-1 175.93 KB
18 zookeeper开发案例 zookeeper用户指令 39.16 KB
19 /flume配置案例 flume部署方式 42.49 KB
20 flume自定义开发案例 flume部署方式 24.48 KB
JQuery视频教程

JQuery视频教程

141 人观看

kafka视频教程

kafka视频教程

270 人观看

Flume视频教程

Flume视频教程

406 人观看

相关笔记
01    • Storm优势

• Storm优势  1. 简单的编程模型。类似于MapReduce降低了并行批处 理复杂性,Storm降低了进行实时处理的复杂性。  2. 服务化,一个服务框架,支持热部署,即时上线或下线App.  3. 可以使用各种编程语言。你可以在Storm之上使用各种 编程语言。默认支持Clojure、Java、Ruby和Python。要 增加对其他语言的支持,只需实现一个简单的Storm通信 协议即可。  4. 容错性。Storm会管理工作进程和节点的故障。  5. 水平扩展。计算是在多个线程、进程和

02    【Twitter Storm系列】flume-ng+Kafka+Storm+HDFS 实时系统搭建

一直以来都想接触Storm实时计算这块的东西,最近在群里看到上海一哥们罗宝写的Flume+Kafka+Storm的实时日志流系统的搭建文档,自己也跟着整了一遍,之前罗宝的文章中有一些要注意点没提到的,以后一些写错的点,在这边我会做修正;内容应该说绝大部分引用罗宝的文章的,这里要谢谢罗宝兄弟,还有写这篇文章@晨色星空J2EE也给了我很大帮助,这里也谢谢@晨色星空J2EE之前在弄这个的时候,跟群里的一些人讨论过,有的人说,直接用storm不就可以做实时处理了,用不着那么麻烦;其实不然,做软件开发的都知道模块化

友情链接