笔记
Storm单机+zookeeper集群安装
593246075 5 2014-03-07 22:05
绑定的课程:
Storm单机+zookeeper集群安装 1、安装zookeeper集群 2、准备机器 10.10.3.44 flumemaster1 zk 10.10.3.129 flumemaster2 zk 10.10.3.132 flumecollector1 zk 10.10.3.115 flumeNg1 storm 3、配置hosts文件(4台服务器上面都需要配置) vi /etc/hosts 10.10.3.115 flumeNg1 10.10.3.44 flumemaster1 10.10.3.129 flumemaster2 10.10.3.132 flumecollector1 4、安装storm所需要的环境 接下来,需要在Nimbus和Supervisor机器上安装Storm的依赖库,具体如下: [list][*][b][url=http://www.zeromq.org/area:download]ZeroMQ 2.2.0[/url][/b] [*][b][url=http://github.com/nathanmarz/jzmq]JZMQ[/url][/b] [*][b]Java 6[/b] [*][b]Python 2.7.2[/b] [*][b]unzip[/b] [/list] 以上依赖库的版本是经过Storm测试的,Storm并不能保证在其他版本的Java或Python库下可运行。 A、JDK安装,并配置到相应的 etc/profile文件中 B、安装ZeroMQ 2.2.0 jzmq的安装貌似是依赖zeromq的,所以应该先装zeromq,再装jzmq。 开始安装: [i]wget [url]http://download.zeromq.org/zeromq-2.2.0.tar.gz[/url] tar zxf zeromq-2.2.0.tar.gz cd zeromq-2.2.0 ./configure[/i]([font=Calibri][size=12px][color=black]yuminstall [/font][/size][/color][font=Calibri][size=12px][color=black]libuuid-devel[/font][/size][/color]) [i] make make install[/i] [color=#0000FF]([/color] [color=#0000FF]如果遇到Error:cannot link with -luuid, install uuid-dev[/color] cannot link with -luuid, install uuid-dev 可是安装 yuminstall uuid-dev 提示没有该包 解决办法 : [b]libuuid[/b] ispart of the util-linux-ng package since version 2.15.1 and is available from[u] ftp://ftp.kernel.org/pub/linux/utils/util-linux/v2.21/util-linux-2.21.1.tar.gz[/u] 安装了 util-linux-2.21.1.tar.gz 后,重新执行 ./configure make make install 命令即可。 安装util-linux-2.21 tar -zxvf util-linux-2.21.1.tar.gz cd util-linux-2.21 ./configure make HAVE_KILL=yes HAVE_SLN=yes make HAVE_KILL=yes HAVE_SLN=yes install [color=#ff0000]安装 util-linux-2.21可能造成的后果是系统无法重启。可以改用util-linux-ng-2.17-rc1.zip安装包。[/color] 安装步骤:严格按照下面步骤执行,参考文档http://linux.chinaitlab.com/soft/874617.html [color=#ff0000]#unzip util-linux-ng-2.17-rc1.zip[/color] #cd util-linux-ng-2.17 #./configure #make #mv /sbin/hwclock /sbin/hwclock.old #cp hwclock/hwclock /sbin/ # hwclock --show #hwclock -w #make install [color=#0000ff] [s]安装uuid[/s][/color] [color=#0000ff][s] 下载最新的epel-release rpm (http://rpm.pbone.net/index.php3/stat/4/idpl/15285241/dir/redhat_el_6/com/epel-release-6-5.noarch.rpm.html[/s][/color] [s][color=#0000FF])[/color][/s] [color=#0000ff][s]wget ftp://ftp.pbone.net/mirror/dl.iuscommunity.org/pub/ius/archive/Redhat/6/x86_64/epel-release-6-5.noarch.rpm[/s][/color] [color=#0000ff][s] 安装epel-release rpm:[/s][/color] [color=#0000ff][s]rpm -Uvh epel-release*rpm[/s][/color] [color=#0000ff][s] 安装uuid相关数据包[/s][/color] [color=#0000ff][s]yum install uuid[/s][/color] [color=#0000ff][s]yum install uuid-devel[/s][/color] [color=#0000ff][s]yum install python-dev[/s][/color] [color=#0000ff][s]yum install -y gcc make autoconf automake e2fsprogs-develglibc-devel[/s][/color] [color=#0000ff]--------------------------[/color] [s]安装EPEL[/s] [s] wget http://dl.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm[/s] [s]rpm -ivh epel-release-6-8.noarch.rpm[/s] [s]yum makecache[/s] ------------------------------------------ [color=#0000ff])[/color] zeromq安装完成。 注意事项: 如果遇到Error:cannot link with -luuid, install uuid-dev,原因为缺少uuid相关package: [i]# yum install uuid*[/i] [i]# yum install e2fsprogs*[/i] [i]# yum install libuuid*[/i] C、安装JZMQ 如果缺少libtool,则先安装 yum install libtool 下载后编译安装JZMQ: [i]yum install git git clone git://github.com/nathanmarz/jzmq.git cd jzmq ./autogen.sh ./configure make make install[/i] 然后,jzmq就装好了。 注意事项: [list][*]如果没有安装git工具,请参照文件[i]CentOS 5 上安装git.docx[/i],该文件步骤经过检验,安装成功后可以测试:[/list][img]http://note.youdao.com/yws/res/520/B0BD26EA90F2471C83F9E752E0528711[/img] [list][*]如果运行./configure命令出现问题,参考[url=http://stackoverflow.com/questions/3522248/how-do-i-compile-jzmq-for-zeromq-on-osx]这里[/url]。[*]在./autogen.sh这步如果报错:autogen.sh:error:could not find libtool is required to run autogen.sh,这是因为缺少了libtool,可以用#yum install libtool*来解决。[*]正确设置 JAVA_HOME环境变量[*]安装Java开发包 [/list] D、安装Python2.7.2 [i]wget [url]http://www.python.org/ftp/python/2.7.2/Python-2.7.2.tgz[/url] tar zxvf Python-2.7.2.tgz cd Python-2.7.2 ./configure make make install [/i] E、安装unzip 在CentOS 5中,系统已经自带unzip解压缩工具,不用安装。 注意事项: 1. 如果使用RedHat系列Linux系统,执行以下命令安装unzip: [i] apt-get install unzip[/i] 2. 如果使用Debian系列Linux系统,执行以下命令安装unzip: [i] yum install unzip[/i] F、安装Storm(https://github.com/nathanmarz/storm/downloads 下载地址) [i]wget [url]http://cloud.github.com/downloads/nathanmarz/storm/storm-0.8.1.zip[/url] unzip storm-0.8.1.zip mv storm-0.8.1 /usr/local/ ln -s /usr/local/storm-0.8.1/ /usr/local/storm[/i] [i]vim /etc/profile export STORM_HOME=/usr/local/storm-0.8.1 export PATH=$PATH:$STORM_HOME/bin[/i] G、修改storm/conf/storm.yaml文件 storm.zookeeper.servers: - "flumemaster1" - "flumemaster2" - "flumecollector1" nimbus.host: "flumeNg1" storm.local.dir: "/usr/tmp/storm" supervisor.slots.ports: - 6700 - 6701 - 6702 - 6703 说明一下:[b]storm.local.dir[/b]表示storm需要用到的本地目录。[b]nimbus.host[/b]表示那一台机器是master机器,即 nimbus。[b]storm.zookeeper.servers[/b]表示哪几台机器是zookeeper服务器。[b]storm.zookeeper.port[/b]表示zookeeper的端口号,这里一定要与zookeeper配置的端口号一致,否则会出现通信错误,切记切记。当然你也可以配 superevisor.slot.port,[b]supervisor.slots.ports[/b]表示supervisor节点的槽数,就是最多能跑几个 worker进程(每个sprout或bolt默认只启动一个worker,但是可以通过conf修改成多个)。 [b]java.library.path[/b] 这是storm所依赖的本地依赖(ZeroMQ和JZMQ)的加载地址, 默认的是:/usr/local/lib:/opt/local/lib:/usr/lib, 大多情况下是对的,所以你应该不用更改这个配置。 java.library.path: "/usr/local/lib:/opt/local/lib:/usr/lib:/home/jiangbing/storm/zeromq/lib" 注意事项: 这个脚本文件写的不咋地,所以在配置时一定注意在每一项的开始时要加空格(最好加两个空格),冒号后也必须要加空格,否则storm不认识这个配置文件。 T、在目录/usr/tmp下面增加storm文件夹 5、启动zookeeper环境(启动不正常,执行service iptablse stop关闭防火墙) 6、执行storm nimbus 启动nimbus 执行 storm supervisor 启动从节点 执行 storm ui 启动ui(ui和nimbus需要在同一台机子上面) 注意事项: [list][*]Storm后台进程被启动后,将在Storm安装部署目录下的logs/子目录下生成各个进程的日志文件。[*]经测试,Storm UI必须和Storm Nimbus部署在同一台机器上,否则UI无法正常工作,因为UI进程会检查本机是否存在Nimbus链接。[*]为了方便使用,可以将bin/storm加入到系统环境变量中。[/list] 7、启动完毕,通过 http://ip:8080/访问UI 8、提交拓扑进行测试 A、安装Maven(参考maven安装和使用手册) B、下载Storm-start ( https://github.com/nathanmarz/storm-starter/archive/master.zip) C、进入下载目录,对zip文件解压 D、进入解压后的文件目录,修改m2-pom.xml (将twitter4j-core和twitter4j-stream替换为下面的部分) <dependency> <groupId>org.twitter4j</groupId> <artifactId>twitter4j-core</artifactId> <version>[2.2,)</version> </dependency> <dependency> <groupId>org.twitter4j</groupId> <artifactId>twitter4j-stream</artifactId> <version>[2.2,)</version> </dependency> E、编译项目。转到项目根目录,使用mvn -f m2-pom.xml package 进行编译 F、复制 storm-starter目录下的m2_pom.xml 为pom.xml ,放在与m2_pom.xml同一目录下 G、打jar包 mvn jar:jar 如果还需要对工程代码进行修改可以导入eclipse G.1 使用mvn eclipse:eclipse编译成eclipse工程 G.2 eclipse import project O、提交运行 拷贝jar包到Storm所在机器上。 编译无误后,在Storm-starter中target目录如下: [img]http://note.youdao.com/yws/res/547/7EFF3C09CF124ED984C9BFA48D5A4694[/img] 将storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar,拷贝到指定的目录下面 P、执行命令: ./storm jar /usr/soft/stormrun/storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar storm.starter.WordCountTopology test Q:查看UI http://ip:8080 storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar [color=#ff0000]注意:[/color] [color=#ff0000]storm 启动supervisor报错java.lang.NoSuchMethodError: org.slf4j.helpers.Util.report(Ljava/lang/String)V[/color] [color=#ff0000]解决方案:去掉lib里面的log4j-over-slf4j-1.6.6.jar[/color]
作者
晨色星空J2EE的头像

晨色星空J2EE

已学习课程数:12

已发表笔记数:57

Ta的笔记
01    Elasticsearch 优化之路

1、index 创建的时候一定要计算好shard,因为主分片一经确认是不能修改的,每一个分片上面独立运行着一个lucene程序;因此设置主分片的时候尽量考虑未来发展需求,如果当前有1G数据,使用默认分片5个,每一个主分片数据相当于200M数据(hash(ID)%max_shards进行数据分片存储的),但是随着时间推移如果3个月后数据变成100G了,但是主分片还是5个,每一个上面就是20G的数据,会大大降低处理性能;(2.3.1版本增加了对index的动态迁移能力,也许可以快速的处理这一问题)。2、字段的

02    ejabberd 安装手册

ejabberd 安装手册1、首先进入http://www.process-one.net/en/ejabberd/downloads 下载对应的版本2、执行文件chmod +x ejabberd-14.12-linux-x86_64-installer.run./ejabberd-14.12-linux-x86_64-installer.run配置好选项(注意安装路径,默认在/opt下面)3、配置mysql数据库a、创建数据库 ejabberdb、找到数据库初始化脚本 /opt/ejabberd-14.

03    IM- 即时通讯技术

调研:openfire:Openfire 采用Java开发,开源的实时协作(RTC)服务器基于XMPP(Jabber)协议。您可以使用它轻易的构建高效率的即时通信服务器.Openfire安装和使用都非常简单,并利用Web进行管理。单台服务器可支持上万并发用户。由于是采用开放的XMPP协议,您可以使用各种支持XMPP协议的IM客户端软件登陆服务.Ejabberd2:http://wiki.jabbercn.org/Ejabberd2:%E5%AE%89%E8%A3%85%E5%92%8C%E6%93%8D%

04    Docker 手册

CentOS 6.5下面实现docker(http://segmentfault.com/blog/seanlook/1190000000735011  安装记录过程)1、安装epelhttp://teddysun.com/153.html   -----------------------------------------------------------------------------Centos 6.xwget http://dl.fedoraproject.o

05    Elasticsearch 实战使用

1、elasticSearch1.4.0 整合 kibana3.1.2 注意事项在elasticsearch.yml 文件末尾增加http.cors.enabled: truehttp.cors.allow-origin: 'http://192.168.10.167:8080'2、动态模板定义:对所有新增的index 的所有string类型的字段不进行分词http://blog.csdn.net/cnweike/article/details/38397707http://www.cnblogs.com

06    elasticsearch 知识总结

ElasticSearch封装(创建索引,删除索引,创建Mapping,批量插入,批量删除,搜索)http://www.cnblogs.com/bigfanofcpp/archive/2013/01/22/2871852.htmlhttp://www.nosqldb.cn/1368777378160.htmlElasticsearch强大的会合功能Facethttp://www.myexception.cn/open-source/1310994.htmlhttp://www.csdn123.com/ht

07    awk 实战使用

统计访问日志里面的IP数据,通过IP分类统计出每一个IP最近访问次数,并进行访问次数排序,日志文件格式如下,看似比较混乱的结构:{"referer":"http://www.52ipr.com/index.html","headers":{"X-Proxy":"nginx","Accept":"*/*"},"scheme":"http

08    Linux 学习笔记 Sed命令详解

简介sed 是一种在线编辑器,它一次处理一行内容。处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有 改变,除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件;简化对文件的反复操作;编写转换程序等。 sed使用参数 # sed 选项与参数: -n :使用安静(silent)模式。在一般 sed 的用法中,所有

09    Linux 学习笔记 Grep篇

grep 是一个很常见也很常用的命令,他最重要的功能就是进行字串数据的比对,然后将符合使用者需求的字串列印出来。需要说明的是『grep 在数据中查寻一个字串时,是以 "整行" 为单位来进行数据的撷取的!』也就是说,假如一个文件内有 10 行,其中有两行具有你所搜寻的字串,则将那两行显示在萤幕上,其他的就丢弃了!在关键字的显示方面,grep 可以使用 --color=auto 来将关键字部分使用颜色显示。这可是个很不错的功能啊!但是如果每次使用 grep 都得要自行加上 --color=

10    Spark中文手册 编程指南-3

共享变量一般情况下,当一个传递给Spark操作(例如map和reduce)的函数在远程节点上面运行时,Spark操作实际上操作的是这个函数所用变量的一个独立副本。这些变量被复制到每台机器上,并且这些变量在远程机器上 的所有更新都不会传递回驱动程序。通常跨任务的读写变量是低效的,但是,Spark还是为两种常见的使用模式提供了两种有限的共享变量:广播变量(broadcast variable)和累加器(accumulator)广播变量广播变量允许程序员缓存一个只读的变量在每台机器上面,而不是每个任务保存一份拷

相关笔记
01    storm入门教程

 前言1.1. 本文目的本文是Zookeeper开发的入门手册,将会在一个最简单的例子入手,为读者逐渐深入地介绍Zookeeper上的应用开发。1.2. 阅读建议本文假定读者是一个Unix系统下的开发人员,有一定的应用编程经验,熟悉J2EE的应用开发。请参考提供的对应DEMO包,对应下面的章节,一步一步对照开发。2. 起步本章的目的在于,通过循序渐进的练习,让初学者了解ZOOKEEPER的基本概念,掌握开发方法,具备实际应用的能力。2.1. DEMO00

最新笔记
01    Mysql DBA

基本知识1.mysql的编译安装2.mysql 第3方存储引擎安装配置方法3.mysql主流存储引擎(MyISAM/innodb/MEMORY)的特点4.字符串编码知识5.MySQL用户账户管理6.数据备份/数据入导出7.mysql 支持的基本数据类型8.库/表/字段/索引 的创建/修改/删除9.基本sql语法:select/insert/update/delete,掌握最基本的语法即可,什么inner join,left join的了解就行mysql的应用场景大多都是高并发访问/业务逻辑简单,join/

02    mysql 备份

备份:mysqldump -uroot-p'root' jpstudy > /opt/mysql_jpstudy_bak.sql恢复:mysql -uroot-p'root' jpstudy < /opt/mysql_jpstudy_bak.sql参数说明:1、备份sql文件名以 -B ,即:mysqldump -uroot-p'root' -B jpstudy >/opt/mysql_jpstudy_bak_B.sql表示:备份的sql语句中有创建数据库和字符集的语句2、参数--com

03    mysql 索引失效

1.全值匹配2.最佳左前缀法则:如果索引了多列,要遵守最佳左前缀法则。指的是查询从索引的最左前列开始并且不跳过索引中的列。3.不在索引列上做任何操作(计算、函数、类型转换),会导致索引失效而转向全表扫描4.存储引擎不能使用索引中范围条件右边的列5.尽量使用覆盖索引(只访问索引的查询(索引列和查询列一致)),减少select*6.mysql在使用不等于(!=或者<>)的时候无法使用索引会导致全表扫描7.is null ,is not null也无法使用索引8.like以通配符开头(‘%abc’)

04    tomcat安全问题4

7 脚本权限回收去除其他用户对bin目录下可执行权限,防止其他用户起停tomcat# chmod -R 744bin/*8 访问日志格式规范开启Referer和User-Agetn是为了一旦出现安全问题能够更好的根据日志进行排查       <Hostname="23.83.xx.xx" appBase="webapps"     

05    tomcat安全问题2

3 禁用管理端对于tomcat的web管理端属于高危安全隐患,一旦被攻破,黑客通过上传web shell方式取得服务器的控制权,那是非常可怕的。我们需要删除tomcat安装目录下conf/tomcat- user.xml或者删除webapps下默认的目录和文件。 # mv webapps/*/tmp 4 降权启动tomcattomcat 启动用户权限必须为非root,避免一旦tomcat服务被入侵,获取root权限,普通用户只能使用大于1024端口,如果要想使用80端

06    tomcat安全问题

1、telnet管理端口保护使用telnet连接进来可以输入SHUTDOWN可以直接关闭tomcat,极不安全,必须关闭。可以修改默认的管理端口8005改为其他端口,修改SHUTDOWN指令为其他字符串。# viconf/server.xml <Server port="8365" shutdown="IN0IT">2 AJP连接端口保护Tomcat 服务器通过Connector连接器组件与客户程序建立连接,Connector组件负责接收客户的

07    发个测试

发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试 发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试 发个测试发个测试发个测

08    Elasticsearch 优化之路

1、index 创建的时候一定要计算好shard,因为主分片一经确认是不能修改的,每一个分片上面独立运行着一个lucene程序;因此设置主分片的时候尽量考虑未来发展需求,如果当前有1G数据,使用默认分片5个,每一个主分片数据相当于200M数据(hash(ID)%max_shards进行数据分片存储的),但是随着时间推移如果3个月后数据变成100G了,但是主分片还是5个,每一个上面就是20G的数据,会大大降低处理性能;(2.3.1版本增加了对index的动态迁移能力,也许可以快速的处理这一问题)。2、字段的

09    SQL-触发器

1.触发器的定义触发器是一种特殊的存储过程 在表或视图上执行insert、update、delete操作自动被调用的存储过程 用途: 1.检测数据的有效性(check) 2.*记录操作的日志 3.拦截数据 rollback 4.*统计某表中的数据 分类: 1.after —— 在数据操作完成之后触发 2.inserted of —— 在数据操作完成之前触发  after可以创建在普通表上和视图上  inserted of可以创建在表 触发器的创建 表示:在指定表上执行upd

10    Java面试题—2016最新Java面试考题知识详解(1)

    动力节点Java培训  下面给出的Java开发中ClassLoader中的描述,哪些描述是正确的(C) AClassLoader没有层次关系 B所有类中的ClassLoader都是AppClassLoader C通过classforname(StringclassName)能够动态加载一个类 D不同的ClassLoader加载同一个Class文件,所得的类是相同的   拓展知识ClassLoader知识

热门笔记
01    Storm单机+zookeeper集群安装

Storm单机+zookeeper集群安装 1、安装zookeeper集群 2、准备机器 10.10.3.44 flumemaster1 zk 10.10.3.129 flumemaster2 zk 10.10.3.132 flumecollector1 zk 10.10.3.115 flumeNg1 storm 3、配置hosts文件(4台服务器上面都需要配置) vi /etc/hosts

02    sqoop安装使用手册

sqoop使用 需求:将mysql中的表b05_age的数据导入hive中 1、安装 yum install sqoop(sqoop必须安装在有hive client的服务器上面,如果没有执行yum install hive) 复制mysql的驱动jar到/usr/lib/sqoop/lib下面 2、异常处理 正确命令:(将关系型数据的表结构复制到hive中) sudo -u hive sqoop create-hive-table --connect jdbc:my

03    CDH hadoop集群安装-1

准备机器: 192.168.1.241 192.168.1.242 192.168.1.243 1、查看ip地址是否为静态ip,如果不是进行配置 vim /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 TYPE=Ethernet ONBOOT=yes NM_CONTROLLED=yes BOOTPROTO=none IPADDR=192.168.1.241 NE

04    Oracle SQL使用心得

1. 我用的Oracle 客户端最好的工具是PL/SQL Developer, 当然,如果用免费的Toad也不错,感觉现在用Toad的人还是挺多的。 2. Oracle SQL如果想提高速度有几个方式 1)创建索引,尽量建立唯一索引 2)当要创建的索引列的值取值比较小,建议创建Bitmap的索引而不是默认的Btree的。(比如性别,学历等) 3)在where条件后尽量采用数字类型的字段,比varchar的速度快 4)尽量不用用IN,Not In,union这样的条件查

05    JAVA网站静态化方法

1. 通过freemarker静态化 2. 通过jsp filter静态化 主要思路:请求servlet->判断静态文件是否存在并且静态文件创建时间是否在阀值之内-->如果不是,则访问数据库生成静态文件->否则直接跳转静态文件 然后通过urlReWrite直接将访问servlet的请求改为html,完成seo 最后通过SQUID缓存前台数据 一、从数据库中取相应数据并替换掉模板中的对应标签,下面是一个简单的示例

06    使用JAVA 6 构建自己的HTTP服务器

import java.io.IOException; import java.io.InputStream; import java.io.OutputStream; import java.io.OutputStreamWriter; import java.io.PrintWriter; import java.net.InetSocketAddress; import java.util.List; import java.util.Map; import c

07    linux下优化tomcat服务器性能

服务器优化说明 WEB服务器优化 1、 更换tomcat5为tomcat6 版本copy测试服务版本即可 2、 加大tomcat内存 修改bin下的catalina.sh文件,增加青绿色部分 JAVA_OPTS='-Xms768m -Xmx1648m -XX:MaxPermSize=512m' 3、 加大tomcat连接数 修改conf下的server.xml文件,修改青绿色部分参数值 maxThrea

08    Oracle 如何查询锁表的对象

select s.username, decode(l.type,'tm','table lock','tx','row lock',null) lock_level, o.owner, o.object_name, o.object_type, s.sid, s.serial#, s.terminal, s.machine, s.program, s.osuser from v$session s,v$lock l,dba_objects o where l.sid = s.s

09    【Twitter Storm系列】flume-ng+Kafka+Storm+HDFS 实时系统搭建

一直以来都想接触Storm实时计算这块的东西,最近在群里看到上海一哥们罗宝写的Flume+Kafka+Storm的实时日志流系统的搭建文档,自己也跟着整了一遍,之前罗宝的文章中有一些要注意点没提到的,以后一些写错的点,在这边我会做修正;内容应该说绝大部分引用罗宝的文章的,这里要谢谢罗宝兄弟,还有写这篇文章@晨色星空J2EE也给了我很大帮助,这里也谢谢@晨色星空J2EE之前在弄这个的时候,跟群里的一些人讨论过,有的人说,直接用storm不就可以做实时处理了,用不着那么麻烦;其实不然,做软件开发的都知道模块化

10    实时流处理框架——Storm(介绍篇)

1. Storm介绍2. Storm环境配置3. Storm程序流程4. Storm总结及问题1. Storm介绍 1.1 实时流计算背景 随着互联网的更进一步发展,信息浏览、搜索、关系交互传递型,以及电子商务、互联网旅游生活产品等将生活中的流通环节在线化。对于实时性的要求进一步提升,而信息的交互和沟通正在从点对点往信息链甚至信息网的方向发展,这样必然带来数据在各个维度的交叉关联,数据爆炸已不可避免。因此流式处理和NoSQL产品应运而生,分别解决实时框架和数据大 规模存储计算的问题。 流式处理可

友情链接