【Kafka】Kafka 1.0.1案例详解之快速入门
这个章节我们将从Kafka集群的安装部署讲起,并测试topic的创建,消息的发布订阅等功能。希望对你有所帮助。
Read more这个章节我们将从Kafka集群的安装部署讲起,并测试topic的创建,消息的发布订阅等功能。希望对你有所帮助。
Read more作为一个分布式消息发布订阅系统,Kafka在大数据领域被人们所熟知,在这里对Kafka的一些基本概念做一个简介,后续将对Kafka做一整个专题的介绍。希望对大家有所帮助
Read more默认情况下,Git pull的时候都是需要输入密码的,文章详解了如何免密码进行PULL操作
Read more使用Hadoop环境的时候,相信很多同学遇到过这样的问题:WARN util.NativeCodeLoader: Unable to load native-hadooplibrary for your platform… using builtin-java classes where applicable
Read moreOracle中用户(User)和模式(Schema)的概念,相信很多数据库开发人员并不是很理解,在这里做一个简单的解释
Read moreAkka is a toolkit and runtime for building highly concurrent,distributed, and resilient message-driven applications on the JVM.
Akka是JVM之上高并发的分布式,可伸缩的消息驱动应用框架。下面我们将通过Akka框架实现多线程的日志收集功能。我们把收集到的日志数据实时存放到HDFS中,以供后续分析挖掘使用。
ELK是当前很流行的日志分析系统,Elasticsearch是一款基于Apache Lucene的开源分布式引擎。Logstash是用于日志的收集、转换、并输出到ES,其中有丰富的插件用于集成诸如Filebeat、Flume、Kafka、Log4J等各种外部数据源,还能输出到各种目标存储器中。Kibana是基于ES的分析与可视化平台,我们可以通过Kibana在ES中搜索、查看各类索引并制作出各种图表。另外如果需要增加安全性我们可以通过安装X-Pack来实现。
Read more本文主要介绍,Spark如何通过外部数据源连接HBase数据库进行读写。我们先贴上项目源码:https://github.com/hortonworks-spark/shc。可以直接通过源码编译出jar包使用,也可以使用项目组预先编译好的jar:http://repo.hortonworks.com/content/groups/public/
Read more目前CentOS默认的Python版本都是2.x,而很多情况下我们需要使用3.x版本进行开发,3.x版本也做了很多规范化的改动。这里我们介绍如何安装双版本的Python
Read more这次我们来通过Python连接hbase获取数据:Python连接HBase只能通过Thrift实现,happyhbase对这个功能进行了封装。使用起来还是挺方便的。
Read more