【Hadoop】小文件合并方案一
HDFS中数据块大小一般在64M或者128M，也就是说每一次分配的数据块就是这么大，我们所谓的小文件就是比文件系统中定义的数据块还小的文件，小文件经常会导致namenode内存消耗和降低hadoop读取速度，影响整体的性能。所以遇到这种情况的时候，我们需要定期对小文件进行清理或者合并。
Read moreAuthor: lubinsu
【Kafka 1.x】快速入门
这个章节我们将从Kafka集群的安装部署讲起，并测试topic的创建，消息的发布订阅等功能。希望对你有所帮助。
Read more【Kafka】Kafka分布式流式处理平台
作为一个分布式消息发布订阅系统，Kafka在大数据领域被人们所熟知，在这里对Kafka的一些基本概念做一个简介，后续将对Kafka做一整个专题的介绍。希望对大家有所帮助
Read more【Git】免密码PULL配置方式
默认情况下，Git pull的时候都是需要输入密码的，文章详解了如何免密码进行PULL操作
Read more【Hadoop】解决Hadoop 2.7.1无法加载本地库问题
使用Hadoop环境的时候，相信很多同学遇到过这样的问题：WARN util.NativeCodeLoader: Unable to load native-hadooplibrary for your platform… using builtin-java classes where applicable
Read more【Oracle】 Oracle中用户(User)和模式(Schema)的概念
Oracle中用户(User)和模式(Schema)的概念，相信很多数据库开发人员并不是很理解，在这里做一个简单的解释
Read more【Scala】基于akka的多线程应用程序日志收集服务
Akka is a toolkit and runtime for building highly concurrent,distributed, and resilient message-driven applications on the JVM.
Akka是JVM之上高并发的分布式，可伸缩的消息驱动应用框架。下面我们将通过Akka框架实现多线程的日志收集功能。我们把收集到的日志数据实时存放到HDFS中，以供后续分析挖掘使用。
【ELK】ELK安装部署文档
ELK是当前很流行的日志分析系统，Elasticsearch是一款基于Apache Lucene的开源分布式引擎。Logstash是用于日志的收集、转换、并输出到ES，其中有丰富的插件用于集成诸如Filebeat、Flume、Kafka、Log4J等各种外部数据源，还能输出到各种目标存储器中。Kibana是基于ES的分析与可视化平台，我们可以通过Kibana在ES中搜索、查看各类索引并制作出各种图表。另外如果需要增加安全性我们可以通过安装X-Pack来实现。
Read more【Spark】使用外部数据源连接HBase数据库进行读写
本文主要介绍，Spark如何通过外部数据源连接HBase数据库进行读写。我们先贴上项目源码：https://github.com/hortonworks-spark/shc。可以直接通过源码编译出jar包使用，也可以使用项目组预先编译好的jar：http://repo.hortonworks.com/content/groups/public/
Read more【Python】CentOS 安装Python3.5
目前CentOS默认的Python版本都是2.x，而很多情况下我们需要使用3.x版本进行开发，3.x版本也做了很多规范化的改动。这里我们介绍如何安装双版本的Python
Read more