【Kafka】外部网络访问内部Kafka集群
大数据平台服务器处于两个网络中,其中内部网络用来进行数据交换和计算,配置万兆光纤网卡和光纤交换机;外部网络用来为其他部门提供服务、数据接口,这里使用的是千兆网络。Kafka的broker集群处于内部网络中,而外部网络需要订阅消费kafka中的留数据,就需要访问内网。这里我们需要添加接个配置以使kafka能够通过外网来访问
Read more大数据平台服务器处于两个网络中,其中内部网络用来进行数据交换和计算,配置万兆光纤网卡和光纤交换机;外部网络用来为其他部门提供服务、数据接口,这里使用的是千兆网络。Kafka的broker集群处于内部网络中,而外部网络需要订阅消费kafka中的留数据,就需要访问内网。这里我们需要添加接个配置以使kafka能够通过外网来访问
Read moreWindows下连接Hadoop集群需要做一些额外的配置,本文主要记录配置的方式,使用的是Scala,Java语言环境中配置是一样的。最后使用ScalaTest做的测试。
Read moreMaven 安装本地依赖包
Read more本章讲解Sqoop 源码编译的步骤
Read more大数据平台遇到的几点问题以及解决方法
Read moreSparkSQL中Oracle NUMBER类型转换的BUG
Read moreSpark在Standalone运行模式下的配置模板
Read more如Java一样,Scala也有自己的单元测试框架,scalaTest提供了不少单元测试的方法,下面我们来写个例子
Read moreWindows下开发Hadoop应用程序,不免有各种各样的问题,下面主要列出两个常见的与大家分享
Read more