Spark Streaming+IntelliJ Idea+Maven开发环境搭建
国内关于Spark流处理方面的资料实在是少之又少,开发环境搭建上一些细节上的说明就更少了,本文主要介绍在Windows下通过IntelliJ Idea连接远程服务器的Spark节点,接收FlumeNG收集的日志数据实现实时的数据处理。开发语言为Scala。
Read more国内关于Spark流处理方面的资料实在是少之又少,开发环境搭建上一些细节上的说明就更少了,本文主要介绍在Windows下通过IntelliJ Idea连接远程服务器的Spark节点,接收FlumeNG收集的日志数据实现实时的数据处理。开发语言为Scala。
Read moreWindows下连接Hadoop集群需要做一些额外的配置,本文主要记录配置的方式,使用的是Scala,Java语言环境中配置是一样的。最后使用ScalaTest做的测试。
Read moreWindows下开发Hadoop应用程序,不免有各种各样的问题,下面主要列出两个常见的与大家分享
Read moreintellij同步Git项目,步骤
Read more