星期三, 十二月 11, 2019
Latest:
  • 【Kafka】Kafka的数据可靠性和一致性
  • Scala循环表达式
  • 【Java】使用jstack、jstat、jmap线上问题排查一例
  • 【Kafka】Leader丢失导致的Consumer挂起故障解决
  • 【Kafka】Kafka 1.0.1案例详解之Kafka Connect

Big data enthusiast

——lubinsu

  • Spark
  • Scala
  • Hadoop
  • Kafka
  • Flume-NG
  • Hive
  • Azkaban
  • 关于我

IntelliJ IDEA

IntelliJ IDEA Scala Spark 

Spark Streaming+IntelliJ Idea+Maven开发环境搭建

2016-08-182018-04-27 lubinsu 1 Comment Scala, Spark

国内关于Spark流处理方面的资料实在是少之又少,开发环境搭建上一些细节上的说明就更少了,本文主要介绍在Windows下通过IntelliJ Idea连接远程服务器的Spark节点,接收FlumeNG收集的日志数据实现实时的数据处理。开发语言为Scala。

Read more
Hadoop IntelliJ IDEA 

【Hadoop】Windows下连接Hadoop进行开发

2016-06-162016-06-16 lubinsu 1 Comment Hadoop

Windows下连接Hadoop集群需要做一些额外的配置,本文主要记录配置的方式,使用的是Scala,Java语言环境中配置是一样的。最后使用ScalaTest做的测试。

Read more
Hadoop IntelliJ IDEA 

【Hadoop】Windows下开发连接Hadoop遇到的问题

2016-06-122016-06-15 lubinsu 1 Comment Hadoop

Windows下开发Hadoop应用程序,不免有各种各样的问题,下面主要列出两个常见的与大家分享

Read more
IntelliJ IDEA 

【IntelliJ IDEA】Git同步项目到OSCHINA

2016-03-172017-04-21 lubinsu 1 Comment

intellij同步Git项目,步骤

Read more

标签云

Akka Azkaban BigData Bug CentOS Cloudera Manager CM code review Elasticsearch ELK FlumeNG Git Hadoop HBase Hive JSON Kafka Kibana Linux Logstash maven mysql Oracle Python REST Scala Spark Spray sqoop

分类

归档

  • 2019年七月 (2)
  • 2018年九月 (1)
  • 2018年八月 (1)
  • 2018年六月 (4)
  • 2018年五月 (7)
  • 2018年四月 (1)
  • 2017年七月 (4)
  • 2017年六月 (1)
  • 2017年五月 (1)
  • 2017年三月 (2)
  • 2017年一月 (4)
  • 2016年十月 (1)
  • 2016年九月 (2)
  • 2016年八月 (2)
  • 2016年七月 (2)
  • 2016年六月 (9)
  • 2016年五月 (2)
  • 2016年四月 (4)
  • 2016年三月 (6)

最近评论

  • lubinsu发表在《【Problems】Cloudera Manager错误集锦》
  • Joe发表在《【Problems】Cloudera Manager错误集锦》
  • education online courses发表在《【Scala】构建Scala风格的SSH工具类》
  • online school tips发表在《【Scala】构建Scala风格的SSH工具类》
  • ญี่ปุ่น xxx发表在《【HIVE】SHELL调用Hive查询》

功能

  • 注册
  • 登录
  • 文章RSS
  • 评论RSS
  • WordPress.org
Copyright © 2019 Big data enthusiast. All rights reserved.
Theme: ColorMag by ThemeGrill. Powered by WordPress.