【Spark】使用DataFrame读取复杂JSON中的嵌套数组
众所周知，在早期Spark版本中就已经支持读取Json格式的数据文件，并能够直接转换为数据库表，以方便我们进行处理数据，在本篇文章中我们将介绍如何通过Spark API很简单地读取Json数据，并进一步讲解，读取复杂Json中的嵌套数组。
Read moreSpark
【Spark】使用外部数据源连接HBase数据库进行读写
本文主要介绍，Spark如何通过外部数据源连接HBase数据库进行读写。我们先贴上项目源码：https://github.com/hortonworks-spark/shc。可以直接通过源码编译出jar包使用，也可以使用项目组预先编译好的jar：http://repo.hortonworks.com/content/groups/public/
Read more【Python】zipimport.ZipImportError can’t decompress data zlib not available
Python lib库异常处理：zipimport.ZipImportError can’t decompress data zlib not available
Read moreSpark Streaming+IntelliJ Idea+Maven开发环境搭建
国内关于Spark流处理方面的资料实在是少之又少，开发环境搭建上一些细节上的说明就更少了，本文主要介绍在Windows下通过IntelliJ Idea连接远程服务器的Spark节点，接收FlumeNG收集的日志数据实现实时的数据处理。开发语言为Scala。
Read more【Problems】BigData Platform
大数据平台遇到的几点问题以及解决方法
Read more【Bug】Spark sql jdbc fails for Oracle NUMBER type columns
SparkSQL中Oracle NUMBER类型转换的BUG
Read more【Spark】在Standalone运行模式下的配置模板
Spark在Standalone运行模式下的配置模板
Read more【Spark】Hive通过Spark读取数据
所有的HiveSQL语法都可以在Spark中正常运行，本文通过Spark与Hive对接，并实现HiveSQL的执行和关联，完全可以将原来Hive中的业务平滑地迁移到Spark中
Read more【Spark】免费获取IP信息的服务接口
Scala通过调用k780的免费REST接口，查询IP地址的详细信息，并通过Spark将获取到的信息写入到HDFS中
Read more