Java：大家都知道Java的方向有JavaSE、JavaEE、JavaME，学习大数据要学习那个方向呢?
只需要学习Java的标准版JavaSE就可以了，像Servlet、JSP、Tomcat、Struct、Spring、Hibernate，Mybites都是JavaEE方向的技术在大数据技术里
本文来自腾讯云技术沙龙，本次沙龙主题为构建PB级云端数仓实践
在现代社会中，随着4G和光纤网络的普及、智能终端更清晰的摄像头和更灵敏的传感器、物联网设备入网等等而产生的数据，导致了PB级储存的需求加大。
但数据保留下来并不代表它真的具有利用价值，曾经保存的几TB的日志，要么用来做做最简单的加减乘除统
一伪分布模式
特点：在单机上，模拟一个分布式的环境，具备Hadoop的所有功能
HDFS：NameNode + DataNode + SecondaryNameNode
Yarn：Resource
一、安装第一个ElasticSearch（主节点）
1、创建es用户，启动es不能使用root用户
useradd es
passwd es12
root用户进入/home/es目录下
２、获取
HIVE 编写自定义函数UDF
eclipse中编写UDF
①新建JAVA项目 并添加 hive-exec-2.1.0.jar 和hadoop-common-2.7.3.jar ，保证与集群中的版本一致
②UDF类要继承org.apache.hadoop.hive.ql.exec.UDF类。类中
昨天我们看了有关大数据Hadoop的一些知识点，但是要在学习大数据之前，我们还是要为大数据的环境做一些的部署。
那么，今天我们就来讲讲开启我们大数据之路的Linux，跟上我们的脚步yo~
Linux介绍
Linux是我们当前各大系统中一种自由和开源的OS，虽然市面上有各种各样的版本，但是他们拥有同一
大数据，big data，大数据是指不能用随机分析法(抽样调查)这样捷径，而采用所有数据进行分析处理。这句话至少传递两种信息：大数据是海量的数据，另外大数据处理无捷径，对分析处理技术提出了更高的要求。
其实简单的来说，大数据就是通过分析和挖掘全量的非抽样的数据辅助决策。大数据可以实现的应用可以概
欢迎大家前往腾讯云+社区，获取更多腾讯海量技术实践干货哦~
本文由宋超发表于云+社区专栏
本文首先介绍了Hadoop中的ResourceManager中的estimator service的框架与运行流程，然后对其中用到的资源估算算法进行了原理剖析。
一. Resource Estimator
一个合格的数据分析师要有怎样的知识体系？下面九个方面必不可少：
统计相关的数学知识
数学知识是数据分析师的基础知识。
对于初级数据分析师，了解一些描述统计相关的基础内容，有一定的公式计算能力即可，了解常用统计模型算法则是加分。
对于高级数据分析师，统计模型相关知识是必备能力，线性代数(主要是矩阵计
给大家分享一下Spark是什么?如何用Spark进行数据分析，对大数据感兴趣的小伙伴就随着小编一起来了解一下吧。
大数据在线学习
什么是Apache Spark?
Apache Spark是一个为速度和通用目标设计的集群计算平台。
从速度的角度看，Spark从流行的MapRedu
phoenix作为查询引擎，为了提高查询效率，为phoenix表创建了二级索引，而数据是sparkstreaming通过hbase api直接向hbase插数据。那么问题来了，对于phoenix的二级索引，直接插入底层hbase的源表，不会引起二级索引的更新，从而导致phoenix索引数据和hb
零基础的同学学习大数据开发不能急于求成，要分阶段分步骤来一步步完成，科多大数据给大家来分享一下大数据的学习路线是什么？小白该怎么学习大数据呢，大概可以分为四步：大数据学习资料分享群142973723第一个阶段：了解大数据的基本概念
首先，学习一门课程的时候，要对这门课程有一个简单的了解，比如说，要先
一、首先配置集群信息
1 vi /etc/hosts
二、安装zookeeper
1、解压至/usr/hadoop/下
1 tar -zxvf zookeeper-3.4.10.tar.gz -C
一、部署
1.Zookeeper正常部署，并且启动
2.Hadoop正常部署，并且启动
3.Hbase的解压
解压HBase到指定目录
tar -xvf /HBase.tar.gz -C /airPath
大数据时代全面来临，大数据、人工智能等技术引领科技创新潮流，获得国家政策大力支持，前景广阔。学习大数据技术的人自然是络绎不绝，但提醒你：学习大数据虽然是一个趋势，但也要注意大数据培训课程的质量，大数据的三个关键技术是一定要掌握的！
一、Hadoop生态体系
Hadoop 是一个分布式系统基
一、Hadoop运行模式
（1）本地模式（默认模式）：
不需要启用单独进程，直接可以运行，测试和开发时使用。
（2）伪分布式模式：
等同于完全分布式，只有一个节点。
（3）完全分布式模式：
多个节点一起运行。
1.1 本地运行Hadoop 案例
Apache
首先我们要明白，Apache 是一个 http 服务器，而我们熟悉的另一种说法"Apache Hadoop"中的 Apache 则指的是 Apache 软件基金会。"Apache"是 Apache 软件基金会中的一个项目。
关于其名字，流传最广的解释是（也是最显而易见的）：这个名字来自
Cloudera Manager 安装集群遇到的坑
多次安装集群，但每次都不能顺利，都会遇到很多很多的坑，今天就过去踩过的坑简单的总结一下，希望已经踩了的和正在踩的童鞋能够借鉴一下，希望对你们能有所帮助。
一、Mysql的配置
1、卸载原有的mysql
查看目前安装的mysql
rpm -qa
大数据开发最核心的课程就是Hadoop框架，几乎可以说Hadoop就是大数据开发。这个框架就类似于Java应用开发的SSH/SSM框架，都是Apache基金会或者其他Java开源社区团体的能人牛人开发的贡献给大家使用的一种开源Java框架。
Java语言是王道就是这个道理，Java的核心代码是开源的
一、基础环境设置
1. 准备4台客户机（VMware虚拟机）
系统版本：Centos7.5
节点配置：
192.168.208.128 ——Master
192.168.208.129 ——Slaver-1
192.168.208.130 ——Slaver-2
192.168.208.130 ——
客服
