重要术语
1. KDC
全称：key distributed center
作用：整个安全认证过程的票据生成管理服务，其中包含两个服务，AS和TGS
2. AS
全称：authentication service
作用：为client生成T
1、首先安装各台mini机器上安装本地源、安装SSH软件，然后把已经安装好了的jdk都删除掉
2、jdk拷贝root目录下
3、拷贝到服务器目录下
验证一下
4、拷贝脚本
5、给这两个文件加一个可执行权限
6、执行boot.sh
执行第六步的时候可能会报错expect不是一个命令，那是
以前在进行搜索引擎rank-svm排序模型训练时，直接使用python读取的HDFS日志文件、统计计算等预处理操作再进行svm模型，最终产生出训练模型。现在回想一下，数据预处理这一块完全可以使用spark进行，而且看起来更“正规一点”和高大上，并借机接触一下大数据。pyspark的安装折腾了一上
众所周知，数据开发和分析的同学每天都要花大量时间写MaxCompute SQL；Dataworks作为数据开发的IDE直接影响着大家的开发效率，这次新上线的Dataworks我们在编辑体验上做了很多工作，在前端实现MaxCompute SQL和编辑器参数等扩展语法的AST解析，并实现更好更智能的代码
参考消息网3月19日报道 日前，全球权威调研机构佛瑞斯特研究公司（Forrester）发布《2018年一季度云端数据仓库》报告。报告对大数据服务商的主要功能、区域表现、细分市场和典型客户等进行了全面评估，最终AWS、阿里云、谷歌、微软四大巨头杀入全球一线阵营。阿里云成为唯一入选的中国科技公司。
HDFS Snapshots
HDFS Snapshots. 1
1. 概述... 1
1.1 Snapshottable目录... 1
1.2 快照路径... 1
2. 带快照的更新... 1
3. 快照操作... 1
3.1 管理操作... 1
3.2 用户操作... 1
1. 概述
HD
下载地址
https://www.mongodb.org/dl/win32/x86_64-2008plus-ssl
建立文件夹和文件
#数据库路径
dbpath=G:m
计算rdd的某个分区是从RDD的iterator()方法开始的，我们从这个方法进入
然后我们进入getOrCompute()方法中看看是如何进行读取数据或计算的
getOrElseUpdate()方方法的返回值类型如果是blockResult说明block
Azkaban是什么
Azkaban是由Linkedin开源的做批量工作流任务的调度器。在一个工作流内按照特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的相互依赖关系，并且提供了一个易于使用的web用户界面维护与跟踪你的工作流。
Azkaban的功能
Getting Started
Getting Started. 1
1. Introduction. 1
2.Quick Start-Strandalone HBase. 1
2.1 JDK版本选择... 1
2.2 Get Started With HBase. 1
2.3 伪分布式本地安装.
环境前提：
centos 6.5 x64
jdk 1.8
elasticsearch 6.1.4
logstash 6.1.4
kibana 6.1.4
mysql 5.x
保证上面软件已经安装，并且正常启动。
1.配置logstash 脚本
1 input {
2 jdbc {
本文由 网易云 发布。
深入嵌入“跨视图粒度计算”的前面两篇分别讲了
1、理解数据的粒度
2、INCLUDE表达式
这一篇讲一下EXCLUDE表达式的用法。
EXCLUDE，中文译为“排除”，顾名思义，这个表达式和INCLUDE表达式
HBase安装
安装前设置
安装Hadoop在Linux环境下之前，需要建立和使用Linux SSH(安全Shell)。按照下面设立Linux环境提供的步骤。
创建一个用户
首先，建议从Unix创建一个单独的Hadoop用户，文件系统隔离Hadoop文件系统。
原文链接：SparkSQL—用之惜之
SparkSql作为Spark的结构化数据处理模块，提供了非常强大的API，让分析人员用一次，就会为之倾倒，为之着迷，为之至死不渝。在内部，SparkSQL使用额外结构信息来执行额外的优化。在外部，可以使用SQL和DataSet 的API与之交互。本文笔
本文由 网易云 发布。
本期高手问答(4月23日—4月28日)，我们请来了桑文锋老师和大家一起探讨数据驱动方面的问题。桑老师基于他在百度的大数据工作，撰写了《数据驱动：从方法到实践》一书，它是从理论到实践的全面且细致的企业数据驱动指南。
详解了大数据
本文由 网易云 发布。
一、商业智能行业分析
根据Gartner、Tableau等发布的行业权威报告，2017年BI行业的发展是：业务人员自助分析、可视化探索、产品的灵活+易用性
1、商业智能和分析平台市场的主流已经从IT主导
本文由 网易云 发布。
在之前的文章中简要介绍了Join在大数据领域中的使用背景以及常用的几种算法－broadcast hash join 、shuffle hash join以及 sort merge join等，对每一种算法的核心应用场景也做了相关介绍，这里再重点说明一
本文由 网易云 发布。
上一篇文章介绍了如何搭建Hadoop伪分布式集群，本篇将向大家介绍下Hadoop分布式集群的搭建。内容浅显，但能够为新手们提供 一个参考，让像我一样的小白们对Hadoop的环境能够有一定的了解。
&#
启动hdfs时，有时候可能会遇到这样几种情况：
1）在主节点上执行start-dfs.sh命令启动hdfs，无法启动datanode。
2）在主节点上行启动hdfs，启动成功了，在各个节点上使用jps命令也能查询到相应的SecondaryNameNode、NameNode和DataNode进程，但是
Oozie Shell Action 配置Oozie Shell Action 配置Shell Action 运行Shell命令或者shell脚本，每个流程任务只有在当前的Shell Action命令执行 完成之后才会继续执行后面的节点要运行一个shell任务，需要给Shell Action节
客服
