1. HDFS Shell基础
[root@master hadoop]# hadoop fsUsage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>]
来源：CSDN
作者：Syn良子
原文：https://blog.csdn.net/cssdongl/article/details/77750495
一.问题背景
问题产生的原因可能是由于前几日Hadoop集群维护的时候，基础运维组操作不当，先关闭的Hadoop集群，然后才关闭的Flume a
1.scala面向行的语言,一句是一行的话,末尾的分号可有可无.
2.数据类型: Byte Short Int Long Float Double Char String Boolean,Unit,Nothing,Any,AnyRef
3.变量声明:(声明时必须赋初始值) ①变量: var s
最近在跟着一个大佬学习Hadoop底层源码及架构等知识点，觉得有必要记录下来这个学习过程。想到了这个废弃已久的blog账号，决定重新开始更新。
主要分以下几步来进行源码学习：
一、搭建源码阅读环境二、源码项目结构概览及hdfs源码包结构简介三、NameNode介绍
第一步，搭建源码阅读环境。
把
行列之间的互相转换是ETL中的常见需求，在Spark SQL中，行转列有内建的PIVOT函数可用，没什么特别之处。而列转行要稍微麻烦点。本文整理了2种可行的列转行方法，供参考。
本文链接：https://www.cnblogs.com/hhelibeb/p/10310369.
Appache hadoop
版本：2.77 jdk:1.8 系统：centos7
注意不要在root下解压，要单独建一个用户安装hadoop及其组件。
一、先查看系统是否有自带j
#dk: rpm -qa|grep java
通常是如下4个包：
rpm -e --nodeps j
1) HBase是什么?
HBase是建立在Hadoop文件系统之上的分布式面向列的数据库。它是一个开源项目，是横向扩展的。
HBase是一个数据模型，类似于谷歌的大表设计，可以提供快速随机访问海量结构化数据。它利用了Hadoop的文件系统（HDFS）提供的容错能力。
它是Hadoop的生态系统
1.1.1 hive是什么？
Hive是基于 Hadoop 的一个数据仓库工具：
1. hive本身不提供数据存储功能，使用HDFS做数据存储；
2. hive也不分布式计算框架，hive的核心工作就是把sql语句翻译成MR程序；
3. hive也不提供资
又开了一个新的坑，笔者工作之后维护着一个 NoSQL 数据库。而笔者维护的数据库正是基于社区版本的 Aerospike打造而来。所以这个踩坑系列的文章属于工作总结型的内容，会将使用开发 Aerospike 的各种问题进行总结梳理，希望能够给予大家启发和帮助。第一篇开山之文，就先从Aerospike
最近工作用到Spark，这里记一些自己接触到的Spark基本概念和知识。
本文链接：https://www.cnblogs.com/hhelibeb/p/10288915.html
名词
RDD：在高层，每个Spark应用包含一个driver程序，它运行用户的主函数，在
TFTP服务的作用：提供网络下载服务
tftp服务器的安装与配置：
tftp主要用于嵌入式交叉开发环境的搭建，传输文件。
0、创建tftp的工作目录，并修改权限（注意：请在主目录下创建此工作目录！）
sudo mkdir /tftpboot
sudo chmod 777 /tftpboot
1、安装
一、Spark概述
spark官网：spark.apache.org
Spark是用的大规模数据处理的统一计算引擎，它是为大数据处理而设计的快速通用的计算引擎。spark诞生于加油大学伯克利分校AMP实验室。
mapreduce（MR）与spark的对比：
1.MR在计算中产生的
hadoop wordcout测试
安装好hadoop 环境后，启动HDFS等服务；输密码 1004 start-all.sh 查看启动情况 1006 jps
1007 cd ~ 切换到用户默认目录
创建数据文件data.txt,输送值 hello beijing hello China 1
1.1 Hadoop
概念：hadoop是一个由Apache基金会所开发的分布式系统基础架构。是根据google发表的GFS(Google File System)论文产生过来的。
优点：
1. 它是一个能够对大量数据进行分布式处理的软件框架。以一种可靠、高效、可伸缩的方式进
本文由云+社区发表
做为大数据生态系统中最重要的底层存储文件系统HDFS，为了保证系统的可靠性，HDFS通过多副本的冗余来防止数据的丢失。通常，HDFS中每一份数据都设置两个副本，这也使得存储利用率仅为1/3，每TB数据都需要占用3TB的存储空间。随着数据量的增长，复制的代价也变得越来越明显：传
一.hive的事务
（1）什么是事务
要知道hive的事务，首先要知道什么是transaction(事务)？事务就是一组单元化操作，这些操作要么都执行，要么都不执行，是一个不可分割的工作单位。
事务有四大特性：A、C、I、D (原子性、一致性、隔离性、持久性)
Atomicity: 不可再分割
Tasks and Operator Chains(任务及操作链)
在分布式环境下，Flink将操作的子任务链在一起组成一个任务，每一个任务在一个线程中执行。将操作链在一起是一个不错的优化:它减少了线程间的切换和缓冲，提升了吞吐量同时减低了时延。这些链式行为是可配置的，详情请见:chaining d
抽象等级(Levels of Abstraction)
Flink提供不同级别的抽象来开发流/批处理应用程序。
Statefule Stream Processing: 是最低级别（底层）的抽象，只提供有状态的流。它通过ProcessFunction嵌入到DataStream API之中。它使得用
数据仓库是伴随着信息技术和决策支持系统（DSS，Decision Support System）的发展而产生的，利用历史的操作数据进行管理和决策。
数据仓库是一个面向主题的、集成的、非易失的、随着时间变化的，用于支持管理人员决策的数据集合，数据仓库包含粒度化的企业数据，在不同的粒度级别上对
来，先复习一下,什么是建模
昨天介绍了模型本质是对现实对象的抽象描述以及附带的一整套抽象的方法;建模本质上就是建立现实对象和模型的一种映射关系.
今天我们走进模型空间,看看里面最重要的是什么
我们先来看看我们平时接触最多的
感觉很高大上的
商业模型是什么?
比如拿我们都知道的swot分析来看
客服
