一、 选择适合自己的Linux发行版
谈到linux的发行版别，太多了，可能谁也不能给出一个准确的数字，但是有一点是能够必定的，linux正在变得越来越盛行， 面临这么多的Linux 发行版，打算从别的体系转到linux体系来的初学者可能会感到迷惑，即便是忠诚的 Linux 用户也没有时刻和精力去挨
“第一砖”从相认到相识
什么是大数据？可能有人会说写字楼的所有人的资料信息就是个大数据。NO！这里的数据只能说比较大，但却不能称之为大数据。百度百科上给出了很明确的解释“大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策
P2P借款人信用风险实时监控模型设计
P2P网络贷款(“peer-to-peer”)为中小企业和个人提供了便利的融资渠道。近年来，随着互联网金融的逐步发展，P2P网贷已成为时下炙手可热的互联网金融新模式。凭借着“高收益”的理财优势，各类P2P网贷平台呈现逐年增长的态势。目前，我国正常运行P2P平台数
现在的大数据是很红火的，薪资比通常的软件行业要高，所以很多年轻人想进入这个行业。但并不是每个大数据相关的工作都是高薪的，主要还是根据自己的专长进行选择发展。大数据涉及的知识很广泛，如果要当全能选手，是非常艰难，一个人的精力也是有限的。进行细分选择，然后专攻才是正道。要了解学习大数据，如果是程序员，其
目前大数据和人工智能作为两大热门方向，不仅仅国家在政策上进行支持，同时国内以百度，阿里为首的知名互联网企业也正在积极的布局大数据和人工智能。
自 2015 年以来，中国的人工智能政策密集出台，这也意味着，在全球竞争的背景下，人工智能已经上升为国家意志。
而且最近首部高中AI教材发布，标志着AI已
hadoop生态系统
zookeeper负责协调 hbase必须依赖zookeeper
flume 日志工具
sqoop 负责 hdfs dbms 数据转换 数据到关系型数据库转换
大数据学习群119599574
hbase简介
hadoop database
是一个高可靠性、高性能、面向列、可
1.Linux基础和分布式集群技术
学完此阶段可掌握的核心能力：
熟练使用Linux，熟练安装Linux上的软件，了解熟悉负载均衡、高可靠等集群相关概念，搭建互联网高并发、高可靠的服务架构；
大数据学习资料分享群119599574
学完此阶段可解决的现实问题：
搭建负载均衡、高可靠的服务器集群，可以
现在大数据这么火，各行各业想转行大数据，那么问题来了，该往哪方面发展，哪方面最适合自己？
首先从字面来了解一下大数据 大数据 （巨量数据集合（IT行业术语）） 大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发
目录
HDFS是什么
HDFS的优缺点
HDFS的框架
HDFS的读写流程
HDFS命令
HDFS参数
1. HDFS是什么
HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，首先它是一个文件系统，用于存储
Hadoop概要
到底是业务推动了技术的发展，还是技术推动了业务的发展，这个话题放在什么时候都会惹来一些争议。
随着互联网以及物联网的蓬勃发展，我们进入了大数据时代。IDC预测，到2020年,全球会有44ZB的数据量。 传统存储和技术架构无法满足需求 。在2013年出版的《大数据时代》一书中，定义了
点进来的同学，大部分是为了学编程而来的，这里面有一部分学编程是出于兴趣爱好，但大部分都是为了找工作或跳槽吧！其中有些人也许是觉得难，也许是遇到瓶颈，也许是因为惰性，总之半途而废了。在这新一年的开始，我想对你说一句：不要轻易放弃，如果你觉得艰难，说明你正在走上坡路！在为你讲为什么要学习大数据前给分享
大数据又称黑暗数据，是指人脑无法处理的海量数据聚合成的信息资产，在民生、IT、金融、农业、通信等方面都有广泛应用。未来5年大数据行业呈井喷趋势，人才需求火爆，2018年大数据人才缺口更是高达900万。以后想要做大数据相关的工作，需要学习哪些技术知识?
罗马不是一天建成的，大数据工程师也不是短时间能锻
Hadoop常用发行版：
Apache Hadoop
CDH Cloudera Distributed Hadoop
HDP Hortonworks Data Platfrom
分布式文件系统（HDFS）
HDFS架构
1个master（NameNode/NN）带n个slaves（DataNod
QuorumPeerMain,ResourceManager都没有起来
resourcemanager.log如下
2018-09-28 23:17:02,787 FATAL org.apache.hadoop.yarn.server.resourcemanager.ResourceManager:
目前，全球数据呈现爆发增长、海量集聚的特点。国家大力推动实施大数据发展战略，推进数据资源整合和开放共享，加快建设数字中国。大数据行业政策环境良好，发展机遇空前。
但随着国家的重视，企业的转型，对大数据技术人才的要求也是越来越高，不是掌握一点皮毛就能就业了。毕竟现在的竞争压力还是很大的，企业的择优录取
软件：CentOS-7 VMware12 SSHSecureShellClient
shell工具：Xshell
规划
vm网络配置
01.基础配置
02.ssh配置
03.zookeeper配置
04.hadoop配置
05.mysql配置_单节点
06.hbase配置
很多初学者在刚刚接触大数据的时候会有很多疑惑，比如对MapReduce、Storm、Spark三个计算框架的理解经常会产生混乱。
哪一个适合对大量数据进行处理？哪一个又适合对实时的流数据进行处理？又该如何来区分他们呢？
我对比整理了这3个计算框架的基本知识，大家可以了解一下以便对这个3个计算框架有一
前言：
Mapreduce程序的效率的瓶颈在于两点：
计算机性能：
CPU、内存、磁盘健康、网络
I/O操作： 数据倾斜 map和reduce数量设置不合理 map的运行时间太长，导致reduc的等待过久 小文件过多 大量的补课分块的超大文件 spill（溢写）次数过多 me
作者：网易有数郑栋。
一、为什么企业需要一套完善的用户行为埋点和分析平台
产品初创期间，需要分析天使用户的行为来改进产品，甚至从用户行为中得到新的思路或发现来调整产品方向；产品成长过程，通过对用户行为的多角度（多维）分析、对用户群体的划分以及相应行为特
1. 明确分析目的和内容
2. 数据收集
数据库
公开出版物
互联网
市场调查
3. 数据处理
数据清洗 （去掉重复数据、填充缺失的数据、检测逻辑错误的数据）
数据转化
数据提取
数据计算
客服
