一、项目介绍
JDV（可视化大屏）是京东内部搭建可视化大屏的数据工具平台，内置10+种模版特效，40+种风格各异的图表、导航等组件。与集团其他数据工具打通，支持一站式、自助化、拖拽式搭建大屏，实现数据切换、联动刷新、大屏下钻等呈现效果，便利高管、采销、产研等全集团范围内的数据可视化诉求。在大促期间
导读
国内某头部券商是国内排名前三的全国性大型综合证券公司。作为证券行业领头羊之一，该券商一直高度重视核心系统的自主可控以及网络信息安全。早些时候，其已经完成了信创化数据库改造和OA系统适配，接下来的当务之急是完成数据能力平台的信创化改造。随着该券商近年来数据中台的发展，企业内部数据系统纷繁庞杂
当企业的业务发展到一定的阶段时，在系统中引入监控告警系统来对系统/业务进行监控是必备的流程。没有监控或者没有一个好的监控，会导致开发人员无法快速判断系统是否健康；告警的实质则是“把人当服务用”，用告警通知人的方式去干预系统达到修正的目的。
监控告警在企业保障系统的稳定性和事故快速恢复的全周期链路中
1 搭建准备
HostName
IP
内存
CPU
磁盘
cdp01
172.29.0.110
16G
4核
100G
cdp02
172.29.0.111
16G
4核
100G
cdp03
172.29.0.112
16G
4核
100G
组件
版本
Cloudera Manager
7.1.
2016年证监会《证券公司全面风险管理规范》提出建立健全数据治理和质量控制机制。
2018年证监会发布《证券数据治理操作指引（征求意见稿）》及《证券期货业数据分类分级指引》。同年，国家工信部发布DCMM数据管理能力成熟度评估模型，提炼组织数据管理的八大过程域，将数据能力成熟度划分5个发展等级，帮助
一、背景
竞速榜是大促期间各采销群提供的基于京东实时销售数据的排行榜，同样应对大促流量洪峰场景，通过榜单撬动品牌在京东增加资源投入。竞速榜基于用户配置规则进行实时数据计算，榜单排名在大促期间实时变化，相关排名数据在微博、朋友圈广泛传播，相关计算以及排名的准确性至关重要。
竞速榜的每个榜单配置规则都
“七下八上”是我国主汛期的重要阶段之一
该时段内
北方进入主雨季
南海和西太平洋进入台风活跃期
沿海地区更是深受台风降水和风暴潮等
极端天气影响
全国正式进入防汛关键期
一直以来，作为与防汛备汛息息相关的水务治理在城市管理和发展中扮演着重要的角色。水务治理涉及到对水资源的合理利用、水环境的保护和
前言
生活中使用微信小程序的场景越来越多，它实现了用户对于应用“触手可及、用完即走”的理想需求。微信小程序的开发难度也低于APP的开发制作，使用它会更便利、低成本、高经济效益。
但是要完成一个小程序涉及到的技术栈比较多，要开发的模块也很多。比如：
微信小程序端的开发
小程序与后端接口的开发
最近在测试flink从trino查询数据插入到phoenix5的功能，发现一个时间的问题：
明明插入的时间是 '1940-06-01'，查询出来的时间会少一天，同样的 Timestamp 也会自动少掉 8个小时，详细原因参考 Phoenix关于时区的处理方式说明。但是文章中阿里的
有许多支持多数据源数据转换和同步的ETL工具可供选择。以下是一些常见的ETL工具和它们支持多数据源数据转换和同步的特点：
Apache NiFi：Apache NiFi是一个开源的ETL工具，支持多种数据源的连接，包括文件系统、数据库、消息队列、网络接口等。它提供了可视化的界面和强大的数据处理功能
本文分享自天翼云开发者社区《大数据通用组件故障处理》，作者:f****n
HDFS
1.HDFS 服务一直异常
检查HDFS是否处于安全模式。
检查ZooKeeper服务是否运行正常。
2.HDFS 维护客户端出现OutOfMemoryError 异常
使用HDFS客户端之前，需要在HADOOP_
Spark之探究RDD
如何了解一个组件，先看看官方介绍！
进入RDD.scala，引入眼帘的是这么一段描述文字（渣翻勿喷）：
RDD，弹性分布式数据集，是Spark中的基础抽象。代表了一个可以被并行化操作的不可变、可分区的要素集合。这个类包含了任何RDD都可使用的基本操作，例如map,
SparkCore
RDD基础
定义
在 Spark 的编程接口中，每一个数据集都被表示为一个对象，称为 RDD。RDD 是 Resillient Distributed Dataset(弹性分布式数据集)的简称，是一个只读的(不可变的)、分区的(分布式的)、容错的、延迟计算的、类型推断的和可
随着互联网技术的不断发展以及大数据时代的兴起，企业对于数据分析和洞察的需求日益增长。大多数企业都积累了大量的数据，需要从这些数据中快速灵活地提取有价值的信息，以便为用户提供更好的服务或者帮助企业做出更明智的决策。
然而在不同的数据场景中，企业往往会选择不同的大数据组件来满足其业务需求，每个组件都有
By AWS Team
前言
随着企业规模的扩大，业务数据的激增，我们会使用 Hadoop/Spark 框架来处理大量数据的 ETL/聚合分析作业，⽽这些作业将需要由统一的作业调度平台去定时调度。
在 Amazon EMR 中，可以使用 AWS 提供 Step Function，托管 AirFl
你准备好面试了吗?这里有一些面试中可能会问到的问题以及相对应的答案。如果你需要更多的面试经验和面试题，关注一下"张飞的猪大数据分享"吧，公众号会不定时的分享相关的知识和资料。
1、MapReduce优化方法
1）数据输入
（1）合并小文件：在执行mr任务前将小文件进行合并，大量的小文件会产
一、mysql安装
在配置Hive之前一般都需要安装和配置MySQL，因为Hive为了能操作HDFS上的数据集，那么他需要知道数据的切分格式，如行列分隔符，存储类型，是否压缩，数据的存储地址等信息。
为了方便以后操作所以他需要将这些信息通过一张表存储起来，然后将这张表（元数据）存储到mysql中。
大家好，我是独孤风，大数据流动的作者。
最近几个概念频繁出现在大家的视野内。
什么是数据管理，数据治理，数据中心，数据中台，数据湖？
他们之间又有怎么样的区别和联系呢？
这几个概念常常让人混淆，今天我们就来详细解析一下。
一、数据管理
数据管理是指组织对其整个数据生命周期进行的规划、执行和控制,以
1. 系统介绍
浏览记录系统主要用来记录京东用户的实时浏览记录，并提供实时查询浏览数据的功能。在线用户访问一次商品详情页，浏览记录系统就会记录用户的一条浏览数据，并针对该浏览数据进行商品维度去重等一系列处理并存储。然后用户可以通过我的京东或其他入口查询用户的实时浏览商品记录，实时性可以达到毫秒级。
数据资产现在需要接入数栈内部相关应用的时候，支持查看血缘的类型从表、离线任务增加到需要表、离线任务、实时任务、API任务、指标、标签等，需要支持数栈现有的所有应用任务，最终实现在数据资产平台查看任务的完整应用链路。
虽然增加不同的任务，现阶段资产实现的血缘大体上能够满足需求，但是也会出现问题，因此
客服
