阅识风云是华为云信息大咖，擅长将复杂信息多元化呈现，其出品的一张图(云图说)、深入浅出的博文(云小课)或短视频(云视厅)总有一款能让您快速上手华为云。更多精彩内容请单击此处。
摘要： GaussDB(DWS)支持根据业务系统的不同使用需求，对膨胀的数据进行冷热分级管理，将数据按照时间分为热数据、冷
目录建表语法查询和插入数据数据处理逻辑ClickHouse相关资料分享
AggregatingMergeTree引擎继承自 MergeTree，并改变了数据片段的合并逻辑。ClickHouse会将一个数据片段内所有具有相同主键（准确的说是排序键）的行替换成一行，这一行会存储一系列聚合函数的状态。
安装一个Hadoop分布式集群
最小化的Hadoop已经可以满足学习过程中大部分需求，但是为了研究Hadoop集群运行机制，部署一个类生产的环境还是有必要的。因为集群机器比较少，笔者没有配置ssh，所以就需要在每一台机器上手动启动服务。启动上相对繁琐一些，优点是可以高度自定义集群中的任务节点数量，
Taier 介绍
Taier 是袋鼠云开源项目之一，是一个分布式可视化的DAG任务调度系统。
旨在降低ETL开发成本、提高大数据平台稳定性，大数据开发人员可以在 Taier 直接进行业务逻辑的开发，而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现，将工作的重心更多地聚焦在业务之中。
项
“MySQL中既存在redo log，又存在bin log，这是因为Bin Log是MySQL Server提供的一种归档日志，其本身并不具备Crash-Safe能力。而Redo Log本身不具备归档能力，他是一种循环写的日志。”
前言
MySQL通过两阶段提交的机制，保证了redo log和bi
一、背景
二、概述
三、下线流程与原理
1.读取待下线节点列表
2.判断节点下线模式
3.设置超时时间
4.RMNode 处理下线事件
5.监控节点的状态、下线节点
四、相关的Yarn集群配置
一、背景
接手部门 Hadoop 和 Flink 集群半年了，一直忙着上云的事儿，很少
以flink实时流的方式实现OneId
前言
oneid相关概念,及其当前离线实现方式介绍请见以下链接及其系列其他文章:
用户标签(一):图计算实现ID_Mapping、Oneid打通数据孤岛
读完上述链接的相关文章,将理解oneid的需求及其实现方式.
背景
之前公司是做电商数据分析,可以接入多
目录建表语法数据处理汇总的通用规则AggregateFunction 列中的汇总嵌套结构数据的处理资料分享参考文章
SummingMergeTree引擎继承自MergeTree。区别在于，当合并SummingMergeTree表的数据片段时，ClickHouse会把所有具有相同主键的行合并为一行，
摘要：华为云FusionInsight MRS HetuEngine持续提升自助用数分析平台的可服务、易运维能力，基于AI技术持续提升对数据分析平台的智能化赋能水平，引领现代数据分析平台向专业化、智能化、易运维、高性能方向演进。
本文分享自华为云社区《现代数据平台要实现自助用数还要解决的三大问题》
Calcite在大数据系统中有着广泛的运用, 比如Apache Flink, Apache Drill等都大量使用了Calcite，理解Calcite的原理可以说已经成为理解大数据系统中SQL访问层实现原理的必备条件之一。
但是不少人在学习Calcite的过程中都发现关于Calcite的实践案例其
商业发展与职能技术部-体验保障研发组 康睿 姚再毅 李振 刘斌 王北永
说明：以下全部均基于eslaticsearch 8.1 版本
一.索引的定义
官网文档地址：https://www.elastic.co/guide/en/elasticsearch/reference/8.1/indice
作者：京东工业 宛煜昕
测试的覆盖通常是指需求范围的执行程度，如需求、测试用例、缺陷的正向与逆向的双向追溯。便于对其相关属性的度量，即使用了覆盖率。
一、覆盖率与测试策略
覆盖率是度量测试完整性的一个手段，是测试有效性的一个度量。测试覆盖是对测试完全程度的评测。
测试策略按测试过程一般分为单元测试
监控系统俗称「第三只眼」，几乎是我们每天都会打交道的系统，它也一直是IT系统中的核心组成部分，负责问题的发现以及辅助性的定位。
ChengYing作为一站式全自动化全生命周期大数据平台运维管家，自然也提供大数据产品的监控服务。这篇文章，将为大家系统性地介绍ChengYing监控的设计和使用，带大家
摘要：主要介绍华为云在HBase 2.x内核所做的一些MTTR优化实践。
本文分享自华为云社区《华为云在HBase MTTR上的优化实践》，作者： 搬砖小能手。
随着HBase在华为云的广泛应用，HBase的数据节点规模也越来越大。最新版本的MRS可支持的单集群HBase数据节点规模可达到1024
金融业天然就是一个经营数据的行业，一直对数字技术保持高度重视，是数字化转型最早和数字技术应用最广的行业之一。在金融和技术融合过程中，数据治理是关键。当前金融数据治理已由过去局部数据管理，发展到统筹数据整合、智能应用、数据驱动决策和数据开放融合，这对金融数据治理提出了更高的要求，也带来新的挑战。
本
https://clickhouse.com/
概念
ClickHouse 是俄罗斯的 Yandex 于 2016 年开源的列式存储数据库（DBMS），使用 C++语言编写，主要用于在线分析处理查询（OLAP），能够使用 SQL 查询实时生成分析数据报告。
OLAP：一次写入，多次读取
Clic
摘要： RSGroup是集群隔离方案。
本文分享自华为云社区《华为FusionInsight MRS HBase的集群隔离——RSGroup》，作者： MissAverage。
一、HBase RSGroup理解
RSGroup是集群隔离方案。
HBase原有的资源隔离：为多个用户共享同一个HBa
作者：vivo 互联网实时计算团队- Chen Tao
本文根据“2022 vivo开发者大会"现场演讲内容整理而成。
vivo 实时计算平台是 vivo 实时团队基于 Apache Flink 计算引擎自研的覆盖实时流数据接入、开发、部署、运维和运营全流程的一站式数据建设与治理平台。
一
年底啦～2022年即将走到尾声，不过袋鼠云对产品品质的坚持始终如一，这段时间我们对产品本身以及客户反馈的一些问题进行了持续的更新和优化，例如新增任务告警，进行了Connector相关功能优化，以及支持跨时间分区圈群等。
以下为袋鼠云产品功能更新报告第三期内容，更多探索，请继续查阅。
离线开发平台
问题描述
近期业务反馈， 开启了 mini-batch 之后， 出现了数据不准的情况， 关掉了 mini-batch 之后， 就正常了， 因此业务方怀疑，是不是 Flink 的 mini-batch 存在 bug ？
问题排查
初步分析
mini-batch 已经在内部大规模使用， 目前没有发现一
客服
