hive的高级分组聚合是指在聚合时使用GROUPING SETS、CUBE和ROLLUP的分组聚合。
高级分组聚合在很多数据库类SQL中都有出现，并非hive独有，这里只说明hive中的情况。
使用高级分组聚合不仅可以简化SQL语句，而且通常情况下会提升SQL语句的性能。
1.Grouping s
标签：大数据
摘要：本期结合示例，详细介绍华为云数字工厂平台的数据分析模型和数据图表视图模型的配置用法。
本文分享自华为云社区《数字工厂深入浅出系列（六）：数据分析与图表视图模型的配置用法》，作者：云起MAE 。
华为云数字工厂平台基于“数据与业务一体化”理念，提供统一的制造全域数据平台底座，内置轻量级制造数据
时下，众多金融机构在积极推行数字化改革，以适应时代高速革新。为回应市场对信息即时生效的迫切需求，各家券商机构都需要更具竞争力的信息服务。
本次方案结合券商场景与业务实践，围绕客户实际面临的业务和数据问题，输出整体建设方案，方案包括业务背景、业务痛点、以及相关解决方案和实际案例。
以上内容节选自案例
卫健行业是关乎国家和民生安全的关键行业。近年来，云计算、大数据、人工智能等技术不断发展，并与医疗行业深入融合。同时，相关部门相继颁发一系列政策，进一步推动医疗行业数字化、智慧化转型，促进探索健康中国高质量发展道路。
作为全/国第/一个“互联网+医疗健康”示范区，宁夏积极推动数字技术在医疗健康行业的
Kafka 的核心功能是高性能的消息发送与高性能的消息消费。Kafka 名字的由来是 Kafka 三位原作者之一 Jay Kreps 说 Kafka 系统充分优化了写操作，所以用一个作家的名字来命名很有意义，他非常喜欢作家 Franz Kafka，并且用 Kafka 命名开源项目很酷 。以下是 K
你准备好面试了吗?这里有一些面试中可能会问到的问题以及相对应的答案。如果你需要更多的面试经验和面试题，关注一下"张飞的猪大数据分享"吧，公众号会不定时的分享相关的知识和资料。
目录1、谈谈Hadoop序列化和反序列化及自定义bean对象实现序列化?2、FileInputFormat切片机制3、
都在说数据已经成为新时代的生产资料。
但随着大数据和人工智能等技术的发展，即便人们都知道数据的价值日益凸显，却无法凭借一己之力获取和分析如此大规模的数据。
要想富，先修路。要想利用新时代的数据致富，也必须要有趁手的工具。只有合适的工具才能完成大规模数据的采集、清洗、存储、处理和可视化等各个环节。只
在平时和开发者们交流的过程中，发现许多开发朋友尤其是新入门 Taier 的开发者，对于本地调试都有着诸多的不理解和问题。本文就大家平时问的最多的三个问题，服务编译，配置&本地运行，如何在 Taier 运行 Flink-standalone，进行简单的介绍，希望和大家共同交流学习。
服务编译
本文首发于公众号：Hunter后端
原文链接：es笔记一之es安装与介绍
首先介绍一下 es，全名为 Elasticsearch，它定义上不是一种数据库，是一种搜索引擎。
我们可以把海量数据都放到 es 里然后提供搜索操作，但是 MySQL 也同样可以提供搜索，为什么要用 es 呢？
一个是因
RDD的Transformation算子
map
map算子的功能为做映射，即将原来的RDD中对应的每一个元素，应用外部传入的函数进行运算，返回一个新的RDD
val rdd1: RDD[Int] = sc.parallelize(List(1,2,3,4,5,6,7,8,9,10), 2)
va
本文首发于公众号：Hunter后端
原文链接：es笔记二之基础查询
这一篇笔记介绍 es 的基础查询。
基础查询包括很多，比如排序，类似数据库 limit 的操作，like 操作，与或非等，对于这些操作，我会在介绍他们的用法之后加上对应的数据库 sql 便于理解。
注意： 下面的操作都在 ki
摘要：本文主要为大家讲解在数仓性能调优过程中，关于大宽表关联MERGE性能优化过程。
本文分享自华为云社区《GaussDB(DWS)性能调优：大宽表关联MERGE性能优化》，作者：譡里个檔。
【业务背景】
如下MERGE语句执行耗时长达2034s
MERGE INTO sdifin.hah_a
HDFS错误整改
编写“远程客户端操作hdfs创建文件夹”代码，验证环境是否配置成功！
1、错误点1：
改正方法：
第一步：点击 文件>项目文件>模块
第二步：会发现红色框里的显示的是15，这里我们需要改成8，如下图：
2、错误点2：
改正方法：
第一步：点击 文件>项
1、环境
Windows 11
Docker 20.0.2
2、拉取镜像
我选择 ubuntu20.04：
docker pull ubuntu:20.04
然后我们用命令看一下本地镜像：
docker images
3、启动容器
docker run -it IMAGE_ID bash
目录
目录目录数据仓库 v.s. 传统数据库数据仓库性能测试案例性能指标测试方案测试场景测试数据集测试用例性能指标测试脚本工具基准环境准备硬件环境软件环境测试操作步骤Cloudwave 执行步骤导入数据集TestCase 1. 执行 13 条标准 SQL 测试语句TestCase 2. 执行多表联
在我们的日常生活中，数据无处不在。从社交媒体的帖子到在线购物的交易记录，我们每天都在产生和处理大量的数据。为了有效地管理这些数据，我们需要使用数据库。数据库是存储和管理数据的工具，它们可以按照不同的方式组织和处理数据。在这篇文章中，我们将重点介绍一种新型的数据库：向量数据库，并将其与传统的关系数据
摘要：随着云计算的兴起和渗透，云数仓成为了数仓技术演进的新阶段，并且逐渐成为了众多企业的共同选择。
本文分享自华为云社区《从GaussDB(DWS)的技术演进，看数据仓库的积淀与新生》，作者： 华为云头条。
数据驱动着现代商业的发展
今天，无论在制造、零售、物流
还是在互联网、金融等行业
数据都变
一、问题系统介绍
监听商品变更MQ消息，查询商品最新的信息，调用BulkProcessor批量更新ES集群中的商品字段信息;
由于商品数据非常多，所以将商品数据存储到ES集群上，整个ES集群共划分了256个分片，并根据商品的三级类目ID进行分片路由。
比如一个SKU的商品名称发生变化，我们
Shuffle的深入理解
什么是Shuffle，本意为洗牌，在数据处理领域里面，意为将数打散。
问题：shuffle一定有网络传输吗？有网络传输的一定是Shuffle吗？
Shuffle的概念
通过网络将数据传输到多台机器，数据被打散，但是有网络传输，不一定就有shuffle，Shuffle的功能
随着业务的发展，实时场景在各个⾏业中变得越来越重要。⽆论是⾦融、电商还是物流，实时数据处理都成为了其中的关键环节。Flink 凭借其强⼤的流处理特性、窗⼝操作以及对各种数据源的⽀持，成为实时场景下的⾸选开发⼯具。
FlinkSQL 通过 SQL 语⾔⾯向数据开发提供了更友好的交互⽅式，但是其开发⽅
客服
