本文分享自华为云社区《GaussDB(DWS)现网案例之超大结果集接收异常》，作者：你是猴子请来的救兵吗 。
问题背景
内核版本 GaussDB 8.1.3
问题描述 用户使用数据库客户端工具如navicat、dbeaver等执行查询语句异常中断，中断信息"Last read message se
标签：大数据技术文章
SparkCore
RDD基础
定义
在 Spark 的编程接口中，每一个数据集都被表示为一个对象，称为 RDD。RDD 是 Resillient Distributed Dataset(弹性分布式数据集)的简称，是一个只读的(不可变的)、分区的(分布式的)、容错的、延迟计算的、类型推断的和可
Spark之探究RDD
如何了解一个组件，先看看官方介绍！
进入RDD.scala，引入眼帘的是这么一段描述文字（渣翻勿喷）：
RDD，弹性分布式数据集，是Spark中的基础抽象。代表了一个可以被并行化操作的不可变、可分区的要素集合。这个类包含了任何RDD都可使用的基本操作，例如map,
本文分享自天翼云开发者社区《大数据通用组件故障处理》，作者:f****n
HDFS
1.HDFS 服务一直异常
检查HDFS是否处于安全模式。
检查ZooKeeper服务是否运行正常。
2.HDFS 维护客户端出现OutOfMemoryError 异常
使用HDFS客户端之前，需要在HADOOP_
有许多支持多数据源数据转换和同步的ETL工具可供选择。以下是一些常见的ETL工具和它们支持多数据源数据转换和同步的特点：
Apache NiFi：Apache NiFi是一个开源的ETL工具，支持多种数据源的连接，包括文件系统、数据库、消息队列、网络接口等。它提供了可视化的界面和强大的数据处理功能
最近在测试flink从trino查询数据插入到phoenix5的功能，发现一个时间的问题：
明明插入的时间是 '1940-06-01'，查询出来的时间会少一天，同样的 Timestamp 也会自动少掉 8个小时，详细原因参考 Phoenix关于时区的处理方式说明。但是文章中阿里的
本文分享自华为云社区《产教融合 华为云GaussDB助力数据库产业人才培养》，作者： GaussDB 数据库。
近日，GaussDB数据库产教融合论坛在华为苏州研究所举行。本次论坛邀请了多位知名高校老师、北京金融科技产业联盟代表和金融行业DBA代表到场参加，共同围绕企业数据库人才需求、高校数据库人
前言
生活中使用微信小程序的场景越来越多，它实现了用户对于应用“触手可及、用完即走”的理想需求。微信小程序的开发难度也低于APP的开发制作，使用它会更便利、低成本、高经济效益。
但是要完成一个小程序涉及到的技术栈比较多，要开发的模块也很多。比如：
微信小程序端的开发
小程序与后端接口的开发
“七下八上”是我国主汛期的重要阶段之一
该时段内
北方进入主雨季
南海和西太平洋进入台风活跃期
沿海地区更是深受台风降水和风暴潮等
极端天气影响
全国正式进入防汛关键期
一直以来，作为与防汛备汛息息相关的水务治理在城市管理和发展中扮演着重要的角色。水务治理涉及到对水资源的合理利用、水环境的保护和
一、背景
竞速榜是大促期间各采销群提供的基于京东实时销售数据的排行榜，同样应对大促流量洪峰场景，通过榜单撬动品牌在京东增加资源投入。竞速榜基于用户配置规则进行实时数据计算，榜单排名在大促期间实时变化，相关排名数据在微博、朋友圈广泛传播，相关计算以及排名的准确性至关重要。
竞速榜的每个榜单配置规则都
SQLite官网：https://www.sqlite.org/index.html
源视频教程：https://www.bilibili.com/video/BV1Zz411i78o
菜鸟教程文档：https://www.runoob.com/sqlite/sqlite-tutorial.ht
2016年证监会《证券公司全面风险管理规范》提出建立健全数据治理和质量控制机制。
2018年证监会发布《证券数据治理操作指引（征求意见稿）》及《证券期货业数据分类分级指引》。同年，国家工信部发布DCMM数据管理能力成熟度评估模型，提炼组织数据管理的八大过程域，将数据能力成熟度划分5个发展等级，帮助
1 搭建准备
HostName
IP
内存
CPU
磁盘
cdp01
172.29.0.110
16G
4核
100G
cdp02
172.29.0.111
16G
4核
100G
cdp03
172.29.0.112
16G
4核
100G
组件
版本
Cloudera Manager
7.1.
OceanBase的系统日志（syslog）类似mysql的errorlog，是排查数据库问题的必备手段。系统日志一般位于observer的运行日志目录下。系统日志分了三种类型：observer.log、election.log和rootservice.log。
observer.log是每个ob
当企业的业务发展到一定的阶段时，在系统中引入监控告警系统来对系统/业务进行监控是必备的流程。没有监控或者没有一个好的监控，会导致开发人员无法快速判断系统是否健康；告警的实质则是“把人当服务用”，用告警通知人的方式去干预系统达到修正的目的。
监控告警在企业保障系统的稳定性和事故快速恢复的全周期链路中
OceanBase 数据库的系统视图分为字典视图和性能视图。其中字典视图就是描述数据字典的视图，OceanBase 数据库的字典视图包含 information_schema.* 视图、oceanbase.CDB_* 视图、oceanbase.DBA_*视图以及 mysql.* 视图。本文所涉及的
导读
国内某头部券商是国内排名前三的全国性大型综合证券公司。作为证券行业领头羊之一，该券商一直高度重视核心系统的自主可控以及网络信息安全。早些时候，其已经完成了信创化数据库改造和OA系统适配，接下来的当务之急是完成数据能力平台的信创化改造。随着该券商近年来数据中台的发展，企业内部数据系统纷繁庞杂
本文分享自华为云社区《GaussDB(DWS)TopSQL总结》，作者：nullptr_ 。
TopSQL 背景
TopSQL为DWS的监控系统，记录DWS中各个作业、算子级别的资源使用数据、耗时数据，包括下盘信息、内存、网络、耗时、警告、基础信息等作业执行的数据。
TopSQL 简介
TopSQ
本文分享自华为云社区《【带你走进DWS大集群内幕】大集群通信：作业hang、残留问题定位》，作者： 雨落天穹丶。
前言：
测试过程中，我们会遇到这样一种情况，我的作业都执行很久了，为啥还不结束，是不是作业hang掉了？ 或者说，明明看到CN上的作业都没了，为什么通过全局视图发现DN上还有作业在执行
一、项目介绍
JDV（可视化大屏）是京东内部搭建可视化大屏的数据工具平台，内置10+种模版特效，40+种风格各异的图表、导航等组件。与集团其他数据工具打通，支持一站式、自助化、拖拽式搭建大屏，实现数据切换、联动刷新、大屏下钻等呈现效果，便利高管、采销、产研等全集团范围内的数据可视化诉求。在大促期间
客服
