标签:大数据技术文章
环境配置参考:lab0 本文采取 Win10 + wsl2(Ubuntu 22.04) 进行环境配置 1 wsl2安装Ubuntu22.04 wsl2的安装参考 微软官方文档 1.1 启用Linux子系统功能 系统搜索启用或关闭Windows功能,如下图开启功能 1.2 BIOS开启CPU虚拟化功
Flink是一款非常优秀的流式计算框架,而ClickHouse是一款非常优秀的OLAP类引擎,它们是各自所处领域的佼佼者,这一点是毋庸置疑的。Flink除了各种流式计算场景外也必然可以用于流式统计,ClickHouse同样也可以用于流式统计,但我不认为它们是优秀的流式统计工具。XL-Lightho
本文分享自华为云社区《【手把手带你玩转HetuEngine】(一)HetuEngine快速上手》,作者:HetuEngine九级代言。 HetuEngine是什么 HetuEngine是华为推出的高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合,实现海量数据秒级交互式查询;支持跨源跨域
Taier 作为袋鼠云的开源项目之一,是一个分布式可视化的 DAG 任务调度系统。旨在降低 ETL 开发成本,提高大数据平台稳定性,让大数据开发人员可以在 Taier 直接进行业务逻辑的开发,而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现,将工作的重心更多地聚焦在业务之中。 本文将从
本文分享自华为云社区《【手把手带你玩转HetuEngine】(三)HetuEngine资源规划》,作者: HetuEngine九级代言 。 HetuEngine支持在服务层角色实例和计算实例两个维度进行资源规划,并且支持在高并发场景下通过启动多个计算实例进行负载分担和均衡,从而满足各种业务场景下的
支持以下引擎 Spark Flink SeaTunnel Zeta 关键特性 批处理 精确一次性处理 列投影 并行处理 支持用户自定义拆分 支持查询 SQL 并实现投影效果 描述 通过 JDBC 读取外部数据源数据。 支持的数据源信息 Datasource Supported versions
本文分享自华为云社区《中国云数据仓库,双第一》,作者: 华为云头条。 近日 全球领先的IT市场研究 和咨询公司IDC正式发布 《中国关系型数据库软件市场跟踪报告-数据仓库市场Add-on》报告 华为云GaussDB(DWS) 凭借领先的技术和优异的市场表现 荣获“双第一” IDC在报告中指出:“
近日,新一代实时数据仓库厂商 SelectDB 与云原生智能数据管理平台 NineData 完成产品兼容互认证。经过严格的联合测试,双方软件完全相互兼容、功能完善、整体运行稳定且性能表现优异。基于本次的合作,双方将进一步为数据管理与大数据分析业务的融合持续助力,帮助企业实现数字化转型,提高效率和降
一、开篇背景 “锁”代表安全。在程序中(这里指java)尤其多线程环境下,有了锁的帮助,会给数据安全带来保障,帮助线程更好的运作,避免竞争和互斥。 锁共有15种算法:乐观锁、悲观锁、自旋锁、重入锁、读写锁、公平锁、非公平锁、共享锁、独占锁、重量级锁、轻量级锁、偏向锁、分段锁、互斥锁、同步锁....
DolphinScheduler是一个开源的分布式任务调度系统,拥有分布式架构、多任务类型、可视化操作、分布式调度和高可用等特性,适用于大规模分布式任务调度的场景。目前DolphinScheduler支持的元数据库有Mysql、PostgreSQL、H2,如果在业务中需要更好的性能和扩展性,可以
近日,第14届中国数据库技术大会(DTCC2023)在北京国际会议中心顺利举行。大会以“数智赋能 共筑未来”为主题,邀请了上百位行业专家,一起探讨新时代下各类型数据库的最新动态和应用实践,带来一场数据库领域的年度盛宴。在上午的主会场,华为云数据库服务产品部总经理苏光牛围绕“打造最可信数据库,华为云
0 引言 0.1 糟糕的图表无处不在 0.2 我们天生不擅长用数据讲故事 在学校里,我们学习了很多关于语言和数学的知识。在语言方面,我们学习如何将单词组合成句子和故事。数学方面,我们学习如何理解数字。但很少有人将这两方面结合起来:没有人教我们如何用数字讲故事。更严峻的是,很少有人觉得自己天生就擅
Linux精品书籍 Linux 命令行 第2版 出版日期 2019年3月5日 502页 4.7星 1740评(2023-7-21) 带你从第一次敲击终端键盘,到在最流行的 Linux shell(或命令行)Bash 中编写完整的程序。在学习的过程中,你将学到几代经验丰富、善于躲避鼠标的大师们传授下
本文分享自华为云社区《DTCC 2023专家解读 | GaussDB技术解读系列:高级压缩之OLTP表压缩》,作者:GaussDB 数据库 。 8月16日,第14届中国数据库技术大会(DTCC2023)在北京国际会议中心顺利举行。在GaussDB“五高两易”核心技术,给世界一个更优选择的专场,华为
在日常工作中,有时会遇到一次性往页面中插入大量数据的场景,在数栈的离线开发(以下简称离线)产品中,就有类似的场景。本文将通过分享一个实际场景中的前端开发思路,介绍当遇到大量数据时,如何实现高效的数据渲染,以达到提升页面性能和用户体验的目的。 渲染大数据量时遇到的问题 在离线的数据开发模块,用户可以
背景 通常数据库进行分库分表后,目前比较常规的作法,是通过将数据异构到Elasticsearch来提供分页列表查询服务;在创建Elasticsearch索引时,基本都是会参考目前的业务需求、关系数据库中的类型以及对数据的相关规划来定义相关字段mapping的类型. 在Elasticsearch的m
数据治理是推动大型集团企业转型升级、提升竞争优势、实现高质量发展的重要引擎。 通过搭建大数据平台,实现对业务系统数据的采集、清理、建模、整合,建立一个符合业务需求的数据决策平台,形成企业数字化转型关键能力,支撑数据赋能业务价值,最终推动组织及管理升级,实现数字化转型。 以某拥有多元主业的综合型产业
本文分享自华为云社区《【如何保证你的DWS数据更安全】使用DWS集群,用户被锁定如何解锁?》,作者:Shirley_Dou 。 一、管理员用户被锁定,怎么破?gsql: FATAL: The account has been locked. 1、重置集群密码可自动解锁,在集群管理页面,找到对应集
本文分享自华为云社区《华为云GES:十年磨一剑,打造业界一流的云原生分布式图数据库》,作者:GES图引擎服务小图 。 1、浅谈云原生图数据库 图数据库(graph database)是一个使用图结构进行语义查询的数据库,它使用节点、边和属性来表示和存储数据。该系统的关键概念是图,它直接将存储中的数