数据治理是推动大型集团企业转型升级、提升竞争优势、实现高质量发展的重要引擎。
通过搭建大数据平台,实现对业务系统数据的采集、清理、建模、整合,建立一个符合业务需求的数据决策平台,形成企业数字化转型关键能力,支撑数据赋能业务价值,最终推动组织及管理升级,实现数字化转型。
以某拥有多元主业的综合型产业
在日常工作中,有时会遇到一次性往页面中插入大量数据的场景,在数栈的离线开发(以下简称离线)产品中,就有类似的场景。本文将通过分享一个实际场景中的前端开发思路,介绍当遇到大量数据时,如何实现高效的数据渲染,以达到提升页面性能和用户体验的目的。
渲染大数据量时遇到的问题
在离线的数据开发模块,用户可以
Linux精品书籍
Linux 命令行 第2版
出版日期 2019年3月5日 502页 4.7星 1740评(2023-7-21)
带你从第一次敲击终端键盘,到在最流行的 Linux shell(或命令行)Bash 中编写完整的程序。在学习的过程中,你将学到几代经验丰富、善于躲避鼠标的大师们传授下
0 引言
0.1 糟糕的图表无处不在
0.2 我们天生不擅长用数据讲故事
在学校里,我们学习了很多关于语言和数学的知识。在语言方面,我们学习如何将单词组合成句子和故事。数学方面,我们学习如何理解数字。但很少有人将这两方面结合起来:没有人教我们如何用数字讲故事。更严峻的是,很少有人觉得自己天生就擅
DolphinScheduler是一个开源的分布式任务调度系统,拥有分布式架构、多任务类型、可视化操作、分布式调度和高可用等特性,适用于大规模分布式任务调度的场景。目前DolphinScheduler支持的元数据库有Mysql、PostgreSQL、H2,如果在业务中需要更好的性能和扩展性,可以
支持以下引擎
Spark
Flink
SeaTunnel Zeta
关键特性
批处理
精确一次性处理
列投影
并行处理
支持用户自定义拆分
支持查询 SQL 并实现投影效果
描述
通过 JDBC 读取外部数据源数据。
支持的数据源信息
Datasource
Supported versions
本文分享自华为云社区《【手把手带你玩转HetuEngine】(三)HetuEngine资源规划》,作者: HetuEngine九级代言 。
HetuEngine支持在服务层角色实例和计算实例两个维度进行资源规划,并且支持在高并发场景下通过启动多个计算实例进行负载分担和均衡,从而满足各种业务场景下的
Taier 作为袋鼠云的开源项目之一,是一个分布式可视化的 DAG 任务调度系统。旨在降低 ETL 开发成本,提高大数据平台稳定性,让大数据开发人员可以在 Taier 直接进行业务逻辑的开发,而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现,将工作的重心更多地聚焦在业务之中。
本文将从
本文分享自华为云社区《【手把手带你玩转HetuEngine】(一)HetuEngine快速上手》,作者:HetuEngine九级代言。
HetuEngine是什么
HetuEngine是华为推出的高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合,实现海量数据秒级交互式查询;支持跨源跨域
Apache DolphinScheduler 3.2.0 版本已经呼之欲出,8 月 中下旬,这个大版本就要和用户见面了。为了让大家提前了解到此版本更新的主要内容,我们已经制作了几期视频和内容做了大致介绍,包括《重磅预告!Apache DolphinScheduler 3.2.0 新功能“剧透”
Flink是一款非常优秀的流式计算框架,而ClickHouse是一款非常优秀的OLAP类引擎,它们是各自所处领域的佼佼者,这一点是毋庸置疑的。Flink除了各种流式计算场景外也必然可以用于流式统计,ClickHouse同样也可以用于流式统计,但我不认为它们是优秀的流式统计工具。XL-Lightho
作者 | 郭炜
策划 | 凌敏
前言
下面是一段利用 Co-Pilot 辅助开发的小视频,这是 Apache SeaTunnel 开发者日常开发流程中的一小部分。如果你还没有用过 Co-Pilot、ChatGPT 或者私有化大模型帮助你辅助开发的话,未来的 5 年,你可能很快就要被行业所淘汰。因
在数字经济时代下,数据驱动业务创新发展已经成为企业的主要选择,基金行业机构也在积极推进数字化转型,但机遇与挑战并存。数据要转化为数据要素,需要系统体系化的数据能力建设作为催化剂。
基金行业也表现出一定的痛点,其中表现为数据安全保护不够到位,缺少数据脉络,数据质量得不到保障等。同时由于行业内在进行系
个人简介
王海林 白鲸开源研发工程师
GitHub ID:hailin0
做过性能监控、数据开发平台等,目前聚焦在数据集成同步及其周边生态的研发
问:作为白鲸开源的一员,您为社区做出过哪些贡献?具体方案(代码类)和贡献事迹有哪些?
最开始参与到社区,主要是贡献一些连接器插件以及修复bug,随着对
pentaho(keetle)数据同步实践
1 pentaho简介
pentaho可读作“彭塔湖”,在keetle被pentaho公司收购后改名而来。
pentaho是一款开源ETL工具,纯java编写的C/S模式的工具,可绿色免安装,开箱即用。支持Windows、macOS、Linux平台。
本文分享自天翼云开发者社区《隐私计算之浅谈联邦学习》 作者:l****n
一、背景
“数据孤岛”简单的讲,各组织都持有各自的数据,这些数据之间互有关系但又独立存储于各组织。出于安全性、合规性等方面考虑,各组织只能查询、使用己方数据,无法交换其它组织的数据。在联邦学习出现前,针对数据隐私保护的密码学
袋鼠云产品团队在帮助企业进行数字化转型实践的过程中,发现很多企业在数据生产链路上都有着相同的问题。包括数据团队聚焦于业务需求短期内的快速交付,内部缺少自顶向下的数据生产管理制度,在数据标准、数据生产流程到研发规范的各个层面均存在不完善与不规范之处;很多环节依赖人工操作,团队协作效率低,业务需求影响
本文分享自华为云社区《MRS大企业ERP流程实时数据湖加工最佳实践》,作者:晋红轻 。
本文将以ERP流程实践为例介绍MRS实时数据湖方案的演进
案例实践需求解析:
业务描述
AE表:会计分录表,主要记录财务相关信息,可用于成本核算等业务计算。为业务最主要的表,称驱动表。
四通道表:实际为四个门店
近日,Apache DolphinScheduler 发布了 3.1.8 版本。此版本主要基于 3.1.7 版本进行了 bug 修复,共计修复 16 个 bug, 1 个 doc, 2 个 chore。
其中修复了以下几个较为重要的问题:
修复在构建 SeaTunnel 任务节点的参数时错误
想要了解最新的金融科技进展吗?
渴望与其他技术爱好者交流,并扩展您在金融科技行业中的人脉关系吗?
那么请参加我们即将举行的 Meetup,本次活动由 Apache DolphinScheduler 社区和 OceanBase 技术社区共同举办,聚焦金融科技进展,线上&线下同步,欢迎关注并预