点亮Star⭐️ · 支持我们 https://github.com/apache/dolphinscheduler
最近，社区星力量又迎来一位新晋 Committer，这次是来自复旦大学研究生在读的王维饶同学，一起来认识一下吧！
个人简介
姓名：王维饶
职位：复旦大学研究生在读
GitHu
版本说明：
SeaTunnel：apache-seatunnel-2.3.2-SNAPHOT
引擎说明：
Flink：1.16.2
Zeta：官方自带
前言
近些时间，我们正好接手一个数据集成项目，数据上游方是给我们投递到Kafka，我们一开始的技术选型是SpringBoot+Flink对上
用户案例 | 自如
随着自如业务的快速发展，不断增长的调度任务和历史逾万的存量任务对平台稳定性提出了更高的要求。同时，众多非专业开发人员也需要一种更为“亲民”的调度平台使用体验。
如何满足这些日渐凸显的需求对自如大数据平台的开发团队来说，无疑是巨大的挑战。团队经过深入的研究和对比，发现Apach
近年来，随着信息化、数字化、智能化的快速发展，数据从资源逐渐转变为资产。金融行业具有海量数据资源和丰富应用场景优势，在企业经营管理、产品研发、技术创新等关键环节中发挥着重要作用。数据治理作为释放数据价值的基础，在推动银行数字化转型的过程中扮演了“承上启下”的关键角色。
通过数据治理咨询，结合数据平
摘要：华为开发者大会2023（Cloud）期间，华为云面向全球行业领袖、技术专家、社区大咖，举办“99%安全事件5分钟内闭环——华为云安全运营创新与实践”专题论坛。
在华为开发者大会2023（Cloud）期间，华为云面向全球行业领袖、技术专家、社区大咖，举办“99%安全事件5分钟内闭环——华为云安
2023年已过半，袋鼠云开发团队和产品团队对数栈产品本身以及客户反馈的问题和痛点进行了持续性的更新和优化，包括对 EasyMR 监控告警功能的更新，以及对离线开发平台表生命周期逻辑的优化等，力求满足不同行业用户的更多需求，为用户带来极致的产品使用体验。
以下为袋鼠云产品功能更新报告06期内容，更多
近期，Apache DolphinScheduler 将迎来 3.2.0 版本的到来。本次发版为大版本发布，将会带来众多大家期待已久的新功能和新改进。为了让用户提前感知到新版本的变化，社区特意提前“剧透”新版本的重要 feature，并制作了视频进行介绍。
添加默认租户
在之前的版本中，用户部署
之前的文章中，我们已经为大家介绍了 ChengYing 的安装原理、产品包制作、产品线部署等内容，本篇将和大家介绍一个困扰许多开发者的内容——ChengYing 主机接入。帮助所有对 ChengYing 感兴趣的开发者更好地了解和使用一站式全自动化运维管家 ChengYing。
主机接入流程
在部
你准备好面试了吗?这里有一些面试中可能会问到的问题以及相对应的答案。如果你需要更多的面试经验和面试题，关注一下"张飞的猪大数据分享"吧，公众号会不定时的分享相关的知识和资料。
目录1、为什么会产生 yarn,它解决了什么问题，有什么优势？2、简述hadoop1与hadoop2 的架构异同3、H
摘要：7月8日，华为开发者大会2023（Cloud）华为云河图KooMap技术分论坛在东莞溪村顺利举办。
7月8日，华为开发者大会2023（Cloud）华为云河图KooMap技术分论坛在东莞溪村顺利举办。本次分论坛以“夯实数字孪生底座，点燃燎原星火”为主题，邀请了来自华为的技术专家和产学研领域的行
截至今天，Apache DolphinScheduler 项目在 GitHub 上的 Star 数已突破 10.7K，贡献者人数也突破了 470 人。社区的不断壮大，离不开每位 Contributor 的支持。
今天我们来认识一位新的「社区星力量」！
PROFILE
伏长海
公司：珍岛集团CDP
OTA(Over-The-Air，空中下载技术)，是汽车使用的一种远程无线升级技术。车主只要保持联网的状态，汽车就可以像手机一样进行系统升级。OTA升级最大的好处是，不管对车辆进行常规的升级还是大面积出现软件问题需要修复，都可以通过OTA来解决。
数据显示，2022年中国乘用车OTA装配量达到76
随着业务的发展，实时场景在各个⾏业中变得越来越重要。⽆论是⾦融、电商还是物流，实时数据处理都成为了其中的关键环节。Flink 凭借其强⼤的流处理特性、窗⼝操作以及对各种数据源的⽀持，成为实时场景下的⾸选开发⼯具。
FlinkSQL 通过 SQL 语⾔⾯向数据开发提供了更友好的交互⽅式，但是其开发⽅
Shuffle的深入理解
什么是Shuffle，本意为洗牌，在数据处理领域里面，意为将数打散。
问题：shuffle一定有网络传输吗？有网络传输的一定是Shuffle吗？
Shuffle的概念
通过网络将数据传输到多台机器，数据被打散，但是有网络传输，不一定就有shuffle，Shuffle的功能
目录
目录目录数据仓库 v.s. 传统数据库数据仓库性能测试案例性能指标测试方案测试场景测试数据集测试用例性能指标测试脚本工具基准环境准备硬件环境软件环境测试操作步骤Cloudwave 执行步骤导入数据集TestCase 1. 执行 13 条标准 SQL 测试语句TestCase 2. 执行多表联
1、环境
Windows 11
Docker 20.0.2
2、拉取镜像
我选择 ubuntu20.04：
docker pull ubuntu:20.04
然后我们用命令看一下本地镜像：
docker images
3、启动容器
docker run -it IMAGE_ID bash
HDFS错误整改
编写“远程客户端操作hdfs创建文件夹”代码，验证环境是否配置成功！
1、错误点1：
改正方法：
第一步：点击 文件>项目文件>模块
第二步：会发现红色框里的显示的是15，这里我们需要改成8，如下图：
2、错误点2：
改正方法：
第一步：点击 文件>项
RDD的Transformation算子
map
map算子的功能为做映射，即将原来的RDD中对应的每一个元素，应用外部传入的函数进行运算，返回一个新的RDD
val rdd1: RDD[Int] = sc.parallelize(List(1,2,3,4,5,6,7,8,9,10), 2)
va
在平时和开发者们交流的过程中，发现许多开发朋友尤其是新入门 Taier 的开发者，对于本地调试都有着诸多的不理解和问题。本文就大家平时问的最多的三个问题，服务编译，配置&本地运行，如何在 Taier 运行 Flink-standalone，进行简单的介绍，希望和大家共同交流学习。
服务编译
都在说数据已经成为新时代的生产资料。
但随着大数据和人工智能等技术的发展，即便人们都知道数据的价值日益凸显，却无法凭借一己之力获取和分析如此大规模的数据。
要想富，先修路。要想利用新时代的数据致富，也必须要有趁手的工具。只有合适的工具才能完成大规模数据的采集、清洗、存储、处理和可视化等各个环节。只
客服
