在上一篇文章中，我们介绍了如何下载安装部署SeaTunnel Zeta服务（3分钟部署SeaTunnel Zeta单节点Standalone模式环境），接下来我们介绍一下SeaTunnel支持的第一个同步场景：离线批量同步。顾名思意，离线批量同步需要用户定义好SeaTunnel JobConfi
Doris 简介
Doris 概述
Apache Doris 由百度大数据部研发 (之前叫百度 Palo，2018 年贡献到 Apache 社区后，更名为 Doris), 在百度内部，有超过 200 个产品线在使用，部署机器超过 1000 台，单一业务最大可达到上百 TB。
Apache Dori
中国是全球植物多样性最丰富的国家之一，全球36个热点地区主要或部分在我国境内的有四个。在一穷二白的基础上，经全国312位作者和164位绘图人员45年的努力，《中国植物志》自1959年开始出版，在2004年全部完成，记载了301科3408属31142种植物的科学名称、形态特征、生态环境、地理分布、经
一、前言
最近由于工作需要，需要用到kettle工具进行数据迁移转换。特意找资料学习了一下，kettle基本操作算是学会了。
所学的也结合实际工作进行了验证。为了防止以后用到忘记了，便写了几篇文章记录一下。
二 、ETL简介
ETL ( Extract-Transform-Load的缩写,即数
在大数据处理中，实时数据分析是一个重要的需求。随着数据量的不断增长，对于实时分析的挑战也在不断加大，传统的批处理方式已经不能满足实时数据处理的需求，需要一种更加高效的技术来解决这个问题。Apache Hudi（Hadoop Upserts Deletes and Incremental Proce
今天这个数据是一款字典的类型的软件，专门用来查询一些学术上面的名词的中英对照，超过180个学科分类，150多万条记录，伴随您悠游于学海之中，是您做学问、写论文的好帮手。
主要科目有：電子計算機名詞（107213）、電機工程名詞（100395）、電力工程（68379）、外國地名譯名（64487
虽然已经有很多诗词类的数据库，最近又再次找了一下古诗词类的数据，又发现了一些，可是真的是各有各的优点，各有各的特色，之后不再重找诗词类的数据了。
今天这个诗词鉴赏数据也不错，有分类TAG，也有译文、注释、品析、朝代，但是又有些不足，详见下面说明：
朝代记录统计：金朝（15）、近代（8）、两汉（1
ChunJun 是⼀款稳定、易⽤、⾼效、批流⼀体的数据集成框架，基于计算引擎 Flink 实现多种异构数据源之间的数据同步与计算。ChunJun 可以把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从⽽为企业提供全⾯的数据共享，目前已在上千家公司部署且稳定运⾏。
在之前，我们曾经为大家
本文首发于公众号：Hunter后端
原文链接：es笔记二之基础查询
这一篇笔记介绍 es 的基础查询。
基础查询包括很多，比如排序，类似数据库 limit 的操作，like 操作，与或非等，对于这些操作，我会在介绍他们的用法之后加上对应的数据库 sql 便于理解。
注意： 下面的操作都在 ki
本文首发于公众号：Hunter后端
原文链接：es笔记一之es安装与介绍
首先介绍一下 es，全名为 Elasticsearch，它定义上不是一种数据库，是一种搜索引擎。
我们可以把海量数据都放到 es 里然后提供搜索操作，但是 MySQL 也同样可以提供搜索，为什么要用 es 呢？
一个是因
在企业级应用中，数据的安全性和隐私保护是极其重要的。Spark 作为数栈底层计算引擎之一，必须确保数据只能被授权的人员访问，避免出现数据泄露和滥用的情况。为了实现Spark SQL 对数据的精细化管理及提高数据的安全性和可控性，数栈基于 Apache Ranger 实现了 Spark SQL 对数
1.Greenplum数据库中segment故障检测
1.1概述
Greenplum数据库服务器（Postgres）有一个子进程，该子进程为ftsprobe，主要作用是处理故障检测。 ftsprobe 监视Greenplum数据库阵列，它以可以配置的间隔连接并扫描所有segment和数据库进程。
目录hive入门到精通hive部署启动Hadoop检查MySQL是否启动成功安装hivehive-env.shhive-site.xml需要修改的位置提炼如下：上传 MySQL 连接驱动 jar 包到 hive 安装目录的lib目录下:guava版本冲突配置环境变量初始化hive的元数据库远程模式
本篇主要介绍了一种使用Rust语言编写的查询引擎——DataFusion，其使用了基于Arrow格式的内存模型，结合Rust语言本身的优势，达成了非常优秀的性能指标
DataFusion是一个查询引擎而非数据库，因此其本身不具备存储数据的能力。但正因为不依赖底层存储的格式，使其成为了一个灵活可
ClickHouse
ClickHouse 属于 OLAP 数据库
OLTP 与 OLAP
OLTP (On-Line Transaction Processing 联机事务处理), 注重事务处理, 数据记录的性能和安全性
OLAP (On-Line Analytical Processing 联
目录大数据面试题HadoopHadoop的特点HDFS面试重点1.HDFS的架构2.HDFS的读写流程3.HDFS中，文件为什么以block块的方式存储4.小文件过多有什么危害，你知道的解决办法有哪些hdfs小文件带来危害解决方案5.在NameNode HA中，会出现脑裂问题吗？怎么解决脑裂6.简
这段时间，我们对产品本身以及客户反馈的一些问题进行了持续的更新和优化，包括对离线平台数据同步功能的更新，数据资产平台血缘问题的优化等，力求满足不同行业用户的更多需求，为用户带来极致的产品使用体验。
以下为袋鼠云产品功能更新报告第五期内容，更多探索，请继续阅读。
离线开发平台
1.支持工作流参数
背
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群
近期，火山引擎 DataLeap 上线“动态探查”能力，为用户提供全局数据视角、完善的抽样策略，提高数据探查的灵活度以及响应速率。
传统的数据探查是基于库表的全量探查，由后端引擎执行，通过自动化检查数据成分、
开源之夏 2023 学生报名已经正式开启！Apache DolphinScheduler 今年继续参与开源之夏的活动，2023 年 4 月 29 日-6 月 3 日 15:00 UTC+8，同学们可以在开源之夏官网 https://summer-ospp.ac.cn/ 找到 Apache Do
随着世界经济由工业经济向数字经济转型，数据逐步成为关键的生产要素，企业开始将数据作为一种战略资产进行管理。数据从业务中产生，在IT系统中承载，要对数据进行有效治理，需要业务充分参与，IT系统确保遵从，这是一个非常复杂的系统工程。
数据治理架构
实践证明，企业只有构筑一套企业级的数据治理综合体系，明
客服
