第一部分 大数据简介 第一节 大数据的定义 ​ 大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 第二节 大数据的特点 大数据的特点可以用IBM曾经提出的“5V”来描述,如
【Error: ER_NOT_SUPPORTED_AUTH_MODE: Client does not support authentication protocol requested by server; consider upgrading MySQL client 】 原因:mysql8.
方法1: 直接使用数据库提供的SQL语句 语句样式: MySQL中,可用如下方法: SELECT * FROM 表名称 LIMIT M,N 适应场景: 适用于数据量较少的情况(元组百/千级) 原因/缺点: 全表扫描,速度会很慢 且 有的数据库结果集返回不稳定(如某次返回1,2,3,另外的一次返回2
Apache Superset是一个强大的BI工具,它提供了查看和探索数据的方法。它在 ClickHouse 用户中也越来越受欢迎。 我们将介绍安装 Superset 的 2 种方法,然后展示如何从 Superset 连接到您的第一个 ClickHouse 数据库。代码示例基于 Ubuntu 1
简介 Sqoop是一款开源工具,主要用于Hadoop(HDFS、Hbase、HIVE)与传统数据库(Mysql、Oracle、Postgresql)间进行数据的传递。 它可以将一个关系型数据库中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中 背景 Sqoop最
关于函数的说明 概念:类似python中的方法,将一组逻辑语句封装在方法体中,对外暴露方法名 好处: 隐藏了实现细节 提高代码的重用性 调用:select 函数名(实参列表) [from 表] 分类: 单行函数:作用于表中的每一行记录,一条记录出来一个结果 字符函数 数学函数 日期函
Postgresql 支持会话级别的临时表,表的存续期只在创建临时表的会话存活期间,会话退出后,临时表自动删除,表结构及数据也无法跨会话共享。KINGBASE除了支持PG原生的临时表机制外,还支持类似oracle 的临时表机制,也就是全局临时表。全局临时表支持表结构共享,避免用户每次了都需要创建临
有过SQL优化经历的人都知道,对于有些SQL性能问题,可能需要涉及到SQL层面的修改,这不仅麻烦,而且在已上线的系统还存在很大的风险。KINGBASE  V8R6 提供了query mapping功能,用户可以通过SQL映射,可以避免直接修改SQL的过程。 以下以举例介绍query mapping
/*分为四步 */  /*第1步:创建临时表空间(注意:D:ProjectOracleTableSpaceFHADMIN 手动创建路径)  */  create temporary tablespace C##FHADMIN_TEMP   tempfile 'D:ProjectOracleTab
前段时间我发表了一系列文章,开始介绍基于 .net core 的在线客服系统开发过程。期间有一些朋友希望能够给出 Linux 环境的安装部署指导,本文基于 CentOS 8.3 来安装部署。在本文中我详细的记录了: 安装 SQL Server 数据库,创建数据库,执行脚本创建表结构(是否需要支持
✨数据库备份 数据库作为信息系统的核心担当着重要的角色。 尤其在一些对数据可靠性要求很高的行业如银行、证券、电信等,如果发生意外停机或数据丢失其损失会十分惨重。为此数据库管理员应针对具体的业务要求制定详细的数据库备份与灾难恢复策略,并通过模拟故障对每种可能的情况进行严格测试,只有这样才能保证数据的
Mysql-connector-java驱动版本问题 由于我的数据库版本是5.7.28 ,在使用java连接mysql时经常出现版本问题。 com.mysql.jdbc.Driver 是 mysql-connector-java 5中的, com.mysql.cj.jdbc.Driver 是
背景 假设你在阿里云上Dataworks的空间space下有一个表table_A,想要把它的数据导出到文件以供后续使用,但是数据量又很多,从浏览器复制不太现实。阿里云提供了Java和Python版本的SDK,用来完成这个操作。 为了帮助业务取数,我之前搜了很多文档包括官方文档,但都没有完整讲清楚具
作者:卢文双 资深数据库研发工程师 目前负责青云云数据库的研发工作,热衷于研究主流数据库架构、源码,对关系型数据库 MySQL/PostgreSQL 及分布式数据库有深入研究。 前言 在为 Xenon[1] 适配新版 Percona XtraBackup 8.0[2](原有代码适配于 2.4
  关系数据库设计之时是要遵守一定的规则的。尤其是数据库设计范式 现简单介绍1NF(第一范式),2NF(第二范式),3NF(第三范式)和BCNF,另有第四范式和第五范式留到以后再介绍。   在你设计数据库之时,若能符合这几个范式,你就是数据库设计的高手。   第一范式(1NF):在关系模式R中的每
在分析一个SQL的性能好坏时,除了执行计划,另外一个常看的指标是"Handler_read_*"相关变量。 Handler_read_key Handler_read_first Handler_read_last Handler_read_next Handler_read_p
目录一、ORM介绍二、单表操作表创建新增记录删除记录修改记录三、查询API四、基于双下滑线的模糊查询 一、ORM介绍 ORM是(对象-关系-映射)的简称:它实现了数据模型与数据库的解耦,对于数据库的操作,就不用去写原生的 SQL 语句,取而代之的是基于面向对象的思想去编写类、对象、调用相应的方法等
前言 最近在面试,有被问到,MySQL的InnoDB引擎是如何实现事务的,又或者说是如何实现ACID这几个特性的,当时没有答好,所以自己总结出来,记录一下。 事务的四大特性ACID 事务的四大特性ACID分别是,A-原子性(Atomicity),C-一致性(Consistency),I-隔离性(I
最近看了很多关于事务问题的博客,感觉看的好混乱,没有一个整体的架构来谈事务; 所以就根据自己的见解谈一谈关于事务的问题。 1.事务四大特征(ACID) 众所周知,事务的四大特性即原子性,持久性,隔离性和一致性, 一致性是事务的最终目的,而原子性,持久性,隔离性则是一致性的保证。 下面我们就分别谈
你好呀,我是why。 是的,我又发现了一个宝藏,又迫不及待的想分享给大家。 这个宝藏是一个开源项目,或者叫做一本开源的书。 让我意难平的是,这本写的如此具有学习潜力和指导意义的开源书,目前才 887 个 Star。 赶得早不如赶得巧,我就是第 888 个点 Star 的人,听起来就很有缘分的样子: