IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> HBase、ES、Hive -> 正文阅读

[大数据]HBase、ES、Hive

????????HBase是一个分布式的、面向列的数据库,具有存储海量数据、快速随机访问、进行大量改写操作的优点。它介于NOSQL和RDBMS之间,仅能通过主键(row key)和主键的range来检索数据,仅支持单行事务。主要用来存储非结构化和半结构化的松散数据。与hadoop一样,Hbase目标主要依靠横向扩展,通过不断增加廉价的商用服务器,来增加计算和存储能力。

????????ES是面向文档(document oriented)的,可以存储整个对象或文档(document),并且能索引(index)每个文档的内容使之可以被搜索。在ES中,可以对文档进行索引、搜索、排序、过滤。这种理解数据的方式与以往完全不同,这也是ES能够执行复杂的全文搜索的原因之一。

????????HBase和ES在查询复杂度上对比:HBase支持简单的行或者range查询,比如给一个PK查该行的数据,或者给一个begin/end查这个范围的数据,如果想完成更复杂的功能就不太容易。而ES支持的查询比较丰富,或者说这些查询都带有一点复杂计算。HBase和ES在查询数据量上对比:两者都是支持海量数据的,HBase可能更容易支持更多的数据,因为其一开始设计就是解决海量问题的;而ES是后来慢慢增强其存储扩展性的。HBase和ES在维护性对比:HBase基于Hadoop,组件多,维护起来代价高,而ES自成体系,维护起来稍微好点。

????????Hive是基于Hadoop的数据仓库工具,提供类SQL语法,其本质是将SQL语句转换为MapReduce任务运行,使不熟悉MapReduce的用户很方便地利用HQL处理和计算HDFS上的结构化的数据,适用于离线的批量数据计算。以MR作为计算引擎,HDFS作为存储系统,它提供超大数据集的计算、扩展能力。

???????Hive和HBase的区别

Hive

Hbase

Hive是建立在Hadoop之上为了降低MapReduce编程复杂度的ETL工具

HBase是为了弥补Hadoop对实时操作的缺陷

Hive表是纯逻辑表,因为Hive的本身并不能做数据存储和计算,而是完全依赖Hadoop

HBase是物理表,提供了一张超大的内存Hash表来存储索引,方便查询

Hive是数据仓库工具,需要全表扫描,就用Hive,因为Hive是文件存储

HBase是数据库,需要索引访问,则用HBase,因为HBase是面向列的NoSQL数据库

Hive表中存入数据(文件)时不做校验,属于读模式存储系统

HBase表插入数据时,会和RDBMS一样做Schema校验,所以属于写模式存储系统

Hive不支持单行记录操作,数据处理依靠MapReduce,操作延时高

HBase支持单行记录的CRUD,并且是实时处理,效率比Hive高得多

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-09-30 00:59:31  更:2022-09-30 00:59:34 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2025年5日历 -2025/5/1 6:17:45-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码