IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 大数据平台建设路径 -> 正文阅读

[大数据]大数据平台建设路径

数字化转型这几年成为了集团公司或大型企业寻求业务突破的重要手段,而且各行各业都不乏成功案例,例如金融行业的建设银行、招商银行、平安保险等,还有一些生动的例子,例如百丽鞋业。而国外的经典案例就是亚马逊和特斯拉。

集团客户动静都很大,首先要做咨询规划,必须跟上投入和管理配套,然后可以开始平台建设,最终开始应用,赋能各业务线和产品线。

从技术的角度,一个完整的大数据平台通常会三期建设。先看下图:蓝色部分是第一期内容,绿色部分是第二期内容,橙色部分是第三期内容。
在这里插入图片描述

第一步,先建设大数据基础平台。首要满足的是数据汇聚、数据存储、数据计算三大块功能,也是最内核的功能。主要内容有数据仓库组建、数据抽取(ETL)、作业调度、数据服务、以及应对大规模节点和集群的监控运维管理功能等。当然还应包含用户、权限、数量统计等基础功能。根据目标数据量和SQL复杂度(例如多表JOIN)来规划采购内容,功能全、系统稳定、性能高、价格合理是技术产品选型的核心考量。这两年和长远看还要考虑国产化和信创。

第二步,基于大数据基础平台建设数据治理等功能。目标是把汇聚进来的海量数据,往往又是异构的数据经过预处理,再进一步进行数据治理和数据管理(二者区别参看CMMI的DMM)。主要内容有元数据管理、数据资产管理、数据质量管理、数据标准管理,以及数据全生命周期管理和必不可少的数据安全等。这里值得探讨的是,做平台的公司往往具备很强的抽象归纳能力,做的是下层的通用能力部分;但这部分内容往往还需要结合行业应用,有些行业侧的供应商也具备上层的行业侧定制化能力,并已经或初步形成了自己的产品。但若论通用能力设计和保障,特别是到十亿条(TB级别)以上数据量的分布式计算(JOIN等),还是需要硬核产品,这就自然而然来到了双方合作的契合点。

第三步,扩建大数据平台创新应用。主要内容是人工智能(包含机器学习和深度学习)、知识谱图(图数据库)、流计算和消息队列等。当然人工智能和图数据库本身也是硬核技术,也可以是平台,这要看所在公司的产品定位和赛道。而从数据智能这个角度看,数据仓库是底座,人工智能和知识图谱都算是一个应用,基于数据仓库优秀的算力,来挖掘数据间隐藏的数据关系,例如金融里的不带标签的反洗钱场景,公安行业的犯罪团伙多层关系网络挖掘。

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-07-28 07:53:02  更:2021-07-28 07:54:29 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年5日历 -2024/5/20 22:22:02-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码