分类目录:Big Data and AI

以下是分类 Big Data and AI 下的所有文章

数据仓库建设灵魂10问

01 传统数仓和大数据数仓的异同?有哪些大的变化? 区别主要是数仓数据存储的地方不同,传统数仓数据存储在Mysql/Oracle等关系型数据库上,大数据数仓存储在Hadoop平台的Hive中(实际上是HDFS中),当然也有其他的数仓产品比如TD、Greenplum等。 我接触过的传统数仓技术架构是使用Kettle做ETL工具,数据保存在Mys……

数据模型——数据仓库的灵魂

前言 越来越多的业务,越来越多的信息化系统,让很多公司拥有了海量数据,但是分散的数据、隔离的系统,又形成了一个个数据孤岛。于是,为了利用好数据,各大公司纷纷建设了数据仓库,或者是最近升级为大数据平台之类的,但是,不同条线不同场景的数据又要如何整合到同一个仓库呢? 数据模型就此应运而生,通过高度抽象的……

明确、详细、可落地:给你份通用的数据分层方法

数据分层是数据仓库设计中十分重要的一个环节,优秀的分层设计能够让整个数据体系更易理解和使用。 而目前网络中大部分可以被检索到相关文章只是简单地提及数据分层的设计,或缺少明确而详细的说明,或缺少可落地实施的方案,或缺少具体的示例说明。 因此,本文将指出一种通用的数据仓库分层方法,具体包含如下内容: 介……

Google Cloud 2021 领导者观点:驱动业务发展的五大数据趋势

2020 年无疑是独特且复杂的一年。但无论世界如何变化,数据质量、处理速度与数据洞见仍然坚定地步入企业发展的最前沿。未来如何?我们将一同展望。 如果说 2021 年有什么与 2020 年保持一致,那就是难以捉摸的不确定性。我们不愿看到又一个 2020 年,但也得随时为各种意外做好准备。 2020 年可以说是意外频发、远超想象……

企业数字化之数据平台建设

一、大数据之应用 大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合,正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析,从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。通过采集数据资源,并对数据加以整合、分析、提取,得到有价值的信息,企业……

数据治理角色

数据治理定义了组织如何充分利用数据,同时以合理的成本和资源水平保持数据的安全和管理。做得好,数据治理可以使组织中每个人都对数据负有责任感,并对数据对其工作的价值有所了解。 当然,并不是每个人都应对所有事情负责。一个人会有不同的技能和兴趣。因此,数据治理将需要完成的工作分解为任务,并将相关任务分组为……

打破数据孤岛:如何整合,清理和永久使用数据

要点:销毁数据孤岛是从数据中获得宝贵见解的第一步 盘点任何一家大中型企业的库存,您会发现大量数据:财务,营销详细信息,员工指标,销售数据,产品信息,客户支持电话,业务流程输出等等。无论这些数据是用于业务KPI,内部度量还是(完全可能)不使用,它们都位于单独的专有数据库中,并且每天都在增长。 (要了解有……

基于微软Azure云服务的大数据应用服务

大数据项目的解决方案选择过程非常复杂,有很多因素。本文将介绍基本基于微软Azure云服务的大数据应用解决方案及分析。此外,请仔细检查官方文档中相关Service的详细信息。 基本数据研究的特点,大数据分为“三个V”:速度,数量和种类。我们如何选择正确的解决方案取决于我们首先要解决的问题之一: 容量:需要存储和查询……