许多数据和分析领导者将Data Hub,数据湖和数据仓库视为可互换的替代方案。实际上,这些架构模式中的每一个都有不同的主要目的。当它们组合在一起时,它们可以支持日益复杂,多样化和分布式的工作负载。
概述
关键挑战
数据和分析领导者通常不清楚数据湖,数据仓库和Data Hub之间的区别。将它们定位为竞争性方法……
了解架构设计必须知道哪些原则,熟悉使用这些原则。
单一职责原则(Single Responsibility Principle – SRP)
对于一个类而言,应该仅有一个引起它变化的原因。说白了就是,不同的类具备不同的职责,各施其责。这就好比一个团队,大家分工协作,互不影响,各做各的事情。
当我们做系统设计时,如果发现有一个类……
这篇文章先是出现在 IEEE Software 杂志上,IEEE Software 是一本提供严谨科技资讯的杂志。企业总是在可靠性和灵活性上面临挑战,IT 经理和技术领导者依赖 IT 专家们来提供高超的解决方案。
本文要点
架构原则确保设计决策在一定程度上能够满足需求
借助架构原则,可以在没有微管理的情况下建立边界和优先级
好的架构原……
01 传统数仓和大数据数仓的异同?有哪些大的变化?
区别主要是数仓数据存储的地方不同,传统数仓数据存储在Mysql/Oracle等关系型数据库上,大数据数仓存储在Hadoop平台的Hive中(实际上是HDFS中),当然也有其他的数仓产品比如TD、Greenplum等。
我接触过的传统数仓技术架构是使用Kettle做ETL工具,数据保存在Mys……
前言
越来越多的业务,越来越多的信息化系统,让很多公司拥有了海量数据,但是分散的数据、隔离的系统,又形成了一个个数据孤岛。于是,为了利用好数据,各大公司纷纷建设了数据仓库,或者是最近升级为大数据平台之类的,但是,不同条线不同场景的数据又要如何整合到同一个仓库呢?
数据模型就此应运而生,通过高度抽象的……
数据分层是数据仓库设计中十分重要的一个环节,优秀的分层设计能够让整个数据体系更易理解和使用。
而目前网络中大部分可以被检索到相关文章只是简单地提及数据分层的设计,或缺少明确而详细的说明,或缺少可落地实施的方案,或缺少具体的示例说明。
因此,本文将指出一种通用的数据仓库分层方法,具体包含如下内容:
介……
2020 年无疑是独特且复杂的一年。但无论世界如何变化,数据质量、处理速度与数据洞见仍然坚定地步入企业发展的最前沿。未来如何?我们将一同展望。
如果说 2021 年有什么与 2020 年保持一致,那就是难以捉摸的不确定性。我们不愿看到又一个 2020 年,但也得随时为各种意外做好准备。
2020 年可以说是意外频发、远超想象……
企业架构(EA)作为一门学科长期遭受严重缺乏实践理论的困扰。造成此问题的原因一方面是由于大量的不具真实参考性的“最佳实践”,另一方面是由于缺乏针对EA的任何其他现实参考模型。为了解决EA长期缺乏合理的参考模型的问题,提供EA的一页全面的解释性观点是一个好主意,它是用于规划的特定组件的集合,反映了实际的EA最佳……
日前,德勤管理咨询正式发布了《2021技术趋势报告》(点击免费下载)。本年度报告研究了疫情一年来对企业战略、运营和技术带来的连锁反应,论述了其重大发现:全球企业正在加速数字化战略转型,从而构建“韧性”、开创全新的经营模式。
德勤管理咨询中国首席执行官戴耀华表示:
这已经是德勤管理咨询连续第12……
从管理复杂性到增加可伸缩性,我们提供了四个使您的企业受益于将数据湖移至云平台的理由。
拉文德拉·普努鲁(Ravindra Punuru)
互联网上有关Hadoop未来的搜索产生了一些文章,质疑Hadoop是“正式死亡”还是变得无关紧要。就在三年前,Forrester预测 Hadoop的年增长率将达到33%。不到一年之后,他们的分析得出结论,Hado……