数据仓库Hive 基础知识(Hadoop)

Hive是基于Hadoop的数据仓库工具,可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理,提供了类似于SQL语言的查询语言–HiveQL,可通过HQL语句实现简单的MR统计,Hive将HQL语句转换成MR任务进行执行。 一、概述 1.1 数据仓库概念 数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成……

企业数据库优化汇总

1、数据库设计优化 A. 对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。 B. 应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如: select id from t where num is null 可以在num上设置默认值0,确保表中num列没有null值,然后这……

以数据驱动的运营模式转型的3个最佳实践

转换为数据驱动的运营模型的3个最佳实践 通过将业务和IT整合在一起,将客户置于核心位置。 公司已广泛接受将客户放在组织的核心位置,以此作为增长和满意度的杠杆,但事实证明执行起来很困难。根据CMO委员会的研究,只有14%的营销人员认为他们的公司已经实现了以客户为中心。尽管具有挑战性,但以客户为中心进行真正的……

关于数据的【加密】和【脱敏】

数据的”加密”和”脱敏”两个方案都可用于解决数据安全的问题,但场景不太一样,分别如下: 数据加密多用于数据传输和数据持久化,例如在数据库存储加密后的值,即使DBA有表访问权限,也不能获取到真实数据。加密的主要优点在于它的可逆性,但是解密密钥存储位置、如何存储以及确定谁具有访问权限等……

Top 10 Skills for Data Science in 2020

Now, not every technologist is passionate about every other skill, but she would be excited about skills from her area of work. So are some of the skills for a Data Scientist. As we gear up for new technology trends and more significant challenges to solve in the new year, it is essential that ……

不良数据的识别和清洗

不良数据是一切数字化转型的痛点,每一位数据专业人员都需要对其一查到底。不良数据会影响对数据的正确解读,并最终导致决策失误。因此,识别企业中的不良数据至关重要,但不难预见,此举并非易事。 识别不良数据 不良数据可能来自企业的各个领域,包括销售、市场营销或工程等业务部门,并呈现出不同形式。让我们来看一……

DMBOOK Context Diagram

Data Handling Ethics: Data Governance and Stewardship: Data Architecture: Data Modeling and Design: Data Storage and Operations: Data Security: Data Integration and Interoperability: Document and Content Management: Reference and Master Data: Data Warehousing and Business Intelligence: Me……

Data Lake vs Data Warehouse vs Data Mart

The term “Data Lake”, “Data Warehouse” and “Data Mart” are often times used interchangbly. But what are exactly the differences between these things? This post attempts to help explain the similarity, the difference and when to use each. A high-level comparis……