数据产品_数据中台02_数仓模型和架构

最新推荐文章于 2024-08-02 15:49:25 发布
andakiwukawa 最新推荐文章于 2024-08-02 15:49:25 发布
阅读量1k 收藏 3
点赞数
分类专栏： 数据产品 文章标签： big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接： https://blog.csdn.net/andakiwukawa/article/details/120262706
版权
本文介绍了数据中台的数仓模型，包括ODS、CDM/EDW、ADM各层的定义与功能。数据模型分为ODS原始数据层、DWD明细整合层、DWS高粒度汇总层和ADM应用层。数仓在数据中台的作用是为业务提供定制化数据，并通过调度、监控和元数据管理确保数据质量与时效性。
摘要由CSDN通过智能技术生成

名词解释

一些必须掌握的专有名词

基础层-ODS（Operational Data Store-操作型数据存储）

未经过加工处理的原始数据：记录事实的唯一版本，业务系统产生的原始数据，原封不动的同步到数仓。

中间层-CDM\EDW（Enterprise Data Warehouse-企业级数据仓库，Common Data Model，公共维度模型层）

 数仓核心意义，在中间层进行加工整合。

数据域：数据管理和数据整合的数据抽象集合。数据域相对稳定，主要用于中间层建设。

• dwd-明细整合层

• dws-高粒度汇总层，一般为主题宽表（面向主题）

• dim-维度表

• dwb-基础数据层（ods稍微清洗转化）

应用层-ADM（Application Data Mart-应用数据集市）

ADM 与 CDM 的区别：CDM是公共的，ADM是有些业务部门定制的，只有这个部门会去使用的数据，定制化相关的数据。

数据模型：

数仓模型：数仓中间层管理分类进行设计。

数据表的模型：表结构的设计

算法模型

数仓模型

最低0.47元/天 解锁文章
数仓建模—逻辑数据模型
04-18 6万+
在我们深入研究 LDM 之前，我们先来了解一下什么是数据模型以及数据建模根据IBM 的说法，它是“创建整个信息系统或部分信息系统的可视化表示，以传达数据点和结构之间的连接的过程”。能够可视化数据结构之间的这些关系使组织能够确定哪些业务领域需要改进。数据模型分为三种类型：概念型、逻辑型和物理型。通常，数据架构师和业务相关者是创建概念数据模型的用户。构建这些类型的目的是组织和定义业务概念和规则。它们具有不同类型的子模型，例如语义数据模型和业务数据模型。其实我们在数仓建模—建模流程。
数仓建模—物理数据模型
04-19 6万+
物理数据模型指定如何在数据库中构建数据模型。它概述了所有表结构，包括列名、数据类型、列约束、主键和外键以及相关表列的索引、表之间的关系、存储过程和视图。创建物理数据模型的责任通常由数据库管理员和开发人员承担。信息系统和软件应用程序严重依赖于与物理数据库的交互。物理数据模型需要正确设计和实现。一旦现有应用程序的数据被插入到数据库中，修改物理数据模型就具有挑战性。
数据开发/数仓工程师上手指南(五)CDM-DIM层搭建规范及流程
master_hunter的博客
08-01 1018
CDM层，即Common Data Model层，是数据仓库中的核心层次，它定义了数据仓库中使用的共同数据结构和业务规则。CDM层提供了一个统一的视图，将不同的数据源和数据格式映射到一个通用的模型中，使得数据分析人员可以更容易地进行数据整合和分析。公共维度层（DIM）：基于维度建模理念思想，建立整个企业的一致性维度。降低数据计算口径和算法不统一风险。公共维度层的表通常也被称为逻辑维度表，维度和维度逻辑表通常一一对应。
数据开发/数仓工程师上手指南(六)CDM-DWD层搭建规范及流程
最新发布
master_hunter的博客
08-02 1156
前言这次想聊点出工作技术方面外的内容，DWD该层在写CDM层的时候就提及很多次了大差不差，近期让我感悟较多的话那是那句宁愿犯错也不愿意什么都不做，说这句话如果能够做到，那么执行力也远超过其他人，能力和远见也会在历练中得到充分的成长。但是这也是要区分领域来说，一般我认为这句话的适用程度在自己的技术工作领域上面，可以去尝试换个技术，换个主题或者是从事新的第二事业，而不是在目前大环境下面去犯错，因为现在给你的容错机会极少，凡事还是要注意量与度。好了废话不多说，现在开始DWD层的数据建模。明细粒度事实层（DWD）在
数仓入门基础 - 数仓建模
慢慢来
03-27 1528
      使用hive时很容易接触到数仓建模，数仓建模是一个数仓工程师需要的必备的能力。优秀的分层设计能够让整个数据体系更易理解和使用。想要做数仓，需要补一补数仓分层，才能知道分层的意义。       分层很重要，说一下我的理解。 一、 分层基础 1.理清业务数据  ...
简单搞定数仓搭建:架构与模型设计（一）
github_36444580的博客
07-05 643
技术架构选型 在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。 完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。 数仓分层 我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operatio.
数仓架构实践2：京东四层模型架构
BabyFish13
05-17 7682
京东数仓大致分四层架构 BDM:数据缓冲层，与源系统保持一致，相当于传统数仓的ODS。 FDM:基础数据层，按主题设计，数据融合，存放明细历史数据，相当于传统数仓的EDW。 GDM:通用汇总数据层，明细粒度，可以查询到具体字段信息；数据的预关联，预汇总和预加工；依赖对应用的共性提炼，而不是某个具体应用。 ADM:聚合数据层，应用层。面象应用按需定制。 1：数据缓冲层(BDM) 源业务系统数据的...
数仓建模—数据管理能力成熟度评估模型(DCMM)
05-28 5万+
DCMM是国家标准《GB/T36073-2018 数据管理能力成熟度评估模型》（Data management Capability Maturity Model）的英文简称。DCMM（Data Management Capability Maturity Assessment Model，数据管理能力成熟度评估模型）是我国首个数据管理领域国家标准，将组织内部数据能力划分为八个重要组成部分，描述了每个组成部分的定义、功能、目标和标准。
数仓建模—数据模型
04-18 6万+
在详细探讨数据模型之前，我们需要明确什么是数据。从本质上讲，数据由收集、存储、分析和用于制定未来决策的事实、数字和统计数据组成。在当今的数字世界中，我们不断生成大量此类数据 - 如果它要具有任何功能，就需要以有效的方式进行处理。这就是数据模型的用武之地。数据模型是指用于组织和管理数据库或信息系统中的数据的数据结构的抽象表示。它定义了数据元素（代表现实世界的对象）之间的关系以及它们的组织、存储和检索方式。想象一下数据模型下的构建计划会很有帮助，整个系统将在此基础上构建。
数仓第一篇：基础架构
weixin_43597208的博客
08-08 794
技术选型，传统数仓一般以Oracle、greenplum、teradata 等，互联网数仓一般以Hadoop生态圈为主，离线以Hive为核心，准实时以spark为核心，实时以flink为核心构建。技术选型，传统数仓一般以Oracle、greenplum、teradata 等，互联网数仓一般以Hadoop生态圈为主，离线以Hive为核心，准实时以spark为核心，实时以flink为核心构建。数据安全，可包含以下五方面的内容，即数据的保密性、真实性、完整性、未授权拷贝和所寄生系统的安全性。...
前端模块化，AMD与CMD的区别
德莱问的博客
08-03 5万+
AMD和CMD的区别，require和seajs的用法，CommonJS的规范...
浅析扩散模型与图像生成【应用篇】(二)——ADM
深视
02-29 1583
经过一系列的消融实验，作者发现除了第5个改进点，其他的改进方案都能一定地提升模型的生成能力，实验结果如下表所示。二是提出一种类别引导的条件生成方法，通过在多个数据集上的实验结果表明，改进后的扩散模型无论在无条件生成还是条件生成任务中都取得了媲美甚至超过GAN的性能。如下图所示，由于FID和sFID综合考量了生成样本的保真度和多样性指标（数值越低越好），因此其随着。最后，作者在LSUN和ImageNet两个数据集上，将本文改进的方法ADM与其他基于扩散模型的方法和基于GAN的方法进行了比较，其对比结果如下。
用户画像 各维度表的结构图
あずにゃん梓喵的博客
03-12 9855
个人论坛：日萌社 用户画像 总文章 ======================================== 数据仓库分层： BDM 层（源数据层）：缓冲数据，源数据的直接映射 FDM 层（对 BDM 源数据层的数据进行清洗和预处理）：基础数据层，数据拉链处理、分区处理 GDM 层（对 FDM 层数据 进行统计一些指...
数据仓库和数据集市详解：ODS、DW、DWD、DWM、DWS、ADS
moose_killer的博客
04-04 1万+
数据流向 应用示例 何为数仓DW Data warehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，它是一整套包括了etl、调度、建模在内的完整的理论体系。 数据仓库的方案建设的目的，是为前端查询和分析作为基础，主要应用于OLAP（on-line Analytical Processing），支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。目前行业比较流行的有：AWS Redshift，Greenplum，Hive等。 数据仓库并不是数据的最终目的..
数据分层详解ODS、DWD、DWM、DWS、ADS
qq_38730338的博客
01-27 3万+
详解数仓中的数据分层：ODS、DWD、DWM、DWS、ADS
数据中台专栏（四）：数据中台设计与数据资产管理
chudufan0339的博客
07-16 5722
本文作者：王立飞 袋鼠云大数据解决方案专家。专注于云计算、大数据、企业级技术架构（EA）等领域，在互联网、零售、工业等行业有深入的理解和丰富的从业经验，曾带领项目团队完成中金易云、货币网、固德威等企业级大数据项目交付，擅长行业大数据解决方案的咨询与落地。 正文： 企业的发展，往...
数据仓库中的 ods ,dw,dm分别表示什么？
热门推荐
chenpe32cp的博客
03-06 6万+
版主整理的很详细，容易理解。查看原文，请点击这里 ODS——操作性数据 DW——数据仓库 DM——数据集市 1.数据中心整体架构 数据中心整体架构 数据仓库的整理架构，各个系统的元数据通过ETL同步到操作性数据仓库ODS中，对ODS数据进行面向主题域建模形成DW（数据仓库），DM是针对某一个业务领域建立模型，具体用户（决策层）查看DM生成的报表。 2.数据仓库的ODS、DW...
Pandas第三次作业20200907
Narutolxy的博客
09-07 1739
练习1 • 读取北向.csv 指定第一列为行索引 • 查看数据的基本信息 有无缺失值 对其缺失值进行处理 • 删除缺失值所在行 • 查看数据的基本信息 查看数据是否清洗完毕 • index列没啥用 将index列删除 • 观察数据是否有重复行 • 将重复行进行删除 • 将行索引 进行升序 • 将处理好的数据 保存至 北向(副).csv #！/user/bin/env python #-*-coding: utf-8-*- #@Time : 2020/9/719:53 #@Author
数据架构文档：数仓选型与离线实时数据处理
"数据架构文档，个人备用，希望大家收藏使用，了解数仓的架构和选型，以及如何处理离线和实时数据。" 在IT领域，数据架构文档是至关重要的，它详细描述了如何组织、管理和利用组织内的数据。这份文档通常包含以下几...
写文章

热门文章

  • 数据可视化_EChat 4983
  • 电商销售数据分析(2021/07/27) 4237
  • RMF模型评分制计算方法（2021/08/04） 1379
  • 电影分析案例-分析导演、演员拍电影盈利和票房（2021/07/25） 1241
  • 电影分析案例-电影时长直方图（2021/07/25） 1155

分类专栏

  • 数据可视化 2篇
  • 数据分析案例 8篇
  • 数据产品 10篇
  • java基础 4篇
  • MySql_工作记录
  • Mysql； 3篇
  • python基础 5篇
  • DophinSchedule调研 1篇

最新评论

  • 数据产品_数据中台02_数仓模型和架构

    花音玥: ADM层和ADS层的区别是什么？感觉作用是一样的

  • 电商销售数据分析(2021/07/27)

    ꯭自꯭闭꯭: 数据呢？

  • 对电影时间维度分析的案例-历年电影发展趋势(2021/07/23)

    qq_49267051: 博主你好，请问数据集方便发给我一份吗，我的邮箱2080969773@qq.com

  • 电商销售数据分析(2021/07/27)

    겨울 장미314: 你好我想问一下这些数据是怎么收集的呀？

大家在看

  • 关于我、重生到500年前凭借C语言改变世界科技vlog.8——函数递归
  • C++基础题（一） 372
  • （九）C++类和对象之继承 85
  • 招聘数据分析师，HR会考察候选人哪些方面？
  • 【动态规划】【路径问题】下降路经最小和、最小路径和、地下城游戏 1039

最新文章

  • 数据可视化_EChat
  • 可视化概述
  • 数据产品_运筹帷幄_指标业务分析与应用
2021年32篇

目录

目录

评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值

玻璃钢生产厂家太湖石玻璃钢彩绘雕塑小品南京镜面玻璃钢雕塑厂家供应阿坝玻璃钢花盆厂家马鞍山多彩玻璃钢雕塑多少钱春季绿色商场美陈罗湖玻璃钢雕塑有没有玻璃钢雕塑专用漆惠州雕塑玻璃钢摆件装饰玻璃钢雕塑价格批发云南商场美陈费用深圳玻璃钢雕塑工厂阿里巴巴景观玻璃钢雕塑批发代理金华玻璃钢陶瓷雕塑设计玻璃钢名人雕塑公司湖北匠鑫玻璃钢雕塑海南玻璃钢雕塑价格天津玻璃钢雕塑价位云南玻璃钢马雕塑艺术摆件河南玻璃钢花盆制作沈阳圣诞节商场美陈广东常用商场美陈研发六安玻璃钢雕塑定做圣诞节商场美陈方案玻璃钢雕塑公司艺鑫实力厂家铜陵玻璃钢雕塑销售巢湖玻璃钢鹿雕塑制作山东商场创意商业美陈多少钱深圳常用商场美陈制造申公豹玻璃钢雕塑四川公园玻璃钢雕塑优势香港通过《维护国家安全条例》两大学生合买彩票中奖一人不认账让美丽中国“从细节出发”19岁小伙救下5人后溺亡 多方发声单亲妈妈陷入热恋 14岁儿子报警汪小菲曝离婚始末遭遇山火的松茸之乡雅江山火三名扑火人员牺牲系谣言何赛飞追着代拍打萧美琴窜访捷克 外交部回应卫健委通报少年有偿捐血浆16次猝死手机成瘾是影响睡眠质量重要因素高校汽车撞人致3死16伤 司机系学生315晚会后胖东来又人满为患了小米汽车超级工厂正式揭幕中国拥有亿元资产的家庭达13.3万户周杰伦一审败诉网易男孩8年未见母亲被告知被遗忘许家印被限制高消费饲养员用铁锨驱打大熊猫被辞退男子被猫抓伤后确诊“猫抓病”特朗普无法缴纳4.54亿美元罚金倪萍分享减重40斤方法联合利华开始重组张家界的山上“长”满了韩国人？张立群任西安交通大学校长杨倩无缘巴黎奥运“重生之我在北大当嫡校长”黑马情侣提车了专访95后高颜值猪保姆考生莫言也上北大硕士复试名单了网友洛杉矶偶遇贾玲专家建议不必谈骨泥色变沉迷短剧的人就像掉进了杀猪盘奥巴马现身唐宁街 黑色着装引猜测七年后宇文玥被薅头发捞上岸事业单位女子向同事水杯投不明物质凯特王妃现身！外出购物视频曝光河南驻马店通报西平中学跳楼事件王树国卸任西安交大校长 师生送别恒大被罚41.75亿到底怎么缴男子被流浪猫绊倒 投喂者赔24万房客欠租失踪 房东直发愁西双版纳热带植物园回应蜉蝣大爆发钱人豪晒法院裁定实锤抄袭外国人感慨凌晨的中国很安全胖东来员工每周单休无小长假白宫：哈马斯三号人物被杀测试车高速逃费 小米：已补缴老人退休金被冒领16年 金额超20万

玻璃钢生产厂家 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化