目前很多兄弟初次上手DW项目,都忽视了ETL的环节。
ETL一般在一个数据仓库系统中,要占据60%左右的工作量。
ETL主要要完成以下几个目的:
1、迁移数据,把数据放到几个服务器上绝对不是好方法,对系统的可用性带来很大的影响
2、保证事实表和维度表的关联,通常在生产系统中,事实表和维度表之间并没有FK来保证关联性,虽然我们在DW中一般也不用FK,但是我们要保证关联,否则就会丢失数据
3、建立分档数据和计算数据,不是每个measure和dimension在事实表中都有的,我们需要通过某些公式对各部分数据进行计算才能得到
打印 | 张贴于 2004-06-15 12:09:00 | Tag:暂无标签
留言反馈
我的邮箱是luransh@sohu.com
我的邮箱 nirvana9451@163com
但如果把ETL看做为 数据整理 抽取 导入的话 却又是难点
在实际中,怎么把企业数据理顺 的确很头痛
由于一些历史原因,统计口径原因 企业内部各个部门的数据 可能各自矛盾 做ETL方案时,往往会卷入到该企业的数据标准,财务规范制订中,而对于集团企业,别是对于过去是分散管理的集团公司,还将面对规范各个企业的财务统计口径,以及面对五花八门的子公司系统,如何在短暂的项目时间内 按集团要求将各个子公司业务数据导入到DW中
这些都是困扰我的问题
1、当然是数据转换麻烦,数据接口对ETL开发人员或ETL工具使用者来讲,基本是透明的,而数据的清洗和转换往往又和业务系统有关联,实在是非常麻烦的事情。
2、你是指工具还是概念?
3、不清楚你讲的。ETL在某种程度上可以说-不是技术-仅仅是一个术语。
在OLAP 中,主要是哪几个部分构成的呢?他是将数据直接导给报表设计器吗?
elt技术是贯穿整个数据传输的呢还是仅仅在面对多个数据库系统时进行数据采集的底层工具?
不过,话说回来,ETL重要是重要,却不是难点。
DBW的难点还是如何给不懂技术、只懂业务的用户展现分析结果,
以及如何挖掘出有用的内容。
etl 是数据仓库项目真正的难点.
没有数据还谈什么仓库!!!