怡红公子

无我原非你.从他不解伊.肆行无碍凭来去.茫茫着甚悲愁喜,纷纷说甚亲疏密.从前碌碌却因何,到如今.回头试想真无趣
随笔 - 48, 评论 - 529, 引用 - 42

导航

每月存档

最新留言

广告

 

目前很多兄弟初次上手DW项目,都忽视了ETL的环节。

ETL一般在一个数据仓库系统中,要占据60%左右的工作量。

ETL主要要完成以下几个目的:

1、迁移数据,把数据放到几个服务器上绝对不是好方法,对系统的可用性带来很大的影响

2、保证事实表和维度表的关联,通常在生产系统中,事实表和维度表之间并没有FK来保证关联性,虽然我们在DW中一般也不用FK,但是我们要保证关联,否则就会丢失数据

3、建立分档数据和计算数据,不是每个measure和dimension在事实表中都有的,我们需要通过某些公式对各部分数据进行计算才能得到

打印 | 张贴于 2004-06-15 12:09:00 | Tag:暂无标签

留言反馈

#回复: ETL在数据仓库系统中的重要性,Zee记得来看看 编辑
大家好像都不屑用微软的integration services
2008-02-19 16:43:00 | [匿名:FF]
#回复: ETL在数据仓库系统中的重要性,Zee记得来看看 编辑
现在有一个SYNCSORT公司的产品可以解决ETL过程中数据的清晰和排序,速度可以提高80%.有兴趣联系qtyhyyf@hotmail.com
2007-09-03 21:33:00 | [匿名:emma]
#re: ETL在数据仓库系统中的重要性,Zee记得来看看 编辑
各位大虾,小弟也是初学ETL,所以很多东西需要学习,希望大家能给点意见和参考信息.谢谢.21dongdong@163.com
2006-11-01 11:11:00 | [匿名:tt]
#re: ETL在数据仓库系统中的重要性,Zee记得来看看 编辑
我是一个刚刚接触ETL方面的新手,能否推荐一下好的书籍,谢谢
我的邮箱是luransh@sohu.com
2006-08-28 12:40:00 | [匿名:流亡]
#re: ETL在数据仓库系统中的重要性,Zee记得来看看 编辑
小弟初学bi 请各位推荐一些etl方面的书籍,谢谢
我的邮箱 nirvana9451@163com
2006-02-22 11:10:00 | [匿名:Nas]
#re: ETL在数据仓库系统中的重要性,Zee记得来看看 编辑
上面的大哥说的对,ETL真的很麻烦,我们在做BI项目的时候就遇到了这样的事情,在所谓比较好的优秀的ETL工具INFORMATAICA的时候,发现这个工具真的是不好用,竟然对于UPDATE的数据要求做全表对照,我靠,我直接杀比了,一个表几千万条数据,带宽只有2M,竟然让我做全表对照,他们说工具就是这样,没办法,对于DELETE的就更没有办法了,真不知道这样的工具在别的地方是怎么用,所以,看看各位大哥有没有对与增量数据的办法呢?望指教小弟一下
2006-01-20 16:23:00 | [匿名:真的是很麻烦]
#re: ETL在数据仓库系统中的重要性,Zee记得来看看 编辑
ETL 从数据导入的角度来说不是难点
但如果把ETL看做为 数据整理 抽取 导入的话 却又是难点
在实际中,怎么把企业数据理顺 的确很头痛
由于一些历史原因,统计口径原因 企业内部各个部门的数据 可能各自矛盾 做ETL方案时,往往会卷入到该企业的数据标准,财务规范制订中,而对于集团企业,别是对于过去是分散管理的集团公司,还将面对规范各个企业的财务统计口径,以及面对五花八门的子公司系统,如何在短暂的项目时间内 按集团要求将各个子公司业务数据导入到DW中
这些都是困扰我的问题
2005-08-20 21:06:00 | [匿名:york]
#re:ETL在数据仓库系统中的重要性,Zee记得来看看 编辑
ETL在数据仓库系统中的重要性,Zee记得来看看ooeess
2005-06-15 22:06:00 | [匿名:测汞]
#re:ETL在数据仓库系统中的重要性,Zee记得来看看 编辑
^_~,pretty good!csharpsseeoo
2005-05-17 15:33:00 | [匿名:温湿度表]
#re:ETL在数据仓库系统中的重要性,Zee记得来看看 编辑
^_^,Pretty Good!
2005-04-16 03:56:00 | [匿名:智能后备操作器]
#re:ETL在数据仓库系统中的重要性,Zee记得来看看 编辑
^_^,Pretty Good!
2005-04-10 20:04:00 | [匿名:NKS压力表]
#re: ETL在数据仓库系统中的重要性,Zee记得来看看 编辑
数据仓库中的难点是你不知道将来别人想要什么信息? 解决之道只有用更多的时间去了解公司的业务. ETL 仅仅是一个"工具".
2004-08-14 11:59:00 | [匿名:宋磊]
#re: ETL在数据仓库系统中的重要性,Zee记得来看看 编辑
to 桂菲蓝:
1、当然是数据转换麻烦,数据接口对ETL开发人员或ETL工具使用者来讲,基本是透明的,而数据的清洗和转换往往又和业务系统有关联,实在是非常麻烦的事情。
2、你是指工具还是概念?
3、不清楚你讲的。ETL在某种程度上可以说-不是技术-仅仅是一个术语。
2004-08-10 15:02:00 | [匿名:bug]
#re: ETL在数据仓库系统中的重要性,Zee记得来看看 编辑
elt主要是接口开发麻烦还是数据转换麻烦?-针对多个异构系统的时候
在OLAP 中,主要是哪几个部分构成的呢?他是将数据直接导给报表设计器吗?
elt技术是贯穿整个数据传输的呢还是仅仅在面对多个数据库系统时进行数据采集的底层工具?
2004-08-09 16:27:00 | [匿名:桂菲蓝]
#re: ETL在数据仓库系统中的重要性,Zee记得来看看 编辑
ETL不是最难的,难得是业务.
2004-08-04 21:47:00 | [匿名:bug]
#回复: ETL在数据仓库系统中的重要性,Zee记得来看看 编辑
同意。
不过,话说回来,ETL重要是重要,却不是难点。

DBW的难点还是如何给不懂技术、只懂业务的用户展现分析结果,
以及如何挖掘出有用的内容。
2004-06-29 13:23:00 | [匿名:superhasty]
#呵呵 编辑
签到
2004-06-18 15:16:00 | [匿名:Emory.Tang]
#回复: ETL在数据仓库系统中的重要性,Zee记得来看看 编辑
签到,Hehe.

2004-06-16 08:44:00 | [匿名:Zee]
#回复: ETL在数据仓库系统中的重要性,Zee记得来看看 编辑
老大讲的很对.
etl 是数据仓库项目真正的难点.
没有数据还谈什么仓库!!!
2004-06-15 14:06:00 | [匿名:红顺]
对不起,目前本随笔不允许发表新评论.

Powered by: Joycode.MVC引擎 0.5.2.0