etl是什么文件 etl是什么( 二 )

在公司的大量数据堆积如山时，我们想看看里面究竟是什么，结果发现里面是一笔笔生产记录，一笔笔交易记录… 那么这些记录是我们将要建立的事实表的原始数据，即关于某一主题的事实记录表。
我们的做法是将原始表与维度表进行关联，生成事实表（图六：pic6.jpg）。注意在关联时有为空的数据时（数据源脏），需要使用外连接，连接后我们将各维度的代理键取出放于事实表中，事实表除了各维度代理键外，还有各量度数据，这将来自原始表，事实表中将存在维度代理键和各量度，而不应该存在描述性信息，即符合“瘦高原则”，即要求事实表数据条数尽量多（粒度最小），而描述性信息尽量少。
如果考虑到扩展，可以将事实表加一唯一标识列，以为了以后扩展将该事实作为雪花型维度，不过不需要时一般建议不用这样做。
事实数据表是数据仓库的核心，需要精心维护，在JOIN后将得到事实数据表，一般记录条数都比较大，我们需要为其设置复合主键和索引，以为了数据的完整性和基于数据仓库的查询性能优化，事实数据表与维度表一起放于数据仓库中，如果前端需要连接数据仓库进行查询，我们还需要建立一些相关的中间汇总表或物化视图，以方便查询。
ETL中高级技巧的运用1.准备区的运用在构建数据仓库时，如果数据源位于一服务器上，数据仓库在另一服务器端，考虑到数据源Server端访问频繁，并且数据量大，需要不断更新，所以可以建立准备区数据库（图七：pic7.jpg）。先将数据抽取到准备区中，然后基于准备区中的数据进行处理，这样处理的好处是防止了在原OLTP系统中中频繁访问，进行数据运算或排序等操作。例如我们可以按照天将数据抽取到准备区中，基于数据准备区，我们将进行数据的转换，整合，将不同数据源的数据进行一致性处理。数据准备区中将存在原始抽取表，一些转换中间表和临时表以及ETL日志表等。
2.时间戳的运用时间维度对于某一事实主题来说十分重要，因为不同的时间有不同的统计数据信息，那么按照时间记录的信息将发挥很重要的作用。在ETL中，时间戳有其特殊的作用，在上面提到的缓慢变化维度中，我们可以使用时间戳标识维度成员；在记录数据库和数据仓库的操作时，我们也将使用时间戳标识信息，例如在进行数据抽取时，我们将按照时间戳对OLTP系统中的数据进行抽取，比如在午夜0：00取前一天的数据，我们将按照OLTP系统中的时间戳取GETDATE到 GETDATE减一天，这样得到前一天数据。
3.日志表的运用在对数据进行处理时，难免会发生数据处理错误，产生出错信息，那么我们如何获得出错信息并及时修正呢? 方法是我们使用一张或多张Log日志表，将出错信息记录下来，在日志表中我们将记录每次抽取的条数，处理成功的条数，处理失败的条数，处理失败的数据，处理时间等等，这样当数据发生错误时，我们很容易发现问题所在，然后对出错的数据进行修正或重新处理。
4.使用调度在对数据仓库进行增量更新时必须使用调度（图八：pic8.jpg），即对事实数据表进行增量更新处理，在使用调度前要考虑到事实数据量，需要多长时间更新一次，比如希望按天进行查看，那么我们最好按天进行抽取，如果数据量不大，可以按照月或半年对数据进行更新，如果有缓慢变化维度情况，调度时需要考虑到维度表更新情况，在更新事实数据表之前要先更新维度表。
调度是数据仓库的关键环节，要考虑缜密，在ETL的流程搭建好后，要定期对其运行，所以调度是执行ETL流程的关键步骤，每一次调度除了写入Log日志表的数据处理信息外，还要使用发送Email或报警信息等，这样也方便的技术人员对ETL流程的把握，增强了安全性和数据处理的准确性。
ETL构建数据仓库需要简单的五步，掌握了这五步的方法我们将构建一个强大的数据仓库，不过每一步都有很深的需要研究与挖掘，尤其在实际项目中，我们要综合考虑，例如如果数据源的脏数据很多，在搭建数据仓库之前我们首先要进行数据清洗，以剔除掉不需要的信息和脏数据。
总之，ETL是数据仓库的核心，掌握了ETL构建数据仓库的五步法，就掌握了搭建数据仓库的根本方法。不过，我们不能教条，基于不同的项目，我们还将要进行具体分析，如父子型维度和缓慢变化维度的运用等。在数据仓库构建中，ETL关系到整个项目的数据质量，所以马虎不得，必须将其摆到重要位置，将ETL这一大厦根基筑牢。

etl是什么文件 etl是什么( 二 )

推荐阅读