以前没有注意到日志文件这个东西,直到这几天做数据清洗转换.我们的事实表和维度表德数据量大概是1500万左右,早先转换失败一次,是因为转换的数据不对,所以就把数据表删除,再在原有的数据库上转.而在第一次转换完成后,发现日志文件已经达到7个g了,想一想我的数据库文件伸缩后才不到1g啊,难道在IS的时候每次每转一条记录都要对应一条日志不成?可怕的是在第二次转换,刚过一半的时候就提示硬盘空间不足,发现日志文件已经12g了,可怕啊,但是IS还没我完成,于是马上挪文件给它腾地方.
日志文件对于数据仓库我真不知道到底有什么用,因为我只想ETL啊,昨天在网络上搜索一下,日志文件有几个清空的方案,但似乎也有一定的风险,我试着把数据文件单独分离出来然后附加到笔记本上,顺利.
看来等ETL过后是要考虑一下这个日志文件了,这要是海量数据的话,会被其抢去多少硬盘资源.
