雅书阁

手机浏览器扫描二维码访问

第326章 夜宵!(第3页)

Y是指每次抽取前先删除目标表

数据Y抽取时全新加载数据该方式实际上将增量抽取等同于全量

抽取对于数据量不大Y全量抽取的时间代价小于执行增量抽取的

算法和条件代价时Y可以采用该方式。

这种方式的优点是对已有系统表结构不产生影响Y不需要修改业务

操作程序Y所有抽取规则由ETL完成Y管理维护统一Y可以实现数

据的递增加载Y没有风险

缺点是ETL比对较复杂Y设计较为复杂Y速度较慢与触发器和时

间戳方式中的主动通知不同Y全表比对方式是被动的进行全表数据

的比对Y性能较差当表中没有主键或唯一列且含有重复记录时Y

全表比对方式的准确性较差。

日志比对的方式是通过获取数据库层面的日志来捕获到变化的数据Y

不需要改变源业务系统数据库相关表结构Y数据同步的效率比较高Y

同步的及时性也比较快Y最大的问题就是不同数据库的日志文件结

构存在较大的差异性Y实施分析起来难度比较大Y同时Y需要具备

访问源业务库日志表文件的权限Y存在一定的风险性Y所以这种方

式有很大的局限性。

日志比对方式中比较成熟的技术是CDC(ChangeDataCapture)技术Y

作用同样是能够捕获到上一次抽取之后产生的相关变化数据Y当

CDC对源业务表进行新增更新和删除等相关操作的时就可以捕获

到相关变化的数据Y相对于增量字段方式YCDC方式能够较好地捕

获到删除数据Y并写入相关数据库日志表Y然后再通过视图或者别

的某种可操作的方式将捕获到的变化同步到数据仓库当中去。

这种方式的优点是ETL同步效率较高Y不需要修改业务系统表结构Y

可以实现数据的递增加载缺点是业务系统数据库版本与产品不统

一Y难以统一实现Y实现过程相对复杂Y并且需深入研究方能实现

这种方式也通过第三方工具实现Y但是Y一般都是商业软件Y费用

较高。

热门小说推荐
艳路权途

艳路权途

苏自坚被调到偏僻乡镇当粮库管理员,却从一名老道士那里获得传承,不仅学的无上医术,更拥有了强悍的体魄!一次车祸中,他意外救下女领导得到赏识,于是从最基层开始起步,在官场之中左右逢源,步步青云,终于踏上人生巅峰!...

决胜天路唐逸苏雅楠

决胜天路唐逸苏雅楠

镇政府门外,一辆黑色帕萨特轿车径直停在了楼门口,从轿车上下来一位年纪大约四十岁上下的妇女来,穿着一身黑色的西装,脚蹬一双曾明瓦亮的黑皮鞋,猛一看,以为是男人呢,仔细一看,脖子里系着一条淡花色的丝巾,才知道是一个干练的女人。...

斗罗之天使与骑士

斗罗之天使与骑士

一代神王唐三,重生回到三神之战时期,以图与妻子再续前缘,只是这个斗罗怎么跟他经历过的有亿点点不一样不过这都是小问题,唐三相信以自己的智慧和天赋完全镇得住场子。直到,一个金发骑士姬站在了他的面前。神王是吧?冰清玉洁是吧?创死他!克利希娜!...

电影世界交换师

电影世界交换师

怎么样才能阻止爆炸呢?当李诗情不知如何做的时候,遇到了林枫。我可以帮你,但你拿什么来换?第一次当交换师的林风还没有多少经验,所以他直接错误的来到了赵公子的面前。来都来了,打一顿再走吧。林枫抄起了啤酒瓶淡淡的说道你特么也配姓赵?...

我导演了玄武门事变

我导演了玄武门事变

武德七年。轰动大唐的太子李建成与并州杨文干密谋谋反一案,以一个李世民怎么也想不到的结局收场。太极殿上的那把龙椅似乎越来越遥远了。救贫先生,你看我此生,还能更进一步吗?李世民目中带着渴望之色,望着徐风雷。徐风雷微微一笑,伸出手掌道∶若殿下独自打拼,胜负在五五之数。若先生帮我呢?李世民一脸期待,我愿奉先生...

官婿升途

官婿升途

父亲惨死,林易放弃挚爱的初恋入赘陈家,他发誓一定要爬到权力的巅峰,调查出当年的真相!...

每日热搜小说推荐