博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
continuous integration and continuous deployment in DW/BI
阅读量:6713 次
发布时间:2019-06-25

本文共 921 字,大约阅读时间需要 3 分钟。

Deployment method

In Redshift

1, Deploy process: Drop and Refresh the view, Drop table, Create an empty table using the DDL

2, Build data: Insert the data to table from the view

In Netezza

1, Deploy process: Drop all the existing tables, Refresh the view and create the an empty table for that view
2, Build data: Create the table with data(CTAS from view), replace the empty table with the new table

When building data, the scripts will first create an table with an incoming suffix, then do some data validation, if all passed, then replace the empty target table with the incoming table.

Automation method

Basically there are have two process in the DW stage: 

1, load data from DB2 to Redshift

2, Refresh objects in Redshift(DMA job)

Currenlty, Use Jenkins as the automation tool to call all the shell scripts, and use Jenkins pipeline to get Jenkins jobs automated.

转载于:https://www.cnblogs.com/davablog/p/6266476.html

你可能感兴趣的文章
怎么理解impala(impala工作原理是什么)
查看>>
ES doc_values的来源,field data——就是doc->terms的正向索引啊,不过它是在查询阶段通过读取倒排索引loading segments放在内存而得到的?...
查看>>
关于Linux虚拟化技术KVM的科普 科普三(From OenHan)
查看>>
19:字符串移位包含问题
查看>>
怎么部署 .NET Core Web项目 到linux
查看>>
jQuery学习目录
查看>>
CURL详解
查看>>
OCILIB开源的C/C++ Oracle驱动
查看>>
Mybatis学习总结(九)——查询缓存
查看>>
H-ui前端框架
查看>>
Atitit easyui翻页组件与vue的集成解决方案attilax总结
查看>>
大佬的产品公布会为何齐聚798
查看>>
POJ 1465 Multiple (BFS,同余定理)
查看>>
ubuntu16中遇到libgstreamer-0.10.so.0缺失解决方案
查看>>
Linux关闭Tomcat为什么要用Kill,而不是shutdown.sh
查看>>
JAVA Eclipse的Android的进程和生命周期是什么
查看>>
Python的Django框架中的Context使用
查看>>
spark join
查看>>
HDU 1542 Atlantis (线段树 + 扫描线 + 离散化)
查看>>
linux 添加静态路由
查看>>