[转帖]Oracle Data Integrator介绍(下)_Hadoop,ERP及大数据讨论区_Weblogic技术|Tuxedo技术|中间件技术|Oracle论坛|JAVA论坛|Linux/Unix技术|hadoop论坛_联动北方技术论坛  
网站首页 | 关于我们 | 服务中心 | 经验交流 | 公司荣誉 | 成功案例 | 合作伙伴 | 联系我们 |
联动北方-国内领先的云技术服务提供商
»  游客             当前位置:  论坛首页 »  自由讨论区 »  Hadoop,ERP及大数据讨论区 »
总帖数
1
每页帖数
101/1页1
返回列表
0
发起投票  发起投票 发新帖子
查看: 4358 | 回复: 0   主题: [转帖]Oracle Data Integrator介绍(下)        下一篇 
masy
注册用户
等级:少校
经验:1234
发帖:182
精华:0
注册:2011-11-4
状态:离线
发送短消息息给masy 加好友    发送短消息息给masy 发消息
发表于: IP:您无权察看 2011-12-3 15:07:57 | [全部帖] [楼主帖] 楼主

由于接口的执行未出现错误,您可以在 Designer 应用程序中导航到目标数据存储并查看加载的数据,如下图所示。

北京联动北方科技有限公司

现在,您已经设置了初始负载,下面可以定义通过先前创建的日志表加载新的和经过更改的数据的接口了。

为此,再创建一个接口,但这次,当您添加 CUSTOMERS 和 ORDERS 源表时,单击表明使用日志记录的数据而非数据存储内容的复选框。为一个日志记录表选择该复选框后,系统将自动为一致集合中的所有其他表选中该复选框,如下图所示。

北京联动北方科技有限公司

将日志记录表添加到接口后,您可以按照与先前完全相同的方式构建接口的其余部分,唯一的区别是,第二个接口以日志记录的数据而非源表内容作为源数据。

要测试第二个接口,您可以将一些新记录插入 ORDERS 和 CUSTOMERS 表,然后使用 Designer 接口来扩展日志窗口;稍后,您将自动扩展该窗口,并将其作为 Oracle Data Integrator 程序包的一部分进行清除。但现在,右键单击 Oracle 数据模型,并从上下文菜单中选择 Changed Data->Consumption->Extend Window,使新的和经过更改的数据的最新集合可用于第二个接口,如下图所示。

北京联动北方科技有限公司

您可以快速检查哪些行在表日志中(右键单击相关的数据存储,选择 Changed Data Capture,然后选择 Journal Data…),也可以执行接口(在编辑器中再次打开它,并单击屏幕右下角的 Execute)。

由于您已经使用所创建的第一个接口将最初的数据集合载入目标数据中心,现在可以创建一个 Oracle Data Integrator 程序包来执行下列步骤:

检查 ORDERS 和 CUSTOMER 日志记录数据,以查看是否已添加新的或经过更改的数据记录。如果检测到预定义数量的日志记录,运行程序包的其余部分或跳到最后一步,无需加载任何数据。
如果检测到日志记录数据,扩展日志窗口。
执行该接口,以读取日志记录数据,将其与文件联合,并加载目标数据存储。
清除日志窗口。
再次启动该程序包。
创建该程序包然后将其作为 Oracle Data Integrator 案例部署可有效地创建一个实时、连续运行的 ETL 过程。使用 Oracle Data Integrator 的事件检测功能,该程序包将在检测到预先设置的更改数据记录数或经过指定的毫秒数后自行启动。通过为日志记录数据的数量和超时设置相应的阈值,您可以创建一个延迟最小的实时集成过程。

要创建该程序包,导航到 Designer 应用程序的 Projects 选项卡,找到包含您先前定义的接口的文件夹,找到 Packages 项,右键单击该项,然后选择 Insert Package。为该程序包指定一个名称,然后导航到程序包详细信息对话框的 Diagram 选项卡。

使用右侧的工具箱,转至 Event Detection 文件夹并将 OdiWaitForLogData 工具添加到程序包画布中,如下图所示。该工具将定期轮询日志记录数据,如果未找到任何行,该工具将失败,如果在日志中检测到预先设置的行数,该工具将进入程序包的下一个步骤。

北京联动北方科技有限公司

您可以将工具属性设置为检查先前定义的更改数据捕获集合,并在发现 3 个日志行或检查开始一分钟后退出。

现在,您可以添加一个扩展日志窗口以读入新数据的步骤。为此,导航到模型列表,并将 Oracle 模型拖放到画布上。选择该模型,查看属性,然后将 Model Type 列表更改为 Journalizing Model,如下图所示。

北京联动北方科技有限公司

然后,单击 Extend Window 复选框,以表明该日志步骤将扩展日志窗口。

接下来,将从日志提取数据的接口添加到映射,然后将 Oracle 模型再次添加到程序包中,但这次选择 Purge Window 选项,以便在读取日志后将其清除。最后,将 Utilities 文件夹中的 OdiStartScen 工具添加到工具箱,以便在其完成后再次重启,您还可以添加显示步骤流程的连接器(如下图所示),具体取决于第一个步骤是否检测到日志行。

北京联动北方科技有限公司

由于最后的 OdiStartScen 步骤指的是程序包生产版本中的情况,您可以在 Designer 应用程序的 Project 选项卡中找到要使用的程序包,右键单击该程序包,并选择 Generate Scenario。创建了案例之后,您可以编辑 OdiStartScen 步骤的属性,使其引用您刚刚生成的案例名称。将这最后一步添加到程序包之后,您就可以确保它连续运行,并以实时方式将 Oracle 源表中新的和经过更改的数据传播到目标数据库。

总结
Oracle Data Integrator 是 Oracle 融合中间件产品系列的一个新成员,您可以利用它跨众多平台执行面向数据、事件和服务的集成。它对 Oracle Warehouse Builder 进行了补充,并为特定于 Oracle 数据库的功能(例如,批量数据加载和 Oracle 更改数据捕获)提供了图形界面。本文探究了如何使用 Oracle Data Integrator 跨不同的平台创建实时数据集成过程,还探究了集成过程的声明式方法,该方法可让您集中精力定义业务规则,而不用考虑实现细节。

Mark Rittman [http://www.rittmanmead.com/blog] 是一位 Oracle ACE,并且是 Rittman Mead Consulting 的创始人之一,Rittman Mead Consulting 是 Oracle 的专业合作伙伴,总部设在英国,并致力于 Oracle 商务智能和数据仓库。他定期向 OTN 和 OTN 论坛投稿,并且是 Oracle Press 即将在 2008 年出版的《Oracle 商务智能套件开发人员指南》一书的作者之一。




赞(0)    操作        顶端 
总帖数
1
每页帖数
101/1页1
返回列表
发新帖子
请输入验证码: 点击刷新验证码
您需要登录后才可以回帖 登录 | 注册
技术讨论