关于Change Data Capture（二）

在关于Change Data Capture（一）中介绍了CDC的一些基本概念和类型。这篇文章主要是通过一个实际的例子来演示实现同步模式的CDC的基本步骤。

一.版本

SYS@ning>select * from v$version;

BANNER
-------------------------------------------------------------------------
Oracle Database 10g Enterprise Edition Release 10.2.0.3.0 - Prod
PL/SQL Release 10.2.0.3.0 - Production
CORE 10.2.0.3.0 Production
TNS for 32-bit Windows: Version 10.2.0.3.0 - Production
NLSRTL Version 10.2.0.3.0 - Production

[继续阅读全文]

Posted by NinGoo at 2007-07-10 10:26 | 『数据库』 | 4 Comments »

关于Change Data Capture（一）

一、概述

CDC(Change Data Capture)是oracle在数据库级别实现的增量抽取解决方案。在一般的ETL过程中，对于增量抽取，无非是在数据上加时间截，全记录比对，关键字段比对，日志分析抽取等几种方法，要么需要修改原表结构，要么需要大量的算法，要么借助第三方的工具实现。Oracle从9i开始引入的CDC特性，使得有机会在数据库层面上直接实现增量抽取功能，在性能方面由于和数据库引擎的直接集成，比第三方工具应该具有一定的优势。

CDC有两个模式：同步和异步。两种模式的实现机制是截然不同的。同步CDC主要是采用触发器记录新增数据，基本能够做到实时增量抽取。而异步CDC则是通过分析已经commit的日志记录来得到增量数据信息，有一定的时间延迟，并且提供了到Oracle Streams的接口。同步CDC在企业版或者标准版中都可以使用，异步CDC则只包含在企业版中。注意CDC在9i和10g中有了比较大的改变，异步CDC主要采用了和Streams相同的技术。

CDC中将系统分为两个角色：发布者和订阅者。发布者主要负责捕获增量数据，订阅者则将增量数据传递给实际应用。这些任务都可以通过oracle提供的PL/SQL包实现。
[继续阅读全文]

Posted by NinGoo at 2007-07-09 15:05 | 『数据库』 | 2 Comments »

关于Oracle Companion CD

Oracle10g数据库的安装程序只需要一张光盘，而不是像9i一样有三张光盘。只一张光盘只包括了核心的数据库功能，还有一些辅助功能则包含在一张叫做Companion CD的光盘中，在Oracle官方网站上也提供单独下载，目前已经有windows(说为for vista的，其实xp等其他windows32位系统也是可用的)平台的10.2.0.3可以下载到：http://www.oracle.com/technology/software/products/database/oracle10g/htdocs/10203vista.html

Companion CD解压后大概660M，主要包括三部分内容：

[继续阅读全文]

Posted by NinGoo at 2007-07-06 14:02 | 『数据库』 | 3 Comments »

Processes参数设置过小导致错误

如果初始化参数processes设置过小，新的连接请求将无法接入，而一些backgroup process也将出现错误，比如新的job queue process将无法创建。

alertSID.log中可以发现类似下面的错误记录：

Thu Jul 05 19:58:37 2007
Process J000 died, see its trace file
Thu Jul 05 19:58:37 2007
kkjcre1p: unable to spawn jobq slave process
Thu Jul 05 19:58:37 2007
Errors in file g:\database\admin\XXX\bdump\xxx_cjq0_2336.trc:

Thu Jul 05 20:00:56 2007
Process m001 died, see its trace file
Thu Jul 05 20:00:56 2007
ksvcreate: Process(m001) creation failed

我在Oracle10.2.0.3的测试中，发现如果当前系统中的process数目已经达到初始化参数processes-1以后，新的sqlplus连接将报告连接到空闲实例：

E:\>sqlplus /nolog

SQL*Plus: Release 10.2.0.3.0 - Production on Fri Jul 6 09:53:48 2007

Copyright (c) 1982, 2006, Oracle. All Rights Reserved.

@>conn / as sysdba
Connected to an idle instance.