NinGoo's blog

往事不会随风-记我的2009

这一年，二零零九，二十九年的记忆朦胧
这一年，不再孤独，惦记回家是一种幸福
这一年，成为房奴，空中楼阁没有交付
这一年，远渡重洋，第一次亲游异国大陆
这一年，调整变化，来如朝露去无踪
这一年，风起云涌，墙内墙外变幻不同
这一年，爬山喝茶，遍走杭城青峰
这一年，二零零九，往事不会飘散随风

使用jpgraph绘制数据库监控图形

对于数据库的监控，可以分成两种类型，一种是实时的错误告警，需要尽快将一些错误信息发送给相关责任人，这更多的属于救火的性质。另外一种就是关键指标历史趋势的展示和分析，可以帮助DBA更加直观的发现数据库的指标的异常波动，提前发现问题。

市面上有不少商品的数据库监控产品，数据库厂商们也在不遗余力的推广自己的解决方案，其中不乏优秀的东西，不过能做到多产品兼容、可扩展伸缩和高度可定制的产品就凤毛麟角了。所以很多公司会自己开发一些数据库监控产品，不求大而全，只要能满足自己的业务需求就足矣。

对于自己开发的轻量级监控产品，使用LAMP等开源产品是比较合适的。数据的抽取和告警的发送，可以使用shell或者perl，几个简单的脚本就可以实现，放在crontab里定期跑跑就行，监控数据库使用MySQL存放，如果需要实现高可用的监控，考虑一下冗余，MySQL可以使用Master-Master Replication。而展示可以使用php等搭建一个简单的web网站，成本不高，效率很高。

对于历史趋势的展示，图形绘制是必须的，一图胜千言。如果使用的是PHP，jpgraph或者是pChart都是不错的选择。相对而言，jpgraph的文档和开发都还在不断的丰富，最新版本3.0.6发布于2009-10-10，而pChart的最新版本则是2008-10-06发布的1.27d，因此建议使用jpgraph。如果使用java来架构监控网站，则anysql的DataReport是值得推荐的一款产品，简单易上手，功能很强大很邪恶。

扯的有点远了，回到这篇文章的标题。jpgraph只是一个图形绘制的库，如果需要比较方便的用于数据库监控中，最好在上面再封装一层，以实现根据SQL语句查询的结果集自动绘制图形，这样可以更方便的做到批量化的增加关键指标的图形展示。另外，jpgraph对于中文的支持，因为使用了truetype字体的关系，有一点点复杂，需要从windows复制c:\windows\fonts\simsun.ttc和c:\windows\fonts\simhei.ttc到linux的/usr/share/fonts/truetype目录。jpgraph默认会将所有的中文转化成UTF8字符，如果数据库和web使用的是gb2312，则这个转化会导致乱码，解决办法是修改jpgraph_ttf.inc.php，注释掉转化部分的代码：

     /*   elseif( $aFF === FF_SIMSUN ) {
            // Do Chinese conversion
            if( $this->g2312 == null ) {
                include_once 'jpgraph_gb2312.php' ;
                $this->g2312 = new GB2312toUTF8();
            }
            return $this->g2312->gb2utf8($aTxt);
        }*/

绘制图形时，在需要使用中文的地方，显式的调用字体设置函数，将字体设置为simsun，即可正确的显示中文：

$graph->title->SetFont(FF_SIMSUN,FS_BOLD);
$graph->title->Set("中文测试");

最后，贴两张用jpgraph绘制的Oracle数据库监控效果图：

NoSQL，关系数据库终结者？

作为一个DBA，几年走过来，工作中历经MS SQL Server 2000/2005，Oracle9i/10g/11g，MySQL5.0/5.1等不同的数据库产品和版本，对于关系型数据库系统(RDBMS)应该说有了一定的了解。从一个数据库切换到另外一个数据库，虽然有些许艰难，却谈不上抗拒，甚至乐意主动去深入了解其他的数据库产品。关系理论的成熟，造就了这三十年来关系数据库在数据领域的绝对地位。

这两年在互联网行业，时间虽然不长，却深切的感受到了一个大型网站真实的压力。随着业务滚雪球式的增长，关系数据库由于对数据一致性的强硬要求(ACID)，在扩展性方面天生不足，可以预见的天花板犹如达摩克利斯之剑，随时可能落下。SQL优化，应用重构，硬件升级，垂直拆分，能用的武器轮番上场，也不过救急于一时。要能做到系统随着网站压力几乎无限制的扩展需求，水平拆分横向扩展是不可避免的终极魔法。过去一年，我们也在一些应用上逐步尝试水平拆分，遇到过各种各样的问题，当然也有很大的收获，积累了很多的经验。MySQL作为开源的关系数据库，也开始得到大规模的应用，毕竟水平拆分后数据库的规模将是指数级的增长，商业数据库如Oracle的成本，是不得不考虑的一个问题。

我们所遇到的问题，相信所有大型的互联网站都会碰到。关系数据库有其不可替代的特性，但是，我们真的所有的数据都需要使用关系数据库么？或许一个简单但是更加容易扩展的key-value存储更能够满足很多互联网应用的数据存储需求，Google和Amazon相继推出BigTable和Dynamo，可以说是在分布式数据库方面一个开荒式的尝试。2009年初，一个叫做NoSQL的组织开始出现并运作，纠集了一支优秀的开源部队想要革了关系型数据库的命，至少是想革了关系型数据库在互联网行业的命。不管NoSQL是不是关系型数据库的终结者，却确确实实在推广一些优秀的开源分布式数据库产品，作为DBA，或许我们是时候花点时间去了解一下这个对手了，不然饭碗丢了可能还不明白是谁抢去了，呵呵。

下面是wikipedia上列出了NoSQL的一些开源项目，有时间应该去了解一下。实际上，淘宝也有在开发并使用自己的一套分布式cache和持久化系统，不知道什么时候也能看到开源版本的出现，呵呵。
* Cassandra
* Chordless
* CouchDB
* Db4o
* GT.M
* Hbase
* Hypertable
* Memcachedb
* Mnesia
* MongoDB
* Neo4j
* Project Voldemort
* Redis

发现有半个月没写blog了，这篇比较水，充一下数。

如何在AIX中编译Perl

AIX默认是不带编译器的，所以如果要自己编译Perl，需要先安装编译器。开源的gcc自然可以算是最佳选择。

在64位平台的AIX中，如果选择使用gcc来编译perl源代码，默认情况下是编译成32位的版本。这样在编译DBD::Oracle的时候也需要选择正确的32位库，否则无法编译成功。也可以选择将Perl编译成64位的，这样在64位平台上应该更方便些，很多依赖库的路径使用默认即可。

编译成32位Perl

$./Configure -des -Dprefix=/opt/perl  -Dcc=gcc
$make && make install

编译成64位Perl

$./Configure -des -Dprefix=/opt/perl  -Dcc='gcc -maix64'
$make && make install

注：gcc在linux下64位编译选项为-m64，在HP-UX下64位编译选项为-mlp64。不同平台下需要编译64位程序，选用不同的选项即可。为了确认编译后的版本，可以使用-V选项运行perl：

$./perl -V
Summary of my perl5 (revision 5 version 10 subversion 1) configuration:

  Platform:
    osname=aix, osvers=5.3.0.0, archname=aix-64all
    uname='aix dbtest 3 5 00cad8cf4c00 '
    config_args='-des -Dprefix=/opt/perl -Dcc=gcc -maix64'
    hint=recommended, useposix=true, d_sigaction=define
    useithreads=undef, usemultiplicity=undef
    useperlio=define, d_sfio=undef, uselargefiles=define, usesocks=undef
    use64bitint=define, use64bitall=define, uselongdouble=undef
    usemymalloc=n, bincompat5005=undef
  Compiler:
    cc='gcc -maix64 -maix64', ccflags ='-D_ALL_SOURCE -D_ANSI_C_SOURCE
-D_POSIX_SOURCE -DUSE_NATIVE_DLOPEN -fno-strict-aliasing -pipe
-maix64 -DUSE_64_BIT_ALL',
    optimize='-O',
    cppflags='-D_ALL_SOURCE -D_ANSI_C_SOURCE -D_POSIX_SOURCE
-DUSE_NATIVE_DLOPEN -fno-strict-aliasing -pipe'
    ccversion='', gccversion='4.2.0', gccosandvers=''
    intsize=4, longsize=8, ptrsize=8, doublesize=8, byteorder=87654321
    d_longlong=define, longlongsize=8, d_longdbl=define, longdblsize=8
    ivtype='long', ivsize=8, nvtype='double', nvsize=8, Off_t='off_t', lseeksize=8
    alignbytes=8, prototype=define
  Linker and Libraries:
    ld='gcc -maix64 -maix64', ldflags =' -Wl,-brtl -Wl,-bdynamic -Wl,-b64'
    libpth=/lib /usr/lib /usr/ccs/lib
    libs=-lbind -lnsl -ldbm -ldl -lld -lm -lcrypt -lc
    perllibs=-lbind -lnsl -ldl -lld -lm -lcrypt -lc
    libc=/lib/libc.a, so=a, useshrplib=false, libperl=libperl.a
    gnulibc_version=''
  Dynamic Linking:
    dlsrc=dl_aix.xs, dlext=so, d_dlsymun=undef,
ccdlflags='-Xlinker -bE:/opt/perl/lib/5.10.1/aix-64all/CORE/perl.exp'
    cccdlflags=' ', lddlflags='  -Wl,-b64 -Wl,-bhalt:4 -Wl,
-G -Wl,-bI:$(PERL_INC)/perl.exp -Wl,
-bE:$(BASEEXT).exp -Wl,-bnoentry -lc -lm'

Characteristics of this binary (from libperl):
  Compile-time options: PERL_DONT_CREATE_GVSV PERL_MALLOC_WRAP USE_64_BIT_ALL
                        USE_64_BIT_INT USE_LARGE_FILES USE_PERLIO
  Built under aix
  Compiled at Dec  1 2009 19:48:22
  @INC:
    /opt/perl/lib/5.10.1/aix-64all
    /opt/perl/lib/5.10.1
    /opt/perl/lib/site_perl/5.10.1/aix-64all
    /opt/perl/lib/site_perl/5.10.1

常用标签： oracle life MySQL Oracle11g blog dba 新特性 oow2009 oow linux

最新评论 | Recent comments

订阅更新 | Subscribe

最近文章 | Recent posts

站点信息 | Statistics