NinGoo's blog

如何让Perl脚本同时只运行一个实例

用Perl写了一些监控脚本，放在crontab中调度执行。有时候会发现一个脚本运行时间过长，会同时跑起多个实例，因此有必要为脚本加上控制，只运行一个实例运行。

最简单自然的想法，在脚本中检查并创建一个空的lock文件，脚本结束时再删除。通过判断文件是否存在的方式来判断脚本是否已经运行。不过这样做有个bug，如果脚本运行过程中异常终止，lock文件没有正常删除，就会导致脚本无法再运行。

空的lock文件不行，那么考虑在lock文件中加入一点内容，比如进程的PID号，然后通过检查该PID号的进程是否还在运行，就能避免上述bug了。在CPAN上有很多现成的模块能够完成上述功能，如File::Lockfile， File::Pid， Proc::PID::File 等。

下面是File::Lockfile的一个示例，非常简单：

#!/usr/bin/perl -w
use File::Lockfile;
# lock文件位于/tmp目录，名为test_file_lock.lck
my $lockfile = File::Lockfile->new('test_file_lock','/tmp');
# 检查脚本是否已经运行，如已运行则退出
if ( my $pid = $lockfile->check ) {
  print "program is already running with PID: $pid";
  exit;
}
#更新lock文件
$lockfile->write;
# 脚本逻辑
sleep 30
#删除lock文件
$lockfile->remove;

通过查看File/Lockfile.pm的源代码可以看到，判断lock文件中记录的进程是否已经运行，简单的通过kill 0,$pid即可实现。所以即使不用上述模块，自己实现也是非常容易的。

Perl自定义模块的路径包含问题

Perl模块是重用代码的好方法，但是在调用自定义模块时的路径问题困扰了我许久。之前一直都是通过在代码中直接将自定义模块所在的绝对路径写入到@INC数组来解决的，以下示例，加入perl脚本放置在/opt/perl/bin，而自定义模块放在/opt/perl/lib目录：

BEGIN {
    push (@INC,'/opt/perl/lib');
}

或者

BEGIN {
    unshift @INC,'/opt/perl/lib';
}

或者

 use lib '/opt/perl/lib';

使用绝对路径比较麻烦，如果将程序迁移到另外的安装目录，就需要去更改所有的脚本。而直接在use lib中使用相对路径，如use lib ‘../lib’;，测试发现手动执行bin目录下的perl脚本是可以的，但是放到crontab里去跑就找不到模块了。于是想先找到bin目录的路径，然后通过相对路径跳转到lib目录，在《Perl Cookbook》终于找到了我想要的，使用FindBin模块就能实现梦想了：

use FindBin qw($Bin);
use lib "$Bin/../lib";

遭遇MySQL Replication Fatal Error 1236

一套Master-Master Replication的MySQL集群，版本5.1.37。其中一个节点A出现OS异常重启，数据库启动后表现正常。但是没过多久另外一个节点B报错：

091127 21:50:21 [ERROR] Error reading packet from server: Client requested master to start replication
from impossible position ( server_errno=1236)
091127 21:50:21 [ERROR] Got fatal error 1236: 'Client requested master to start replication
from impossible position' from master when reading data from binary log
091127 21:50:21 [Note] Slave I/O thread exiting, read up to log 'mysql-bin.000535', position 193022771

Slave_IO_Running线程终止。仔细看上面的报错信息，说slave进程试图从mysql-bin.000535日志的position 193022771开始启动恢复，但是该日志中是没有这个position的。

跑到A上通过mysqlbinlog查看该日志，发现最后一个有效position是193009460。而要求的193022771已经大于最后有效的position了。这个原因就搞不明白了，难道是因为A库异常关闭后导致A节点的binlog没有来得及刷到磁盘，而B节点slave已经恢复到前面去了？

$mysqlbinlog mysql-bin.000535 > 1.txt

$tail -n 7 1.txt
# at 193009460
#091127 20:50:21 server id 1  end_log_pos 193009487     Xid = 194299849
COMMIT/*!*/;
DELIMITER ;
# End of log file
ROLLBACK /* added by mysqlbinlog */;
/*!50003 SET COMPLETION_TYPE=@OLD_COMPLETION_TYPE*/;

尝试将B节点change master到最后一个有效的position处，问题暂时得到解决：

change master to master_log_file='mysql-bin.000535', master_log_pos=193009460

网上搜索了一把，发现logzgh之前也碰到过同样的问题，版本是5.0.51。

使用BBED帮助理解Oracle数据块结构

BBED是Oracle提供的块编辑器，借助BBED，可以帮助我们更好的理解Oracle的Block的结构。当然，反过来说，也只有更加理解块的结构，才能更好的利用BBED完成某些特殊情况下的灾难恢复。

Oracle Data Block的结构简图如下，其中从Data header到Row Data部分合称Data Layer:

---------------------
- Cache Layer       -
---------------------
- Transaction Layer -
---------------------
- Data Header       -
---------------------
- Table Directory   -
---------------------
- Row Directory     -
---------------------
- Free Space        -
---------------------
- Row Data          -
---------------------
- Tailchk           -
---------------------

通过bbed的map命令，可以看到数据块内部的一些数据结构名：

BBED> map
 File: /u01/oracle/oradata/dbmon/system.dbf (1)
 Block: 31729                                 Dba:0x00407bf1
------------------------------------------------------------
 KTB Data Block (Table/Cluster)
 struct kcbh, 20 bytes                      @0
 struct ktbbh, 72 bytes                     @20
 struct kdbh, 14 bytes                      @92
 struct kdbt[1], 4 bytes                    @106
 sb2 kdbr[336]                              @110
 ub1 freespace[821]                         @782
 ub1 rowdata[6585]                          @1603
 ub4 tailchk                                @8188

Cache Layer：Block的第一部分，长度为20字节，内部数据结构名为kcbh，包括
type_kcbh:块类型(table/index,rollback segment,temporary segment等)
frmt_kcbh:块格式(v6,v7,v8)
rdba_kcbh:块地址DBA
bas_kcbh/wrp_kcbh:SCN
seq_kcbh:块的序列号
flg_kcbh:块的标志

BBED> p kcbh
struct kcbh, 20 bytes                       @0
   ub1 type_kcbh                            @0        0x06
   ub1 frmt_kcbh                            @1        0xa2
   ub1 spare1_kcbh                          @2        0x00
   ub1 spare2_kcbh                          @3        0x00
   ub4 rdba_kcbh                            @4        0x00407bf1
   ub4 bas_kcbh                             @8        0xd6449de8
   ub2 wrp_kcbh                             @12       0x0595
   ub1 seq_kcbh                             @14       0x03
   ub1 flg_kcbh                             @15       0x04 (KCBHFCKV)
   ub2 chkval_kcbh                          @16       0x9130
   ub2 spare3_kcbh                          @18       0x0000
  

Transaction Layer：内部结构名kcbbh。分成两部分，第一部分为固定长度，长度为24字节，包含事务相关的一些基本信息。第二部分为可变长度，包含itl，长度根据itl条目的个数变化，每个itl长度为24字节，内部结构名ktbbhitl。

BBED> p ktbbh
struct ktbbh, 72 bytes                      @20
   ub1 ktbbhtyp                             @20       0x01 (KDDBTDATA)
   union ktbbhsid, 4 bytes                  @24
      ub4 ktbbhsg1                          @24       0x000050fc
      ub4 ktbbhod1                          @24       0x000050fc
   struct ktbbhcsc, 8 bytes                 @28
      ub4 kscnbas                           @28       0xd6449de7
      ub2 kscnwrp                           @32       0x0595
   b2 ktbbhict                              @36       2
   ub1 ktbbhflg                             @38       0x02 (NONE)
   ub1 ktbbhfsl                             @39       0x00
   ub4 ktbbhfnx                             @40       0x00000000
   struct ktbbhitl[0], 24 bytes             @44
      struct ktbitxid, 8 bytes              @44
         ub2 kxidusn                        @44       0x0008
         ub2 kxidslt                        @46       0x000c
         ub4 kxidsqn                        @48       0x0000e991
      struct ktbituba, 8 bytes              @52
         ub4 kubadba                        @52       0x0080222e
         ub2 kubaseq                        @56       0x03a4
         ub1 kubarec                        @58       0x22
      ub2 ktbitflg                          @60       0x8000 (KTBFCOM)
      union _ktbitun, 2 bytes               @62
         b2 _ktbitfsc                       @62       1429
         ub2 _ktbitwrp                      @62       0x0595
      ub4 ktbitbas                          @64       0xd6449de6
   struct ktbbhitl[1], 24 bytes             @68
      struct ktbitxid, 8 bytes              @68
         ub2 kxidusn                        @68       0x0008
         ub2 kxidslt                        @70       0x0015
         ub4 kxidsqn                        @72       0x0000e992
      struct ktbituba, 8 bytes              @76
         ub4 kubadba                        @76       0x0080222e
         ub2 kubaseq                        @80       0x03a4
         ub1 kubarec                        @82       0x23
      ub2 ktbitflg                          @84       0x0001 (NONE)
      union _ktbitun, 2 bytes               @86
         b2 _ktbitfsc                       @86       0
         ub2 _ktbitwrp                      @86       0x0000
      ub4 ktbitbas                          @88       0x00000000

Data Layer：包括Data Header，Table Directory，Row Directory，Free Space和Row Data。其中
Data Header：长度14字节，内部数据结构名kdbh

BBED> p kdbh
struct kdbh, 14 bytes                       @92
   ub1 kdbhflag                             @92       0x00 (NONE)
   b1 kdbhntab                              @93       1
   b2 kdbhnrow                              @94       336
   sb2 kdbhfrre                             @96      -1
   sb2 kdbhfsbo                             @98       690
   sb2 kdbhfseo                             @100      1511
   b2 kdbhavsp                              @102      821
   b2 kdbhtosp                              @104      821

Table Directory: 一般table只有一个条目，cluster则有一个或多个条目。每个条目长4字节，内部数据结构名kdbt。

BBED> p kdbt
struct kdbt[0], 4 bytes                     @106
   b2 kdbtoffs                              @106      0
   b2 kdbtnrow                              @108      336

Row Directory：数目由块中数据的行数决定，每个条目长2字节，内部数据结构名kdbr

BBED> p kdbr
sb2 kdbr[0]                                 @110      7998
sb2 kdbr[1]                                 @112      8017
...
sb2 kdbr[335]                               @780      1511

Free Space：表示数据块中可用空间，内部数据结构名freespace

Row Data：表示实际的数据，内部数据结构名rowdata

Tailchk:保存在块结尾用于校验的数据，长度4个字节，内部结构名tailchk。

BBED>p tailchk
ub4 tailchk                                 @8188     0x9de80603

注意到tailchk=bas_kcbh低2字节(9de8)+type_kcbh(06)+seq_kcbh(03)

常用标签： oracle life MySQL Oracle11g blog dba 新特性 oow2009 oow linux

最新评论 | Recent comments

订阅更新 | Subscribe

最近文章 | Recent posts

站点信息 | Statistics