btrfs文件系统
最近一位同事在美国参加LSF(Linux Storage and Filesystem Summit)回来，分享了他的总结，非常的精彩。这是一个没有演讲、没有照片、没有录像的讨论为主的会议，因此参会者基本上都是比较资深的Linux内核和文件系统的开发者，参加这个讨论会的有不少中国人（华人），相比起我们这些只是理解使用某个数据库产品的DBA来说，这是值得我们敬仰的一群人。也许在不远的将来，淘宝的DBA团队也不仅仅是一个维护某种数据库产品的团队，也能在开源数据库领域内贡献自己的力量，这也正是我们接下来招聘的思路所在。淘宝DBA团队，也已经建立了开源数据库研究小组，当前主要是MySQL/InnoDB，如果你是一位优秀的c/c++开发者，如果你对MySQL/InnoDB等开源数据库在大规模大并发量的网站应用有兴趣，如果你想有一天，能够为开源数据库提供Patch，欢迎加入我们，不管之前你有没有DBA经验，也不管你还是个应届毕业生（我的邮箱jiangfeng # taobao.com，你懂的）。
扯远了，这里我想说的是，从这个报告我注意到了btrfs文件系统。前一段时间，也一直在考虑，在Linux上部署MySQL数据库，究竟什么样的文件系统会比较适合？或者说什么文件系统适合不同的数据库环境？之前的思路，更多的集中在xfs, ext4等已经比较熟悉的文件系统上，上周去北京出差的时候，本来还想找前面的这位同事探讨一下ext4是否适合在数据库产品环境中部署，而当时他正好在美国参加LSF，因此也错过了机会。不过从他的这个总结来看，ext4已经达到了产品级别的稳定性，应该可以尝试，接下来可能会安排一些测试，这是后话。
对于btrfs，简单的从字面来理解，就是以B-Tree作为组织元数据的数据结构，相比于ext2/ext3使用线性表来保存目录等结构，好处在于查找，插入和删除操作都很高效。btrfs另外一个比较重要的特性是基于extent来分配管理文件空间，而不是传统的block。看到这里，作为DBA，其实可以很明显的看到，这和Oracle数据库组织管理数据的思路何其一致(如果寻根问祖，发现这个btrfs根本就是由Oracle最初在2007年开放出来的项目，本是同根生啊)。关于btrfs更详细的信息，可以参考这里，还有这里。另外，btrfs对于目前热点的SSD磁盘也提供了特别的支持，因此被认为是Linux未来文件系统的趋势所在，虽然目前还是开发版本，但值得关注。
实际上可以做一个简单的类比，就能对btrfs有一个更加感性的认识，可以将btrfs看作是Linux版本的ZFS，其设计思路和特性，很多都是借鉴自ZFS，其主要特性如下：
- Copy on Write
- Extent based file storage (2^64 max file size)
- Space efficient packing of small files
- Space efficient indexed directories
- Dynamic inode allocation
- Writable snapshots
- Subvolumes (separate internal filesystem roots)
- Object level mirroring and striping
- Checksums on data and metadata (multiple algorithms available)
- Compression
- Integrated multiple device support, with several raid algorithms
- Online filesystem check
- Very fast offline filesystem check
- Efficient incremental backup and FS mirroring
- Online filesystem defragmentation
linux上大量tcp端口处于TIME_WAIT的问题
最近发现几个监控用的脚本在连接监控数据库的时候偶尔会连不上，报错：
Couldn't connect to host:3306/tcp: IO::Socket::INET: connect: Cannot assign requested address
查看了一下发现系统中存在大量处于TIME_WAIT状态的tcp端口
$netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
TIME_WAIT 50013
ESTABLISHED 27
SYN_RECV 1
由于要监控的主机太多，监控的agent可能在短时间内创建大量连接到监控数据库(MySQL)并释放造成的。在网上查阅了一些tcp参数的相关资料，最后通过修改了几个系统内核的tcp参数缓解了该问题：
#vi /etc/sysctl.conf net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_tw_recycle = 1 #sysctl -p
其中：
net.ipv4.tcp_tw_reuse = 1 表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接，默认为0，表示关闭；
net.ipv4.tcp_tw_recycle = 1 表示开启TCP连接中TIME-WAIT sockets的快速回收，默认为0，表示关闭。
修改完成并生效后，系统中处于TIME_WAIT状态的tcp端口数量迅速下降到100左右：
$netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
TIME_WAIT 82
ESTABLISHED 36
简单记录于此，备忘。
如何在AIX上安装gcc
默认情况下AIX是不带编译器，如果需要编译一些源代码，则可以安装linux上常用的gcc。AIX上支持安装linux的RPM包。首先要安装RPM包支持，下载地址为：
ftp://ftp.software.ibm.com/aix/freeSoftware/aixtoolbox/INSTALLP/ppc/rpm.rte
使用installp安装即可，如下表示已经安装
lslpp -l rpm.rte Fileset Level State Description ---------------------------------------------------------------------------- Path: /usr/lib/objrepos rpm.rte 3.0.5.40 COMMITTED RPM Package Manager Path: /etc/objrepos rpm.rte 3.0.5.40 COMMITTED RPM Package Manager
然后去下载gcc的安装包，进入下面的链接即可下载IBM提供的AIX Toolbox for Linux Applications，包括gcc：
http://www-03.ibm.com/systems/power/software/aix/linux/toolbox/download.html
AIX5.3上的gcc下载地址为：
ftp://ftp.software.ibm.com/aix/freeSoftware/aixtoolbox/RPMS/ppc/gcc/gcc-4.2.0-3.aix5.3.ppc.rpm
root>#rpm -i gcc-4.2.0-3.aix5.3.ppc.rpm root>#gcc -v Using built-in specs. Target: powerpc-ibm-aix5.3.0.0 Configured with: ../configure --with-as=/usr/bin/as --with-ld=/usr/bin/ld --enable-languages=c,c++,java --prefix=/opt/freeware --enable-threads --enable-version-specific-runtime-libs --host=powerpc-ibm-aix5.3.0.0 --target=powerpc-ibm-aix5.3.0.0 --build=powerpc-ibm-aix5.3.0.0 --disable-libjava-multilib Thread model: aix gcc version 4.2.0
在64位Linux上安装MemCached
在一台64位Linux的机器上安装了MemCached，遇到一个小问题，特记录之。
MemCached使用了libevent，所以必须先安装libevent。安装libevent到/usr/lib
wget http://www.monkey.org/~provos/libevent-1.4.9-stable.tar.gz gzip -d libevent-1.4.9-stable.tar.gz tar xvf libevent-1.4.9-stable.tar cd libevent-1.4.9-stable ./configure --prefix=/usr make make install
安装MemCached的到/u01/memcached
wget http://www.danga.com/memcached/dist/memcached-1.2.6.tar.gz gzip -d memcached-1.2.6.tar.gz tar xvf memcached-1.2.6.tar cd memcached-1.2.6 ./configure --prefix=/u01/memcached --with-libevent=/usr make make install
但是执行memcached命令时出现错误：
#/u01/memcached/bin/memcached -h /u01/memcached/bin/memcached: error while loading shared libraries: libevent-1.4.so.2: cannot open shared object file: No such file or directory
一般对于这种依赖的库找不到的情况，在Linux中可以通过设置LD_DEBUG环境变量来获得更多的信息
#LD_DEBUG=help ls Valid options for the LD_DEBUG environment variable are: libs display library search paths reloc display relocation processing files display progress for input file symbols display symbol table processing bindings display information about symbol binding versions display version dependencies all all previous options combined statistics display relocation statistics unused determined unused DSOs help display this help message and exit To direct the debugging output into a file instead of standard output a filename can be specified using the LD_DEBUG_OUTPUT environment variable.
这里由于是库文件依赖有问题，则使用libs参数：
#LD_DEBUG=libs /u01/memcached/bin/memcached -h
30596: find library=libevent-1.4.so.2 [0]; searching
30596: search cache=/etc/ld.so.cache
30596: search path=/lib64/tls/x86_64:/lib64/tls:/lib64/x86_64:/lib64:/usr/lib64/tls/x86_64
/usr/lib64/tls:/usr/lib64/x86_64:/usr/lib64
(system search path)
30596: trying file=/lib64/tls/x86_64/libevent-1.4.so.2
30596: trying file=/lib64/tls/libevent-1.4.so.2
30596: trying file=/lib64/x86_64/libevent-1.4.so.2
30596: trying file=/lib64/libevent-1.4.so.2
30596: trying file=/usr/lib64/tls/x86_64/libevent-1.4.so.2
30596: trying file=/usr/lib64/tls/libevent-1.4.so.2
30596: trying file=/usr/lib64/x86_64/libevent-1.4.so.2
30596: trying file=/usr/lib64/libevent-1.4.so.2
30596:
/u01/memcached/bin/memcached: error while loading shared libraries: libevent-1.4.so.2:
cannot open shared object file: No such file or directory
可以看到是在加载/usr/lib64/libevent-1.4.so.2文件时出现了问题，系统中确实是没有该文件的，查找后发现libevent-1.4.so.2存在于/usr/lib目录，这可能是libevent在64位Linux系统上的一个bug吧，没有关系，复制一份或者建一个软链接即可解决问题。
#ln -s /usr/lib/libevent-1.4.so.2 /usr/lib64/libevent-1.4.so.2 #/u01/memcached/bin/memcached -h memcached 1.2.6 -pTCP port number to listen on (default: 11211) -U UDP port number to listen on (default: 0, off) -s unix socket path to listen on (disables network support) -a access mask for unix socket, in octal (default 0700) -l interface to listen on, default is INDRR_ANY -d run as a daemon -r maximize core file limit -u assume identity of (only when run as root) -m max memory to use for items in megabytes, default is 64 MB -M return error on memory exhausted (rather than removing items) -c max simultaneous connections, default is 1024 -k lock down all paged memory. Note that there is a limit on how much memory you may lock. Trying to allocate more than that would fail, so be sure you set the limit correctly for the user you started the daemon with (not for -u user; under sh this is done with 'ulimit -S -l NUM_KB'). -v verbose (print errors/warnings while in event loop) -vv very verbose (also print client commands/reponses) -h print this help and exit -i print memcached and libevent license -b run a managed instanced (mnemonic: buckets) -P save PID in , only used with -d option -f chunk size growth factor, default 1.25 -n minimum space allocated for key+value+flags, default 48
启动MemCached，-m表示分配的内存
#/u01/memcached/bin/memcached -d -m 1024 -u admin -l 127.0.0.1 -p 11211
