postgresql 数据同步 1. 总体需求 1.1. 当前情况 随着软件系统复杂度的提高,分布式部署成为软件部署流行的方式。对于系统的结构, 程序和数据是支撑系统的两大要素。程序的分布式部署已经有很多很好的方案,在这里 我说一下数据的分布式部署。数据的分布式部署其实就是数据库的分布式部署。
1.2. 系统环境 在这里,我以下面的环境详细讲 部署的过程。 主数据库服务器 (master) OS : SuSe linux 9.0 for X86 ip : 10.73.132.201 mask : 255.255.254.0
从数据库服务器 (slave) OS : SuSe linux 9.0 for X86 ip : 10.73.133.222 mask : 255.255.254.0 需要保证两台机器互连互通.
请到指定目的地下载指定的软件包: db : postgresql 8.1.2.tar.gz(http://www.postgresql.org/download/) slony1 : slony1-1.1.5.tar(http://www.postgresql.org/download/) 以上的网址是一个入口地址,请选择合适的正确的源程序包。
使用 root 用户在两台主备机器上分别建立工作目录: /home/hzh/share 并拷贝 postgresql 8.1.2.tar.gz 和 slony1-1.1.5.tar 到工组目录下。 以下如果没有明确的指定用户,一般都是 root 用户。
1.3. 系统安装 1.3.1 主数据库服务器 1.3.1.1 安装数据库 解压,命令 : tar -xvzf postgresql 8.1.2.tar.gz 进入对应的 postgresql-8.1.2 目录,命令 :cd postgresql-8.1.2 检查,命令 : ./configure 检查可能失败,一般是缺少相应的包,请自己安装。 gmake,命令: gmake 注意,是 gmake 安装,命令 : gmake install
以下对于没有 postgres 用户的操作系统适用 建立 postgres 组,命令: groupadd -g 26 postgres 建立 postgres 用户,命令 : useradd -c "postgressql admin user" -d /usr/loca/pgsql -g 26 -G root -u 26 -s /bn/bash
配置环境变量,修改 /etc/profile 文件 vi /etc/profile,修改 INFODIR=/usr/local/info:/usr/share/info:/usr/info:。。。 为类似如下设置 INFODIR=/usr/local/info:/usr/share/info:/usr/info:。。。/usr/local/pgsql/man 使用 postgres/root 用户修改,/usr/local/pgsql/.bashrc 文件,为 postgres 用户增加环境参数如下: PGLIB=/usr/local/pgsql/lib PGDATA=/test/spescso/data PATH=$PATH:/usr/local/pgsql/bin MANPATH=$MANPATH:/usr/local/pgsql/man export PGLIB PGDATA PATH MANPATH
使用 root 用户,建立数据库集群目录,命令如下(如由不明,请参考 linux online help 和 postgresql online help): mkdir /test mkdir /test/spescso/ mkdir /test/spescso/data chown postgres /test/spescso/data/ chmod 700 /test/spescso/data/
使用 postgres 创建 数据库集群 /usr/local/pgsql/bin/initdb -E UTF-8 /test/spescso/data/
使用 root 用户,配置 数据库集群参数 su -c "/usr/local/pgsql/bin/createuser -a -d ssuser" -l postgres su -c "/usr/local/pgsql/bin/createlang plpgsql template1" -l postgresql
使用 postgres 创建 log 目录 mkdir /test/spescso/data/log
修改 /test/spescso/data/postgresql.conf 文件 主要配置日志文件 log_destination = 'stderr' redirect_stderr = true log_directory = '/test/spescso/data/log/' log_filename = 'postgresql-%Y-%m-%d_%H%M%S.log'
修改 /test/spescso/data/pg_hba.conf,主要搞定双机相互认证问题,否则不能相互访问 # TYPE DATABASE USER CIDR-ADDRESS METHOD
# "local" is for Unix domain socket connections only local all all trust # IPv4 local connections: host all all 127.0.0.1/32 trust host all all 10.73.132.0/24 trust host all all 10.73.133.0/24 trust # IPv6 local connections: host all all ::1/128 trust 如果不能理解上面的意思,请仔细阅读 postgresql 数据库安全认证文档。
使用 postgres 用户后台启动 postmaser 数据库主进程 /usr/local/pgsql/bin/postmaster -i -D /test/spescso/data/ -p 5432 &
1.3.1.2 安装 slony1 数据同步工具(主从都需要安装) 解压,命令 : tar -xvjf slony1-1.1.5.tar 注意,使用 -j 参数,该网站压缩包有点不一致。 进入对应的 slony1-1.1.5 目录,命令 :cd slony1-1.1.5 检查,命令 : ./configure 检查可能失败,一般是缺少相应的包,请自己安装。可能还要带 --with 参数指定 postgresql 8.1.2 的安装目录,默认是 /usr/local/pgsql/postgresql-8.1.2 gmake,命令: gmake 注意,是 gmake 安装,命令 : gmake install
1.3.2 从数据库服务器 和主数据库服务器的安装方式一致。
1.3.3 建立数据库和数据表 以下以在 主数据库服务器上建立主数据库和数据表 test 为例见解,其他数据库和数据表请参考建立. su -c "/usr/local/pgsql/bin/createdb -U ssuser -E UTF-8 test -p 5432" -l postgres
su -c "/usr/local/pgsql/bin/psql -f /home/hzh/share/sql.txt -p 5432 -dtest -Ussuser" -l postgres (注意,sql.txt 是创建数据表的命令,请自行编写。sql.txt 文件最好是 UTF-8 格式,特别是存在中文字符时)
在主数据库机器上依次建立 testslave1,testslave2. 在从数据库机器上 5431 端口建立 testslave3
1.4 配置同步 1.4.1. 主机配置 编写 configmaster sheul 脚本文件,设置其可执行属性,命令 : chmod a+x+w+r configmaster,文件内容如下: #!/bin/bash basebin=/usr/local/pgsql/bin
#集群名称 CLUSTER=slony_test1
# 参与同步的数据库名称,master db 是test,其他三个是slave DBSERVER=test DBSLAVE1=testslave1 DBSLAVE2=testslave2 DBSLAVE3=testslave3
# 参与同步的机器地址 HOSTSERVER=10.73.132.201 HOSTSLAVE1=10.73.132.201 HOSTSLAVE2=10.73.132.201 HOSTSLAVE3=10.73.133.222
# 参与同步的数据库用户名 DBSERVER_USER=ssuser DBSLAVE1_USER=ssuser DBSLAVE2_USER=ssuser DBSLAVE3_USER=ssuser
# 同步发布配置,以下是命令 slonik 的参数 $basebin/slonik<<_EOF_
cluster name=$CLUSTER;
# 定义复制节点 node 1 admin conninfo='dbname=$DBSERVER host=$HOSTSERVER user=$DBSERVER_USER port=5432'; node 2 admin conninfo='dbname=$DBSLAVE1 host=$HOSTSLAVE1 user=$DBSLAVE1_USER port=5432'; node 3 admin conninfo='dbname=$DBSLAVE2 host=$HOSTSLAVE2 user=$DBSLAVE2_USER port=5432'; node 4 admin conninfo='dbname=$DBSLAVE3 host=$HOSTSLAVE3 user=$DBSLAVE3_USER port=5431';
# 初始化集群,id从1开始 init cluster ( id=1,comment='Node 1' );
# 设置参与同步的数据表 #先创建一个复制集,id也是从1开始 #向自己的复制集种添加表,每个需要复制的表一条set命令 #id从1开始,逐次递加,步进为1; #fully qualified name是表的全称:模式名.表名 #这里的复制集id需要和前面创建的复制集id一致 create set ( id=1,origin=1,comment='All test tables' ); set add table ( set id=1,id=1,fully qualified name='public.tb_depart',comment='Table tb_depart' ); set add table ( set id=1,id=2,fully qualified name='public.tb_user',comment='Table tb_user' ); set add table ( set id=1,id=3,fully qualified name='public.tb_manager',comment='Table tb_manager' );
#假如某个表没有主键,但是有唯一键字,那么可以用key关键字 #指定其为复制键字,如下面的key参数 #set add table ( set id = 1,origin = 1,id = 4,fully qualified name = 'public.history',key = "column",comment = 'Table history' ); #对于没有唯一列的表,需要这样处理,这一句放在 create set 的前面 #table add key (node id = 1,fully qualified name = 'public.history'); # 这样设置结果集 #set add table (set id=1,id=4,comment='history table',key = serial);
# 设置存储节点 store node ( id=2,comment='Node 2' ); store node ( id=3,comment='Node 3' ); store node ( id=4,comment='Node 4' );
# 设置存储路径 store path ( server=1,client=2,conninfo='dbname=$DBSERVER host=$HOSTSERVER user=$DBSERVER_USER port=5432'); store path ( server=2,client=1,conninfo='dbname=$DBSLAVE1 host=$HOSTSLAVE1 user=$DBSLAVE1_USER port=5432'); store path ( server=1,client=3,conninfo='dbname=$DBSERVER host=$HOSTSERVER user=$DBSERVER_USER port=5432'); store path ( server=3,conninfo='dbname=$DBSLAVE2 host=$HOSTSLAVE2 user=$DBSLAVE2_USER port=5432'); store path ( server=1,client=4,conninfo='dbname=$DBSERVER host=$HOSTSERVER user=$DBSERVER_USER port=5432'); store path ( server=4,conninfo='dbname=$DBSLAVE3 host=$HOSTSLAVE3 user=$DBSLAVE3_USER port=5431');
#设置侦听事件和订阅方向,复制中角色,主节点是原始提供者,从节点是接受者 store listen ( origin=1,provider=1,receiver=2 ); store listen ( origin=2,provider=2,receiver=1 ); store listen ( origin=1,receiver=3 ); store listen ( origin=3,provider=3,receiveR=4 ); store listen ( origin=4,provider=4,receiver=1 );
_EOF_
1.4.2. 提交数据集合 编写 commitdata shell 脚本文件,赋予可执行权限,内容如下:
#!/bin/bash basebin=/usr/local/pgsql/bin
CLUSTER=slony_test1
DBSERVER=test DBSLAVE1=testslave1 DBSLAVE2=testslave2 DBSLAVE3=testslave3
HOSTSERVER=10.73.132.201 HOSTSLAVE1=10.73.132.201 HOSTSLAVE2=10.73.132.201 HOSTSLAVE3=10.73.133.222
DBSERVER_USER=ssuser DBSLAVE1_USER=ssuser DBSLAVE2_USER=ssuser DBSLAVE3_USER=ssuser
$basebin/slonik<<_EOF_
cluster name=$CLUSTER;
#提供连接参数 node 1 admin conninfo='dbname=$DBSERVER host=$HOSTSERVER user=$DBSERVER_USER port=5432'; node 2 admin conninfo='dbname=$DBSLAVE1 host=$HOSTSLAVE1 user=$DBSLAVE1_USER port=5432'; node 3 admin conninfo='dbname=$DBSLAVE2 host=$HOSTSLAVE2 user=$DBSLAVE2_USER port=5432'; node 4 admin conninfo='dbname=$DBSLAVE3 host=$HOSTSLAVE3 user=$DBSLAVE3_USER port=5431';
# 提交订阅复制集 subscribe set ( id=1,receiver=2,forward=no); subscribe set ( id=1,receiver=3,receiver=4,forward=no); _EOF_
1.4.3. 配置同步过程 在主机上执行配置命令 : ./configmaster 在主机上开启slon 后台进程,启动主数据库复制,命令 : /usr/local/pgsql/bin/slon slony_test1 "dbname=test host=10.73.132.201 user=ssuser port=5432" &
在主机上开启slon 后台进程,启动第一个从数据库复制,命令 : /usr/local/pgsql/bin/slon slony_test1 "dbname=testslave1 host=10.73.132.201 user=ssuser port=5432" &
在主机上开启slon 后台进程,启动第二个从数据库复制,命令 : /usr/local/pgsql/bin/slon slony_test1 "dbname=testslave2 host=10.73.132.201 user=ssuser port=5432" &
在从机上开启slon 后台进程,启动第三个从数据库复制,命令 : /usr/local/pgsql/bin/slon slony_test1 "dbname=testslave3 host=10.73.133.222 user=ssuser port=5431" &
在主机上执行提交命令 : ./commitdata
至此,配置全部技术。你可以修改主数据库对应表的数据,看数据是否同步到其他的三个从数据库上。感谢你阅读,预祝你好运! (编辑:李大同)
【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!
|