作者:icyriver 来源:http://icyriver.net/?p=176
PL/Proxy和PostgreSQL集群的结构关系可以用下图清楚地表示,对PL/Proxy和PostgreSQL集群还不太了解的朋友可以看Skype Plans for PostgreSQL to Scale to 1 Billion Users这篇文章。
以下操作是在三台不同机器上执行的情况,其中plproxy节点的机器名是P1,数据库节点的机器名分别是D1和D2。机器硬件配置如下,同时需要Linux-4.2、postgresql-8.3.0和plproxy-2.0.4,pgbouncer的安装过程略去。
plproxy节点: hostname: P1 inet addr:10.0.0.1 OS: Linux 2.6.9-42.ELsmp CPU:Intel(R) Xeon(R) CPU L5320 @ 1.86GHz MemTotal: 514440 kB
node1节点: hostname:D1 inet addr:10.0.0.2 OS: Linux 2.6.9-42.ELsmp CPU:Intel(R) Xeon(R) CPU L5320 @ 1.86GHz MemTotal: 254772 kB
node2节点: hostname:D2 inet addr:10.0.0.3 OS: Linux 2.6.9-42.ELsmp CPU:Intel(R) Xeon(R) CPU L5320 @ 1.86GHz MemTotal: 254772 kB
1. 在P1,D1,D2上安装postgresql-8.3.0,并创建URTCluster数据库
## Compile and install gunzip postgresql-8.3.0.tar.gz tar xf postgresql-8.3.0.tar cd postgresql-8.3.0 ./configure –prefix=/home/y/pgsql –with-perl gmake gmake check sudo gmake install
## Add Unix User sudo adduser postgres sudo mkdir /home/y/pgsql/data sudo chown postgres /home/y/pgsql/data
## Init DB and Start service sudo -u postgres /home/y/pgsql/bin/initdb -D /home/y/pgsql/data sudo -u postgres /home/y/pgsql/bin/postgres -D /home/y/pgsql/data >logfile 2>&1 &
## Create DB and Use Local Connection sudo -u postgres /home/y/pgsql/bin/createdb URTCluster
##检查数据库是否已经创建 sudo -u postgres /home/y/pgsql/bin/psql -d URTCluster
#D1,D2必须允许P1访问 #编辑postgresql.conf,打开tcp连接端口 sudo vim /home/y/pgsql/data/postgresql.conf listen_addresses = ‘*’ port = 5432
#添加postgres用户的认证 sudo vim /home/y/pgsql/data/pg_hba.conf host URTCluster postgres 10.0.0.0/16 trust
# 重起服务器 sudo -u postgres /home/y/pgsql/bin/pg_ctl -D /home/y/pgsql/data stop sudo -u postgres /home/y/pgsql/bin/postgres -D /home/y/pgsql/data >logfile 2>&1 & sudo -u postgres /home/y/pgsql/bin/pg_ctl -D /home/y/pgsql/data reload
2. 在P1上安装plproxy-2.0.4
#检查$PATH变量里是否有/home/y/pgsql/bin目录,如果没有,修改你的.bash_profile文件,添加/home/y/pgsql/bin到path里。 echo $PATH
gunzip plproxy-2.0.4.tar.gz tar xf plproxy-2.0.4.tar cd plproxy-2.0.4 gmake sudo gmake install
#创建plproxy sudo -u postgres /home/y/pgsql/bin/psql -f /home/y/pgsql/share/contrib/plproxy.sql URTCluster
3. 在P1,D2上安装plpgsql
sudo -u postgres /home/y/pgsql/bin/createlang plpgsql URTCluster
4. 在P1上创建schema
sudo -u postgres /home/y/pgsql/bin/psql -d URTCluster URTCluster=# create schema plproxy;
5. 在P1上初始化设置
#plproxy的配置是通过三个函数(过程)实现的,这三个函数的标准模版如下:
#这个函数是让plproxy可以找到对应的集群 CREATE OR REPLACE FUNCTION plproxy.get_cluster_partitions(cluster_name text) RETURNS SETOF text AS $$ BEGIN IF cluster_name =’URTCluster’ THEN RETURN NEXT ‘dbname=URTCluster host=10.0.0.2′; RETURN NEXT ‘dbname=URTCluster host=10.0.0.3′; RETURN; END IF; RAISE EXCEPTION ‘Unknown cluster’; END; $$ LANGUAGE plpgsql;
#这个函数是plproxy用于判断是否给前端返回已经cache过的结果用的 CREATE OR REPLACE FUNCTION plproxy.get_cluster_version(cluster_name text) RETURNS int4 AS $$ BEGIN IF cluster_name = ‘URTCluster’ THEN RETURN 1; END IF; RAISE EXCEPTION ‘Unknown cluster’; END; $$ LANGUAGE plpgsql;
#这个函数是获取不同的集群的配置 create or replace function plproxy.get_cluster_config(cluster_name text,out key text,out val text) returns setof record as $$ begin key := ’statement_timeout’; val := 60; return next; return; end; $$ language plpgsql;
#把这三个函数放在一个URTClusterInit.sql文件里,并执行 sudo -u postgres /home/y/pgsql/bin/psql -f URTClusterInit.sql -d URTCluster -h 10.0.0.1
6. 在D1,D2节点上设置
#给每个数据库节点都创建一张表users CREATE TABLE users ( username text, email text );
#给每个数据库节点都创建一个插入函数 CREATE OR REPLACE FUNCTION insert_user(i_username text,i_emailaddress text) RETURNS integer AS $$ INSERT INTO users (username,email) VALUES ($1,$2); SELECT 1; $$ LANGUAGE SQL;
#把函数保存在 URTClusterNodesInit_1.sql文件里,并执行 sudo -u postgres /home/y/pgsql/bin/psql -f URTClusterNodesInit_1.sql -h 10.0.0.2 -d URTCluster sudo -u postgres /home/y/pgsql/bin/psql -f URTClusterNodesInit_1.sql -h 10.0.0.3 -d URTCluster
7. 在P1节点上设置
#在 plproxy 节点上创建一个同名的插入函数,用于进行集群检索 CREATE OR REPLACE FUNCTION insert_user(i_username text,i_emailaddress text) RETURNS integer AS $$ CLUSTER ‘URTCluster’; RUN ON hashtext(i_username); $$ LANGUAGE plproxy;
#在 plproxy 节点上创建一个查询函数,用于进行集群检索 CREATE OR REPLACE FUNCTION get_user_email(i_username text) RETURNS text AS $$ CLUSTER ‘URTCluster’; RUN ON hashtext(i_username) ; SELECT email FROM users WHERE username = i_username; $$ LANGUAGE plproxy;
#把函数保存在 URTClusterProxyExec.sql文件里,并执行 sudo -u postgres /home/y/pgsql/bin/psql -f URTClusterProxyExec_1.sql -h 10.0.0.1 -d URTCluster
8. 在P1上测试结果
sudo -u postgres /home/y/pgsql/bin/psql -d URTCluster
SELECT insert_user(’Sven’,’sven@somewhere.com’); #被保存到D2, 可以用select hashtext(’Sven’) & 1验证,被hash到 partition 1
SELECT insert_user(’Marko’,‘marko@somewhere.com’); #被保存到D2, 可以用select hashtext(’Marko’) & 1验证,被hash到 partition 1
SELECT insert_user(’Steve’,’steve@somewhere.cm’); #被保存到D1, 可以用select hashtext(’Steve’) & 1验证,,被hash到 partition 0
SELECT get_user_email(’Sven’); SELECT get_user_email(’Marko’); SELECT get_user_email(’Steve’);
相关参考:
http://www.pgsqldb.org/mwiki/index.php/%E9%85%8D%E7%BD%AE%E4%B8%80%E4%B8%AA%E4%BD%BF%E7%94%A8plproxy%E7%9A%84PostgreSQL%E6%95%B0%E6%8D%AE%E5%BA%93%E9%9B%86%E7%BE%A4
(编辑:李大同)
【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!
|