页眉内容
GP优化方案
一、 参数调整
1、块I/O参数 1)参数描述
此参数用来设置块设备参数。 2)现参数：
现没有设置块I/O参数。
3)加入参数： #vi /etc/rc.d/rc.local
blockdev --setra 16384 /dev/sdb
注：master、standby节点不需修改。
2、I/O调度算法
由于数据仓库属于IO敏感性应用，为了提高系统效率，生产环境中，我们应该在LINUX内核上修改IO调度的算法。以root身份编辑/boot/grub/menu.lst，添加一行
elevator=deadline，但是不要修改failsafe的定义，重启系统(必须)，再以root身份执行命令cat /sys/block/*/queue/scheduler，输出的每行应该含有有[deadline]。 3、网络参数
GC.WO-1102
页眉内容
rmem_default — 默认的接收窗口大小。 rmem_max — 接收窗口的最大大小。 wmem_default — 默认的发送窗口大小。 wmem_max — 发送窗口的最大大小
使用 /etc/sysctl.conf 在系统启动时把参数配置成您所设置的值: net.core.rmem_default = 256960 net.core.rmem_max = 256960 net.core.wmem_default = 256960 net.core.wmem_max = 256960 net.ipv4.tcp_timestamps = 0 net.ipv4.tcp_sack = 0
net.ipv4.tcp_window_scaling = 1
然后重新启动网络守护程序/etc/rc.d/init.d/network restart。
4、系统参数(已完成) 1、参数描绘 cat /etc/security/limits.conf 2、现参数： * soft nofile 65536 * hard nofile 65536
GC.WO-1102
页眉内容
* soft nproc 131072 * hard nproc 131072 5、GP相关参数 #vi /etc/sysctl.conf
kernel.sem = 250 64000 100 512 kernel.shmmax = 500000000 kernel.shmmni = 4096 kernel.shmall = 4000000000 kernel.sem = 250 64000 100 512 kernel.sysrq = 1 kernel.core_uses_pid = 1 kernel.msgmnb = 65536 kernel.msgmax = 65536 net.ipv4.tcp_syncookies = 1 net.ipv4.ip_forward = 0
net.ipv4.conf.default.accept_source_route = 0 net.ipv4.tcp_tw_recycle=1
net.ipv4.tcp_max_syn_backlog=4096 net.ipv4.conf.all.arp_filter = 1 net.core.netdev_max_backlog=10000 net.ipv4.ip_local_port_range = 1025 65535
1、 kernel.shmmax = 7516192768 （8G，取物理内存16G的50%） 2、 kernel.shmall = 4000000000（物理内存16G时相应大小） GC.WO-1102
页眉内容
3、 kernel.sem = 250 64000 100 1024 6、GP参数
注：segment host上是4个primary instance，4个mirror instance. cat /gpmaster/gp-1/postgresql.conf
1、 shared_buffers(local, max_connections*16K) shared_buffers = 1600MB # master、standby shared_buffers = 200MB # segment
2、 work_mem（，global,物理内存的2%-4%） work_mem = 640MB # master、standby
3、 effective_cache_size（master节点，设为物理内存的85%，15032385536） effective_cache_size = 9600MB
4、 mainteance_work_mem（global，CREATE INDEX, VACUUM等时用到） maintenance_work_mem = 800MB
5、 max_connections（local,最大连接数） max_connections = 200 #(master、standby) max_connections = 1200 #(segment)
6、 max_prepared_transactions（local,与master最大连接数相同）
GC.WO-1102
页眉内容
max_prepraed_transacrions=300 #(master与segment instance相同) 二、 表整理(以kn_weblog_detail为例) 1、 表统计
select relname from pg_class t where t.relname like 'ods%'; select relname from pg_class t where t.relname like 'kn%'; 2、 VACUUM
VACUUM [ FULL | FREEZE ] [ VERBOSE ] [ table ]
VACUUM [ FULL | FREEZE ] [ VERBOSE ] ANALYZE [ table [ (column [, ...] ) ] ] 3、 Analyze
ANALYZE [ table [ (column [, ...] ) ] ]
三、 按列存储优化（以kn_weblog_detail为例）
1、 建表：
create table temp_huagai_weblog_Detail_test (
id varchar(128) NULL, session_id varchar(120) NULL, ticket_id varchar(120) NULL, global_user_id int8 NULL, visit_date timestamp NULL, visit_day int8 NULL,
GC.WO-1102
GP优化方案
