MongoDB 生产环境笔记

  • 时间:
  • 浏览:1

完整性的有关 Huge Pages 和Transparent Huge Pages的介绍见 :文章

Huge pages can be difficult to manage manually, and often require significant changes to code in order to be used effectively. As such, Red Hat Enterprise Linux 6 also implemented the use of transparent huge pages(THP). THP is an abstraction layer that automates most aspects of creating, managing, and using huge pages.

THP hides much of the complexity in using huge pages from system administrators and developers. As the goal of THP is improving performance, its developers (both from the community and Red Hat) have tested and optimized THP across a wide range of systems, configurations, applications, and workloads. This allows the default settings of THP to improve the performance of most system configurations. However, THP is not recommended for database workloads.

case $1 in

start)

sysctl -w vm.zone_reclaim_mode=0

临时更改

sysctl -w vm.swappiness=1

cp -r /etc/tune-profiles/default /etc/tune-profiles/no-thp

echo "set_transparent_hugepages never" >>/etc/tune-profiles/no-thp/ktune.sh

tuned-adm profile no-thp

CentOS 7

cat "vm.swappiness = 1" >> /etc/sysctl.conf

sysctl -p

在官方文档中最后一行写到: THP is not recommended for database workloads. 也假若 THP 不适用于在数据库上。不可能 数据库是不连续的内存访问模式,大家时需禁用THP以确保使用MongoDB获得最佳性能。

官方文档链接:https://docs.mongodb.com/manual/administration/production-notes/

cat /proc/sys/net/ipv4/tcp_keepalive_time

esac

chmod 755 /etc/init.d/disable-transparent-hugepages # 设置具有可执行权限

chkconfig --add disable-transparent-hugepages # 设置开机自启

底下的配置时需重启主机不能生效。

mkdir /etc/tuned/no-thp

cat << EOF >>/etc/tuned/no-thp/tuned.conf

[main]

include=virtual-guest

vm.zone_reclaim_mode

加上swap分区

设置 swappiness 参数

内核和文件系统版本

禁用 Transparent Huge Pages (THP)

ulimit 设置

tcp_keepalive_time

同步时间

一、vm.zone_reclaim_mode 参数

设置内核参数 vm.zone_reclaim_mode ,该参数是设置当一个多内存区域的内存耗尽的后后,是从组织组织结构回收,还是去下一个多内存区域寻找,0为去下一个多区域寻找,非0表示当前区域回收。

对于 WiredTiger 储存引擎,在压力比较大的请况下,WiredTiger 会将数据放置在 swap 分区里。

LimitMEMLOCK=infinity

-f (file size): unlimited

-t (cpu time): unlimited

-v (virtual memory): unlimited [1]

-l (locked-in-memory size): unlimited

-n (open files): 63000

-m (memory size): unlimited [1] [2]

-u (processes/threads): 63000

大家都时需直接更改用户的默认配置,也都时需通过配置 systemd 服务,并参数写入 Service。

cat <>/usr/lib/systemd/system/mongodb.service

[Unit]

Description= mongodb service manager

[Service]

systemctl -w net.ipv4.tcp_keepalive_time=3000

永久更改,

时需配置的点有:

生效配置:

always madvise [never]

六、ulimit 设置

通常系统默认给用户的最大线程池池数和最大都时需打开的文件数是比较低的,同类在启动 MongoDB 的后后大家会看过以下警告。

要在 tuned和ktune 中禁用 THP, 时需大家将配置文件的THP值设置为 never,同类 tuned 不可能 ktune 会更改大家设置的值。

查看 Transparent Huge Pages 请况

cat /sys/kernel/mm/transparent_hugepage/enabled

[always] madvise never

cat /sys/kernel/mm/transparent_hugepage/defrag

[always] madvise never

When RHEL 7 / CentOS 7 run in a virtual environment, the tuned tool automatically invokes a performance profile derived from performance throughput, which automatically sets the readahead settings to 4MB. This can negatively impact performance.

LimitNOFILE=63000

不可能 大家运行的主机系统 RHEL / CentOS 的内核版本在 2.6.32-3003 及以上,大家都时需把该值设置为 1。

CentOS 6

2019-04-12T10:11:26.665+030000 I CONTROL [initandlisten] ** WARNING: /sys/kernel/mm/transparent_hugepage/enabled is 'always'.

2019-04-12T10:11:26.665+030000 I CONTROL [initandlisten] ** We suggest setting it to 'never'

2019-04-12T10:11:26.665+030000 I CONTROL [initandlisten]

2019-04-12T10:11:26.665+030000 I CONTROL [initandlisten] ** WARNING: /sys/kernel/mm/transparent_hugepage/defrag is 'always'.

2019-04-12T10:11:26.665+030000 I CONTROL [initandlisten] ** We suggest setting it to 'never'

底下的警告假若意味着大家时需设置 /sys/kernel/mm/transparent_hugepage/defrag 和/sys/kernel/mm/transparent_hugepage/enabled 一个多参数设置为 never ,底下参数的设置假若代表着 Transparent Huge Pages(THP), 在了解 THP 前,大家时需先了解下 Huge Pages(标准页),Huge Pages是从Linux Kernel 2.6后被引入的。目的是使用更大的内存页面(memory page size) 以适应如此大的系统内存,让操作系统都时需支持现代硬件架构的大页面容量功能。而THP(Transparent Huge Pages) 是从RHEL6 开始英语 了了了引入的一个多功能,THP 是一个多抽象层, 都时需自动创建、管理和使用传统大页的大多数方面。

[vm]

transparent_hugepages=never

EOF

tuned-adm profile no-thp

测试修改与非 生效

五、禁用 Transparent Huge Pages (THP)

在启动的后后大家都时需看过同类的日志:

三、设置 swappiness 参数

在 Linux 系统中,都时需通过查看 /proc/sys/vm/swappiness 内容的值来选择系统对 SWAP 分区的使用原则。当swappiness 内容的值为 0 时,表示最大限度地使用物理内存,物理内存使用完毕后,才会使用 SWAP 分区。当swappiness 内容的值为 3000 时,表示积极地使用 SWAP 分区,同类把内存中的数据及时地置换到 SWAP 分区。

默认值为 0,表示时需在物理内存使用完毕后才会使用 SWAP 分区,

生效配置

LimitCPU=infinity

cat /sys/kernel/mm/transparent_hugepage/enabled

cat /sys/kernel/mm/transparent_hugepage/defrag

查看系统的默认值:

LimitFSIZE=infinity

echo "vm.zone_reclaim_mode = 0" >> /etc/sysctl.conf

sysctl -p

MongoDB 生产环境笔记

目录

echo "net.ipv4.tcp_keepalive_time = 3000" >> /etc/sysctl.conf

sysctl -p

八、同步时间

不可能 大家部署的是副本集群,大家时需配置脚本,让这几台节点的的时间同步。

LimitNPROC=63000

Type=forking

User=mongodb

Group=mongodb

PIDFile=/opt/mongodb/logs/mongod.pid

ExecStart= /opt/mongodb/bin/mongod -f /opt/mongodb/mongodb.conf

ExecStop= /opt/mongodb/bin/mongod --shutdown --dbpath /opt/mongodb/data

Restart=always

[Install]

WantedBy=multi-user.target

EOF

七、tcp_keepalive_time

该参数用于 TCP 发送 keepalive 探测消息的间隔时间(秒),用于确认 TCP 连接与非 有效。

Mongodb 官网建议将该值设置为 3000 。

sysctl net.ipv4.tcp_keepalive_time

sysctl -a |grep vm.swappiness

四、内核和文件系统版本

在 Linux 系统上运行 MongoDB ,大家建议使用 Linux内核版本2.6.36不可能 更高版本,使用 XFS 不可能 是 EXT4 文件系统,强烈建议使用 XFS 文件系统。不可能 EXT4 和 WiredTiger 同时使用会有不可能 再次总出 性能难题。

MongoDB 生产环境笔记

一、vm.zone_reclaim_mode 参数

二、加上 swap 分区

三、设置 swappiness 参数

四、内核和文件系统版本

五、禁用 Transparent Huge Pages (THP)

六、ulimit 设置

七、tcp_keepalive_time

八、同步时间

MongoDB 生产环境笔记

在生产环境中,大家配置MongoDB时需注意点有同类,而时需一安装就都时需使用。大家时需配置同类内核和系统参数。不可能 哪几种参数是会影响到大家 MongoDB 的性能的。

不可能 你的MongoDB 实例所在的服务器还有其它业务和应用,如此修改下面的参数时需注意与非 会影响其它应用的性能和运行请况。

作者:理想三旬

    

出处:https://www.cnblogs.com/operationhome/

sysctl -a |grep vm.zone_reclaim_mode

二、加上 swap 分区

不可能 内存空间时需如此宽裕一句话,大家都时需为系统配置 swap 分区。具体配置见文章 linux系统加上swap(虚拟内存)分区。

/etc/init.d/disable-transparent-hugepages start

配置 tuned 和 ktune

tuned和ktune是Red Hat和CentOS上可用的动态内核调优工具,都时需禁用 THP 。

LimitAS=infinity

WARNING: soft rlimits too low. rlimits set to 4096 processes, 65535 files. Number of processes should be at least 32767.5 : 0.5 times number of files.

官网的推荐配置是:

脚本禁用 THP

创建 init.d 脚本 /etc/init.d/disable-transparent-hugepages

MongoDB 时需使用 glibc 库,最好版本共假若 2.13 上。