【Cloudera Manager】系统文件描述符的概念以及修改方法


本博客文章如无特别说明,均为原创!转载请注明出处:Big data enthusiast(http://www.lubinsu.com/)

本文链接地址:【Cloudera Manager】系统文件描述符的概念以及修改方法(http://www.lubinsu.com/index.php/archives/209)

最近服务器经常告警:系统文件描述符超过阈值,默认的系统文件描述符数量限制是:1024,这对于一个高并发、搞负载的服务器来说,是远远不够的。那么如何修改系统文件描述符的数量呢,且听下文分解:
a. 所有进程打开的文件描述符数不能超过/proc/sys/fs/file-max
b. 单个进程打开的文件描述符数不能超过user limit中nofile的soft limit
c. nofile的soft limit不能超过其hard limit
d. nofile的hard limit不能超过/proc/sys/fs/nr_open

那么本次修改步骤如下:
永久生效,修改文件描述符大小

关闭会话重新进入,查看是否生效:
ulimit -Hn
ulimit -Sn

停止Cloudera Manager Agent进程
ps -ef | grep cloudera-scm-agent.pid | grep -v grep | awk '{print $2}' | xargs kill

重启:
python2.7 /usr/lib64/cmf/agent/build/env/bin/cmf-agent --package_dir /usr/lib64/cmf/service --agent_dir /var/run/cloudera-scm-agent --lib_dir /var/lib/cloudera-scm-agent --logfile /var/log/cloudera-scm-agent/cloudera-scm-agent.log --daemon --comm_name cmf-agent --pidfile /var/run/cloudera-scm-agent/cloudera-scm-agent.pid

查看是否生效
`ps -ef | grep cloudera-scm-agent.pid | grep -v grep | awk '{print "cat /proc/"$2"/limits"}'` | grep "Max open files"

film Sandy Wexler 2017

One thought on “【Cloudera Manager】系统文件描述符的概念以及修改方法

  • 2016-10-27 at 16:31
    Permalink

    As usual, very inspireing and imperssive. Have you made a final decision whether or not to run the two races in europe? If you not gonna run them, would you be coming over to europe anyway?

    Reply

Jaylyn进行回复 取消回复

电子邮件地址不会被公开。 必填项已用*标注