【Cloudera Manager】系统文件描述符的概念以及修改方法


本博客文章如无特别说明,均为原创!转载请注明出处:Big data enthusiast(http://www.lubinsu.com/)

本文链接地址:【Cloudera Manager】系统文件描述符的概念以及修改方法(http://www.lubinsu.com/index.php/archives/209)

最近服务器经常告警:系统文件描述符超过阈值,默认的系统文件描述符数量限制是:1024,这对于一个高并发、搞负载的服务器来说,是远远不够的。那么如何修改系统文件描述符的数量呢,且听下文分解:
a. 所有进程打开的文件描述符数不能超过/proc/sys/fs/file-max
b. 单个进程打开的文件描述符数不能超过user limit中nofile的soft limit
c. nofile的soft limit不能超过其hard limit
d. nofile的hard limit不能超过/proc/sys/fs/nr_open

那么本次修改步骤如下:
永久生效,修改文件描述符大小

关闭会话重新进入,查看是否生效:
ulimit -Hn
ulimit -Sn

停止Cloudera Manager Agent进程
ps -ef | grep cloudera-scm-agent.pid | grep -v grep | awk '{print $2}' | xargs kill

重启:
python2.7 /usr/lib64/cmf/agent/build/env/bin/cmf-agent --package_dir /usr/lib64/cmf/service --agent_dir /var/run/cloudera-scm-agent --lib_dir /var/lib/cloudera-scm-agent --logfile /var/log/cloudera-scm-agent/cloudera-scm-agent.log --daemon --comm_name cmf-agent --pidfile /var/run/cloudera-scm-agent/cloudera-scm-agent.pid

查看是否生效
`ps -ef | grep cloudera-scm-agent.pid | grep -v grep | awk '{print "cat /proc/"$2"/limits"}'` | grep "Max open files"

film Sandy Wexler 2017

One thought on “【Cloudera Manager】系统文件描述符的概念以及修改方法

  • 2016-10-27 at 16:31
    Permalink

    As usual, very inspireing and imperssive. Have you made a final decision whether or not to run the two races in europe? If you not gonna run them, would you be coming over to europe anyway?

    Reply

发表评论

电子邮件地址不会被公开。 必填项已用*标注