Иногда пользователи могут столкнуться с ошибкой "Too Many Open Files", что может привести к сбоям в работе системы или даже ее остановке. В этой статье мы рассмотрим причины возникновения этой ошибки, а также способы ее исправления и оптимизации в Linux системах.
В этой статье мы рассмотрим, как проверить текущие ограничения на максимальное количество открытых файлов в Linux, а также как изменить эту настройку глобально для всего сервера, для отдельных служб и для пользовательской сессии. Статья применима к большинству современных дистрибутивов Linux (Debian, Ubuntu, CentOS, RHEL, Oracle Linux, Rocky и т.д.).
Причины ошибки "Too Many Open Files"
Ошибка "Too Many Open Files" возникает, когда количество открытых файлов в системе превышает максимальное количество, которое система может обработать. Это может быть вызвано различными факторами, такими как:
- Неправильное использование файловых дескрипторов: Если пользователь использует слишком много файловых дескрипторов одновременно, это может привести к переполнению счетчика открытых файлов.
- Неосторожное использование инструментов командной строки: Некоторые инструменты командной строки, такие как "ls" или "mkdir", могут открывать множество файлов, что может вызвать переполнение счетчика.
- Чрезмерное использование библиотек или модулей: Некоторые библиотеки или модули могут автоматически открывать файлы, что также может привести к перегрузке системы.
- Проблемы с процессами или потоками: Неправильная работа процессов или потоков может привести к тому, что они будут продолжать открывать файлы после завершения работы, что приведет к перегрузке.
Ошибка 'Too Many Open Files' и лимит открытых файлов в Linux
Прежде всего, давайте посмотрим, где возникает ошибка "слишком много открытых файлов". Чаще всего она возникает на серверах с установленным веб-сервером Nginx /httpd или сервером баз данных под управлением MySQL/MariaDB/PostgreSQL при чтении большого количества лог-файлов. Например, когда Nginx превысит лимит открытых файлов, вы увидите ошибку:
| 1 | socket () failed (29: Too many open files) while connecting to upstream |
или
| 1 2 3 | HTTP: Accept error: accept tcp [::]:<port_number>: accept4: too many open files. OSError: [Errno 24] Too many open files. socket: too many open files |
С помощью этой команды можно получить максимальное количество файловых дескрипторов, которые может открыть система:
| 1 | cat /proc/sys/fs/file-max |
Чтобы узнать, сколько файлов открыто в данный момент, выполните команду:
| 1 | cat /proc/sys/fs/file-nr |
| 1 | 8928 0 518144 |
Где:
- 8928 - общее количество открытых файлов
- 0 - количество открытых файлов, которые в данный момент не используются
- 518144 - максимальное количество разрешенных к открытию файлов.
В Linux ограничение максимального количества открытых файлов можно настроить на нескольких уровнях:
- Ядро ОС
- Сервис
- Пользователь
Чтобы отобразить текущее ограничение на количество открытых файлов в ядре Linux, выполните команду:
| 1 | sysctl fs.file-max |
Выведем ограничение на количество открытых файлов для одного процесса текущего пользователя:
| 1 | ulimit -n |
По умолчанию количество файлов для одного процесса этого ограничено 1024.
Выведем максимальное количество для одного пользователя (max user processes):
| 1 | ulimit -u |
Умножив 1024 * 47924, получим 49 074 176 - это максимальное количество открытых файлов всеми пользовательскими процессами.
Существует два типа ограничений на количество открытых файлов: Жесткие и Мягкие. Мягкие ограничения носят рекомендательный характер. Если количество открытых файлов превысило жесткий лимит, то пользователь не сможет открывать новые файлы до тех пор, пока не будут закрыты ранее открытые.
Для просмотра текущих ограничений используйте команду ulimit с опцией -S (soft) или -H (hard) и опцией -n (максимальное количество открытых файловых дескрипторов).
Для отображения мягкого лимита выполните следующую команду:
| 1 | ulimit -Sn |
Для отображения значения жесткого предела:
| 1 | ulimit -Hn |
Как увеличить ограничение на максимальное количество открытых файлов в Linux?
Чтобы разрешить всем службам открывать большое количество файлов, можно изменить лимиты в ОС Linux. Чтобы сделать новые настройки постоянными и предотвратить их сброс после перезапуска сервера или сеанса, необходимо внести изменения в файл /etc/security/limits.conf. Этот файл позволяет ограничить количество различных системных ресурсов, доступных пользовательскому процессу. Используйте следующий формат:
| 1 | username restriction_type restriction_name value |
Например:
| 1 2 | apache hard nofile 978160 apache soft nofile 978160 |
Вместо имени пользователя можно использовать *. Это означает, что данное ограничение открытых файлов будет применяться ко всем пользователям Linux:
| 1 2 | * hard nofile 97816 * soft nofile 97816 |
Например, вы получили ошибку слишком большого количества открытых файлов для Nginx. Проверьте, сколько файлов разрешено открывать этому пользовательскому процессу:
| 1 | sudo -u nginx bash -c 'ulimit -n' |
Для высоконагруженного сервера этого недостаточно. Добавьте следующие строки в файл /etc/security/limits.conf:
| 1 | sudo nano /etc/security/limits.conf |
| 1 2 | nginx hard nofile 50000 nginx soft nofile 50000 |
На старых ядрах Linux значение параметра fs.file-max может быть установлено на 10000. Поэтому проверьте это значение и увеличьте его так, чтобы оно было больше, чем число в файле limits.conf:
| 1 | sysctl -w fs.file-max=500000 |
Это временно увеличит лимит открытых файлов. Чтобы сделать новые настройки постоянными, необходимо добавить в файл /etc/sysctl.conf следующую строку:
| 1 | fs.file-max = 500000 |
И применить ее:
| 1 | sysctl -p |
Убедитесь, что в файле /etc/pam.d/common-session (Debian/Ubuntu) или /etc/pam.d/login (CentOS/RedHat/Fedora) присутствует строка:
| 1 | session required pam_limits.so |
Если это не так, добавьте ее в конец конфигурационного файла. Этот параметр позволяет применять ограничения на открытые файлы после аутентификации пользователя.
После внесения изменений снова откройте консоль и проверьте значение max_open_files:
| 1 | ulimit -n |
Увеличение максимального количества открытых файловых дескрипторов для каждой службы
Вы можете увеличить максимальное количество открытых файловых дескрипторов для конкретного сервиса, а не для всей операционной системы. В качестве примера возьмем apache.
Откройте настройки службы с помощью systemctl:
| 1 | systemctl edit httpd.service |
Добавьте нужные ограничения, например:
| 1 2 3 | [Service] LimitNOFILE=10000 LimitNOFILESoft=10000 |
После внесения изменений обновите конфигурацию службы и перезапустите ее:
| 1 2 | systemctl daemon-reload systemctl restart httpd.service |
Чтобы проверить, изменились ли значения, получите PID службы:
| 1 | systemctl status httpd.service |
Например, PID службы равен 3869704:
| 1 | cat /proc/3869704/limits | grep "Max open files" |
Значение должно быть равно 10000. Таким образом, вы изменили значение Max open files для конкретного сервиса.
Изменение лимита открытых файлов для текущего сеанса пользователя
Чтобы изменить максимальный лимит открытых файлов для текущей сессии пользователя, выполните следующую команду:
| 1 | ulimit -n 3000 |
Если указать здесь значение, превышающее заданное в жестком ограничении, то возникнет ошибка:
| 1 | -bash: ulimit: open files: cannot modify limit: Operation not permitted |
После закрытия сессии и открытия новой лимиты вернутся к исходным значениям, указанным в файле /etc/security/limits.conf.
Заключение
Ошибку "Too Many Open Files" можно исправить и оптимизировать в Linux системах, используя различные методы. Важно понимать причины возникновения ошибки и принимать меры для ее устранения. Правильное использование инструментов и оптимизация открытых файлов позволят избежать проблем с перегрузкой системы и обеспечить ее эффективную работу.
