Subj.Имею новый сервер в Хетзнере
Linux XXXX.info 3.16.0-5-amd64 #1 SMP Debian 3.16.51-3+deb8u1 (2018-01-08) x86_64 GNU/Linux
Description: Debian GNU/Linux 8.10 (jessie)
Release: 8.10
Codename: jessieVendor: FUJITSU // American Megatrends Inc.
Version: V5.0.0.12 R1.14.0 for D3401-H2x# free -h
total used free shared buffers cached
Mem: 62G 2,7G 60G 46M 105M 907M
-/+ buffers/cache: 1,7G 61G
Swap: 15G 0B 15G
# /sbin/modinfo e1000e
filename: /lib/modules/3.16.0-5-amd64/updates/drivers/net/ethernet/intel/e1000e/e1000e.ko
version: 3.4.0.2-NAPI
license: GPL
description: Intel(R) PRO/1000 Network Driver
author: Intel Corporation, <linux.nics@intel.com>
srcversion: 4EE58542A17EFC5DC008C2E
...Ошибки в dmesg:
[13752.764178] nginx[22731]: segfault at 563300332f20 ip 00007f3e46f38ee6 sp 00007ffe72ca0420 error 4 in libcrypto.so.1.0.0[7f3e46e26000+1cd000]
[23328.806546] swap_free: Unused swap offset entry 00080000
[23328.806634] BUG: Bad page map in process bash pte:20000000 pmd:ff0ec9067
[23328.806712] addr:00007ffa1cc10000 vm_flags:08000070 anon_vma: (null) mapping:ffff881019f7d9e8 index:100
[23328.806798] vma->vm_ops->fault: filemap_fault+0x0/0x420
[23328.806881] vma->vm_file->f_op->mmap: ext4_file_mmap+0x0/0x60 [ext4]
[23328.806958] CPU: 6 PID: 27166 Comm: bash Tainted: G O 3.16.0-5-amd64 #1 Debian 3.16.51-3+deb8u1
[23328.807041] Hardware name: FUJITSU /D3401-H2, BIOS V5.0.0.12 R1.14.0 for D3401-H2x 10/24/2017
[23328.807124] 0000000000000000 ffffffff8151f937 00007ffa1cc10000 ffff880ff6bd0558
[23328.807410] ffffffff8116caa0 0000000020000000 ffff880ff0ec9080 0000000020000000
[23328.807720] 00007ffa1cd35000 00007ffa1cc10000 ffff880f8030bcd0 0000000000000000
[23328.808053] Call Trace:
[23328.808138] [<ffffffff8151f937>] ? dump_stack+0x5d/0x78
[23328.808227] [<ffffffff8116caa0>] ? print_bad_pte+0x1a0/0x250
[23328.808317] [<ffffffff8116de93>] ? unmap_single_vma+0x623/0x920
[23328.808407] [<ffffffff8116f199>] ? unmap_vmas+0x49/0x90
[23328.808496] [<ffffffff81177af2>] ? exit_mmap+0x92/0x150
[23328.808586] [<ffffffff8106726c>] ? mmput+0x5c/0x120
[23328.808668] [<ffffffff811b6469>] ? flush_old_exec+0x389/0x700
[23328.808759] [<ffffffff8120094c>] ? load_elf_binary+0x32c/0x17b0
[23328.808850] [<ffffffffa03c805e>] ? load_misc_binary+0x5e/0x460 [binfmt_misc]
[23328.808943] [<ffffffff811b595c>] ? copy_strings.isra.16+0x2ac/0x310
[23328.809034] [<ffffffff811b5ca1>] ? search_binary_handler+0x91/0x1a0
[23328.809125] [<ffffffff811b6f77>] ? do_execve_common.isra.22+0x4d7/0x650
[23328.809217] [<ffffffff8107ce00>] ? do_sigaction+0x160/0x1d0
[23328.809307] [<ffffffff811b7314>] ? SyS_execve+0x24/0x30
[23328.809397] [<ffffffff815261d9>] ? stub_execve+0x69/0xa0
[23328.809485] Disabling lock debugging due to kernel taint
[23328.809598] BUG: Bad rss-counter state mm:ffff880ff0c32b80 idx:2 val:-1Доступные ядра:
# apt-cache search linux-image
linux-headers-3.16.0-4-amd64 - Header files for Linux 3.16.0-4-amd64
linux-image-3.16.0-4-amd64 - Linux 3.16 for 64-bit PCs
linux-image-3.16.0-4-amd64-dbg - Debugging symbols for Linux 3.16.0-4-amd64
linux-image-amd64 - Linux for 64-bit PCs (meta-package)
linux-image-amd64-dbg - Debugging symbols for Linux amd64 configuration (meta-package)
nvidia-kernel-3.16.0-4-amd64 - NVIDIA binary kernel module for Linux 3.16.0-4-amd64
linux-headers-4.9.0-0.bpo.4-amd64 - Header files for Linux 4.9.0-0.bpo.4-amd64
linux-headers-4.9.0-0.bpo.4-rt-amd64 - Header files for Linux 4.9.0-0.bpo.4-rt-amd64
linux-headers-4.9.0-0.bpo.5-amd64 - Header files for Linux 4.9.0-0.bpo.5-amd64
linux-headers-4.9.0-0.bpo.5-rt-amd64 - Header files for Linux 4.9.0-0.bpo.5-rt-amd64
linux-image-4.9.0-0.bpo.4-amd64 - Linux 4.9 for 64-bit PCs
linux-image-4.9.0-0.bpo.4-amd64-dbg - Debug symbols for linux-image-4.9.0-0.bpo.4-amd64
linux-image-4.9.0-0.bpo.4-rt-amd64 - Linux 4.9 for 64-bit PCs, PREEMPT_RT
linux-image-4.9.0-0.bpo.4-rt-amd64-dbg - Debug symbols for linux-image-4.9.0-0.bpo.4-rt-amd64
linux-image-4.9.0-0.bpo.5-amd64 - Linux 4.9 for 64-bit PCs
linux-image-4.9.0-0.bpo.5-amd64-dbg - Debug symbols for linux-image-4.9.0-0.bpo.5-amd64
linux-image-4.9.0-0.bpo.5-rt-amd64 - Linux 4.9 for 64-bit PCs, PREEMPT_RT
linux-image-4.9.0-0.bpo.5-rt-amd64-dbg - Debug symbols for linux-image-4.9.0-0.bpo.5-rt-amd64
linux-headers-4.9.0-2-grsec-amd64 - Header files for Linux 4.9.0-2-grsec-amd64
linux-image-4.9.0-2-grsec-amd64 - Linux 4.9 for 64-bit PCs, Grsecurity protection
linux-image-grsec-amd64 - Linux image meta-package, grsec featureset
linux-image-rt-amd64 - Linux for 64-bit PCs (meta-package), PREEMPT_RT
linux-image-rt-amd64-dbg - Debugging symbols for Linux rt-amd64 configuration (meta-package)
linux-image-4.9.0-0.bpo.2-amd64 - Linux 4.9 for 64-bit PCs (signed)
linux-image-4.9.0-0.bpo.2-rt-amd64 - Linux 4.9 for 64-bit PCs, PREEMPT_RT (signed)
linux-headers-3.16.0-5-amd64 - Header files for Linux 3.16.0-5-amd64
linux-image-3.16.0-5-amd64 - Linux 3.16 for 64-bit PCs
linux-image-3.16.0-5-amd64-dbg - Debugging symbols for Linux 3.16.0-5-amd64На 9-туй ветку нет желания мигрировать...
это может быть рам хреновая, или даже кэш проца
напиши тикет
хецнер те ещё барыги ...
> это может быть рам хреновая, или даже кэш проца
> напиши тикет
> хецнер те ещё барыги ...Память полностью чекал.
Стресстест для проца делал на 10 мин.
Все в норме.
> Память полностью чекал.Второй раз прочекал память...
Все в норме.
> Память полностью чекал.сколько часов? Я помню был случай, когда память начинала сыпаться после 6-8 часов :D Выяснилось только после запуска теста на ночь.
> Стресстест для проца делал на 10 мин.
маловато будет
>> Память полностью чекал.
> сколько часов? Я помню был случай, когда память начинала сыпаться после 6-8
> часов :D Выяснилось только после запуска теста на ночь.5 с половиной прогона заняло время почти 15 часов.
>> Стресстест для проца делал на 10 мин.
> маловато будетЗапустил еще стресс-тест на 15 минут.
> [13752.764178] nginx[22731]: segfault at 563300332f20 ip 00007f3e46f38ee6 sp 00007ffe72ca0420 error 4 in libcrypto.so.1.0.0[7f3e46e26000+1cd000]падает nginx и в районе libcrypto.so или возможно сторонние модули собранные в nginx вызывают крах. со стандартным nginx попробуйте проверить работу.
#nginx -V в студию
>> [13752.764178] nginx[22731]: segfault at 563300332f20 ip 00007f3e46f38ee6 sp 00007ffe72ca0420 error 4 in libcrypto.so.1.0.0[7f3e46e26000+1cd000]
> падает nginx и в районе libcrypto.so или возможно сторонние модули собранные в
> nginx вызывают крах. со стандартным nginx попробуйте проверить работу.
> #nginx -V в студиютам еще было php5-fpm, apt-get, sshd...
# nginx -V
nginx version: nginx/1.12.2
built by gcc 4.9.2 (Debian 4.9.2-10)
built with OpenSSL 1.0.1t 3 May 2016
TLS SNI support enabled
configure arguments: --prefix=/etc/nginx --sbin-path=/usr/sbin/nginx --modules-path=/usr/lib/nginx/modules --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --pid-path=/var/run/nginx.pid --lock-path=/var/run/nginx.lock --http-client-body-temp-path=/var/cache/nginx/client_temp --http-proxy-temp-path=/var/cache/nginx/proxy_temp --http-fastcgi-temp-path=/var/cache/nginx/fastcgi_temp --http-uwsgi-temp-path=/var/cache/nginx/uwsgi_temp --http-scgi-temp-path=/var/cache/nginx/scgi_temp --user=nginx --group=nginx --with-compat --with-file-aio --with-threads --with-http_addition_module --with-http_auth_request_module --with-http_dav_module --with-http_flv_module --with-http_gunzip_module --with-http_gzip_static_module --with-http_mp4_module --with-http_random_index_module --with-http_realip_module --with-http_secure_link_module --with-http_slice_module --with-http_ssl_module --with-http_stub_status_module --with-http_sub_module --with-http_v2_module --with-mail --with-mail_ssl_module --with-stream --with-stream_realip_module --with-stream_ssl_module --with-stream_ssl_preread_module --with-cc-opt='-g -O2 -fstack-protector-strong -Wformat -Werror=format-security -Wp,-D_FORTIFY_SOURCE=2 -fPIC' --with-ld-opt='-Wl,-z,relro -Wl,-z,now -Wl,--as-needed -pie'
>>> [13752.764178] nginx[22731]: segfault at 563300332f20 ip 00007f3e46f38ee6 sp 00007ffe72ca0420 error 4 in libcrypto.so.1.0.0[7f3e46e26000+1cd000]
>> падает nginx и в районе libcrypto.so или возможно сторонние модули собранные в
>> nginx вызывают крах. со стандартным nginx попробуйте проверить работу.
>> #nginx -V в студию
> там еще было php5-fpm, apt-get, sshd...
> built with OpenSSL 1.0.1t 3 May 2016если в системе тоже стоит 1.0.1t, думаю следуют поставить обновления на 1.0.1t
>> built with OpenSSL 1.0.1t 3 May 2016
> если в системе тоже стоит 1.0.1t, думаю следуют поставить обновления на 1.0.1t
> https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=838652
# apt-cache policy openssl
openssl:
Установлен: 1.0.1t-1+deb8u7
Кандидат: 1.0.1t-1+deb8u7
Таблица версий:
1.0.2l-1~bpo8+1 0
100 http://mirror.hetzner.de/debian/packages/ jessie-backports/main amd64 Packages
100 http://http.debian.net/debian/ jessie-backports/main amd64 Packages
100 http://ftp.us.debian.org/debian/ jessie-backports/main amd64 Packages
*** 1.0.1t-1+deb8u7 0
500 http://mirror.hetzner.de/debian/packages/ jessie/main amd64 Packages
500 http://mirror.hetzner.de/debian/security/ jessie/updates/main amd64 Packages
500 http://security.debian.org/ jessie/updates/main amd64 Packages
500 http://http.debian.net/debian/ jessie/main amd64 Packages
100 /var/lib/dpkg/status
# apt-get install openssl
Чтение списков пакетов… Готово
Построение дерева зависимостей
Чтение информации о состоянии… Готово
Уже установлена самая новая версия openssl.
openssl установлен вручную.И как обновить?
Надо ли потом обновлять все ПО, зависящее от openssl?
Твоя проблема явно не в этом. Если ядро говорит BUG - это уж точно не пакетик с openssl виноват.
> падает nginx и в районе libcrypto.so или возможно сторонние модулиО чем ты? Это похоже лишь следствие какого-то более глобального системного факапа:
[23328.806634] BUG: Bad page map in process bash pte:20000000 pmd:ff0ec9067
У гражданина BUG в ядре был. После этого что угодно может упасть/сгореть синим пламенем/объявить себя покемоном.И таки это или железо сбоит или глюки кернела. Если первое - сбой в крипто как раз логичен, оно интенсивно железо использует и сбой наиболее вероятен в именно этот момент. А попробовать поставить более свежий кернель, из бэкпортов, например? Что-нибудь ветки 4.х не очень древнее? Сбой где-то рядом с EXT4, в нем с эпохи 3.16 тоже багов починено немало. Мало ли. И fsck прогнать, может файлуха побилась?
>> падает nginx и в районе libcrypto.so или возможно сторонние модули
> О чем ты?
> [23328.806634] BUG: Bad page map in process bash pte:20000000 pmd:ff0ec9067
>А чо от Анонима? Неуверенный, но написать хочется, а позориться нет? :)
> попробовать поставить
Убунтушник.
Клиент создал тикет в ТП с просьбой заменить мать и память.
Посмотрим, что они скажут.
> Клиент создал тикет в ТП с просьбой заменить мать и память.
> Посмотрим, что они скажут.По личному опыту — вряд ли поменяют
>> Клиент создал тикет в ТП с просьбой заменить мать и память.
>> Посмотрим, что они скажут.
> По личному опыту — вряд ли поменяютУже начали.
Но намекнули, что с ОС будете сами договариваться :)