1. Kdump工具

什么是Kdump?

Kdump是一个基于kexec的基本崩溃转储机制,当系统崩溃时,kdump使用kexec运转到第贰个水源。地球热能个根本叫做捕获内核恐怕又叫“2nd
kernel”,它以非常少的内存运转捕获内核,并抓获转储镜像。Kdump的概念是现阶段最保障的内核转储手艺,已被珍惜的linux厂家使用。(比如Red
Hat种类)

  Kdump的办事机制是在基本崩溃时, 通过kexec 工具由BIOS运行多个备用水源,
由备用水源实践一密密麻麻任务,保存内存中崩溃内核的场馆, 供后续故障分析用.

什么是Kexec?

Kexec是意气风发种可以基于现已运营底子的上下文快快捷运输转新幼功的生龙活虎种机制,而不经过BIOS。BIOS的起步在风华正茂部分重机可能有雅量外设的机械上时专门耗费时间。这种体制能够节省供给在区别根基之间切换的开垦人士的日子。
Kexec在基本空间和客商空间都有照拂的机件,内核提供了多少个kexec重启成效的连串调用。顾客空间的软件包”kexec-tools”使用那个系统调用,并实行加载和指导第三个水源(捕获内核)。
Kexec由两有的组成,一是水源空间的系统调用kexec_load,担负在生育底子(或然叫第二个根基)运维时将捕获内核(大概叫第二个水源)加载到钦定的职位。而是客户空间的kexec-tools,它将捕获内核(second
kernel)的地址传递给临蓐基本功(first
kernel),让系统在崩溃的时候能够找到捕获内核(second
kernel)的地址并运营。

  本文私下认可英特尔或INTEL X86_64构造, KugaHEL7系统境况. 

Kdump怎么工作?

在当下系统产生崩溃时,新的抓获内核被加载,然后根据已设置的一声令下去将如今事情发生前产生崩溃的类其余内存保存到三个特其他文件(vmcore)中。

上边以Fedora26做为测验演示。(Fedora和CentOS类别的种类现已在kenrel中开垦了CONFIG_KEXEC*选项。)

率先供给在系统运维时留下出给第二个底子运营的内部存款和储蓄器。内核参数”crashkernel=160M”会在系统运营时留下出160M内存的长空给捕获内核运营使用。”crashkerel=xM”还扶持任何的参数,详细的能够参照内核参数文书档案
基本参数。

# dmesg | grep -i reserving
[    0.000000] Reserving 160MB of memory at 656MB for crashkernel (System RAM: 2047MB)

系统运营后咱们能够从上面包车型客车命令中看看曾经预先留下出了160M的内存从内存的656M处。

安装客商态的包”kexec-tools”,软件包中会提供kdump所需的劳务和”kexec”快捷内核运营命令,和裁减过滤内部存款和储蓄器的”makedumpfile”命令。

[root@localhost ~]# dnf install -y kexec-tools

配备,改过kdump相关的配备文件。

[root@localhost ~]# grep -v ^# /etc/kdump.conf 

path /var/crash
core_collector makedumpfile -l --message-level 1 -d 31


[root@localhost ~]# grep -v ^# /etc/sysconfig/kdump
KDUMP_KERNELVER=""

KDUMP_COMMANDLINE=""

KDUMP_COMMANDLINE_REMOVE="hugepages hugepagesz slub_debug quiet"

KDUMP_COMMANDLINE_APPEND="irqpoll nr_cpus=1 reset_devices cgroup_disable=memory mce=off numa=off udev.children-max=2 panic=10 rootflags=nofail acpi_no_memhotplug transparent_hugepage=never nokaslr"

KEXEC_ARGS=""

KDUMP_IMG="vmlinuz"

KDUMP_IMG_EXT=""

结构文件/etc/kdump.conf设置了kdump发生时vmcore文件的积存方式,此文件修改后需求重启kdump的服务。

构造文件/etc/sysconfig/kdump,就算只是改善了COMMANDLINE相关的参数,则无需去重新build生成新的initramfs文件。

启动kdump服务:

[root@localhost ~]# systemctl restart kdump
[root@localhost ~]# systemctl status kdump
● kdump.service - Crash recovery kernel arming
   Loaded: loaded (/usr/lib/systemd/system/kdump.service; enabled; vendor preset: disabled)
   Active: active (exited) since Sat 2017-07-15 10:46:22 UTC; 36s ago
  Process: 2172 ExecStop=/usr/bin/kdumpctl stop (code=exited, status=0/SUCCESS)
  Process: 2180 ExecStart=/usr/bin/kdumpctl start (code=exited, status=0/SUCCESS)
 Main PID: 2180 (code=exited, status=0/SUCCESS)

Jul 15 10:46:21 localhost dracut[4264]: -rw-r--r--   1 root     root          127 Mar 28 02:15 usr/share/zoneinfo/Etc/UTC
Jul 15 10:46:21 localhost dracut[4264]: drwxr-xr-x   3 root     root            0 Jun 22 13:38 var
Jul 15 10:46:21 localhost dracut[4264]: lrwxrwxrwx   1 root     root           11 Jun 22 13:38 var/lock -> ../run/lock
Jul 15 10:46:21 localhost dracut[4264]: lrwxrwxrwx   1 root     root            6 Jun 22 13:38 var/run -> ../run
Jul 15 10:46:21 localhost dracut[4264]: drwxr-xr-x   2 root     root            0 Jun 22 13:38 var/tmp
Jul 15 10:46:21 localhost dracut[4264]: ========================================================================
Jul 15 10:46:21 localhost dracut[4264]: *** Creating initramfs image file '/boot/initramfs-4.11.9-300.fc26.x86_64kdump.img' done ***
Jul 15 10:46:22 localhost kdumpctl[2180]: kexec: loaded kdump kernel
Jul 15 10:46:22 localhost kdumpctl[2180]: Starting kdump: [OK]
Jul 15 10:46:22 localhost systemd[1]: Started Crash recovery kernel arming.

拥有的劳务都陈设完毕,假诺那时候系统一发布生了panic恐怕别的的有个别以致系统崩溃的现象,那是kdump服务会将立刻的内存镜像依照客商的安顿保存起来。三个简洁明了的格局是通过命令来触发:

[root@localhost ~]# echo c > /proc/sysrq-trigger

[some console log]
... ...
         Starting Kdump Vmcore Save Service...
kdump: dump target is /dev/vda1
kdump: saving to /sysroot//var/crash/127.0.0.1-2017-07-16-04:21:36/
[    2.718001] EXT4-fs (vda1): re-mounted. Opts: data=ordered
kdump: saving vmcore-dmesg.txt
kdump: saving vmcore-dmesg.txt complete
kdump: saving vmcore
Copying data                       : [100.0 %] -
kdump: saving vmcore complete
... ...
[/some console log]

当系统重启后就会在钦命的目录下见到变化的vmcore文件。能够参照结构文件”/etc/kdump.conf”里的”path”字段。

[root@localhost ~]# ls -lt /var/crash/*/
total 33492
-rw-------. 1 root root 34253115 Jul 16 04:21 vmcore
-rw-r--r--. 1 root root    40360 Jul 16 04:21 vmcore-dmesg.txt

转储文件被保留后方可用”crash”那一个软件包来剖析那一个”vmcore”文件。

起来波及了Kexec内核部分提供了一些系统调用,”kexec_load()” 和
“kexec_file_load(卡塔尔(英语:State of Qatar)”,在那之中三个用来加载捕获内核 – “kexec
-l”,其余一个来提供系统重启 – “kexec -e”。

系统调用”kexec_load(卡塔尔(英语:State of Qatar)”能够加载三个新的功底并随后可以被”reboot(卡塔尔国”调用。它是被这么定义的:

long kexec_load(unsigned long entry, unsigned long nr_segments,
                       struct kexec_segment *segments, unsigned long flags);

里头二个相当重大的是”kexec_segment”结构体:

struct kexec_segment {
    void   *buf;        /* Buffer in user space */
    size_t  bufsz;      /* Buffer length in user space */
    void   *mem;        /* Physical address of kernel */
    size_t  memsz;      /* Physical address length */
};

当reboot(卡塔尔(英语:State of Qatar)的参数为”LINUX_REBOOT_CMD_KEXEC”并被调用时,则运行新的基石时就调用”kexec_load(卡塔尔”系统调用。其余“CONFIG_KEXEC”必得在编写翻译kernel时被展开。

系统调用”kexec_load_file(卡塔尔(英语:State of Qatar)”会安装2个参数”kernel”和”initramfs”给”kexec”命令。”kexec”会读取这个数量来创设对应的数据段。

long kexec_file_load(int kernel_fd, int initrd_fd,
                           unsigned long cmdline_len, const char *cmdline,
                           unsigned long flags);

同样的”CONFIG_KEXEC_FILE”参数也要在根本编写翻译时被张开。

近来的绝大多数批发版都已经展开了”KEXEC”相关的构造参数。

上述即是三个kdump的简便流程。有关”kdump”可以捕获到的内核崩溃时间足以参谋文书档案”/usr/share/doc/kexec-tools/kexec-kdump-howto.txt”。大概请仿照效法大家写的测验用例
kdump-test。

参照他事他说加以考查资料:
kdump-paper
kdump-introduction
fedora-kexec-tools

1.1 内核管理工科具Kdump安装

  Kdump是ENCOREHEL7中自带的基本功管理工科具.在奥德赛HEL7.1事情发生以前的本子,kdump作为安装到位之后的可选组件自动安装,从EscortHEL7.1发端kdump被植入安装分界面,作为系统幼功工具供安装选择.

能够经过上边施命发号直接RPM包安装.

yum -y install kexec-tools
rpm -q kexec-tools

与此同不时间,Kdump还布署了图形化管理工科具,能够经过下边施命发号安装.

yum -y install system-config-kdump

  对于奔驰G级HEL7.4及然后的本子,kdump协助INTEL IOMMU.
而不扶持LacrosseHEL7.3及在此之前的版本.

1.2 通过命令行配置kdump内部存储器体积

  kdump能监督系统基本运维状态,其地点相比较特殊.
kdump的内部存款和储蓄器空间是在系统运维时,由指引程序分配的,相对于系统基本,kdump内存是三个独立的空间.

能够因而如下命令钦赐kdump的内部存储器空间大小.

crashkernel=128M     #为kdump保留128M的内存空间.

   crashkernel的值能够设置成“auto”,在局地有着一点都不小内部存款和储蓄器的系统中,利于达成Kdump的自动化处理.

crashkernel=auto

  当然,crashkernel的值还足以经过如下格局完成更加灵活的配置.

  crashkernel=<范围1>:<大小1>, <范围2>:<大小2>

crashkernel=512M-2G:64M,2G-:128M    #当系统内存在512M-2G之间时,为Kdump保留64M的内存空间;当系统内存大于2G时,为Kdump保留128M的内存空间.

  还足以这么:

crashkernel=128M@16M    #为Kdump保留128M的内存空间,内存地址从16M(physical address 0x01000000)开始.

1.3 Kdump的存储

  Kdump的配置在/etc/kdump.cnf中.
kdump提供二种艺术将捕获到底工崩溃数据本地保存或保存到长途主机.

#path /var/crash    #kdump本地存储目录,默认是存放在/var/crash目录下,可以根据使用习惯设置.
path /usr/local/cores 
...
#raw /dev/vg/lv_kdump    #kdump可以直接写入移动介质.
raw /dev/sdb1
...
#nfs my.server.com:/export/tmp    #kdump可以通过NFS保存到网络上其它存储设备中.
nfs test.example.com:/export/cores
...
#ssh user@my.server.com      #kdump可以通过SSH传输协议,保存远程主机上.
#sshkey /root/.ssh/kdump_id_rsa
ssh user@test.example.com
sshkey /root/.ssh/mykey

  kdump.conf中还是能在 core_collector makedumpfile 选项后增进” -c “,
使kdump文件能够被减去,以节约存款和储蓄空间.

core_collector makedumpfile -c

systemctl start kdump.service    #启动Kdump服务
systemctl enable kdump.service    #使Kdump开机自启
systemctl is-active kdump       #检查Kdump是否已启动
active
echo 1 > /proc/sys/kernel/sysrq   #模拟内核崩溃,检查/var/crash/是否自动保存Kdump捕获的内核崩溃数据, 以确定Kdump是否正常工作
echo c > /proc/sysrq-trigger

  供给静心的是

  (1卡塔尔在奔驰G级HEL7以前的本子中,kdump的仓库储存目录会随着kdump服务的起步而由系统活动成立.
EnclaveHEL7中,如若退换了kdump的蕴藏目录,则必得在运行kdump服务早前,手动创设kdump的存放目录,不然kdump服务会运营退步.

  (2卡塔尔(قطر‎假诺在装置分界面禁止使用了kdump, 而安装达成以往再通过systemctl start
kdump运维kdump, 会报内部存款和储蓄器不足无法运维的错误.
kdump的内部存款和储蓄器空间是在基本加载以前由boot分配的, 所以必得修改boot.
最棒利用kdump的图形管理工科具 system-config-kdump 加载kdump的私下认可配置,
使kdump处于可用状态, 然后重启系统, systemctl status kdump
服务处于激活状态(active卡塔尔.

1.4 利用crash效用深入分析内核崩溃

  利用crash成效组件能够解析linux内核崩溃时的互联网、磁盘、CPU、系统基本状态,快捷牢固故障点.

crash组件能够经过RPM包安装.

sudo yum -y install crash       #安装crash
sudo debuginfo-install kernel    #安装内核调试模块

 sudo crash /usr/lib/debug/lib/modules/<kernel>/vmlinux
/var/crash/<timestamp>/vmcore  #启动crash调试

测验一下:

图片 1

图片 2

crash基本调节和测量试验命令:

crash>log    #崩溃时日志记录
crash>bt     #崩溃时的堆栈信息
crash>vm     #崩溃时的内存状态
crash>ps     #崩溃时的进程状态
crash>files   #崩溃时的打开的文件
crash>exit   #退出crash

2 linux内核调校

2.1 kernel的调校渠道

  LX570HEL7中提供三种基本调校方法:

  (1)使用sysctl 命令;

  (2卡塔尔国改良/etc/sysctl.d/ 目录下的基业配置文件;

  (3卡塔尔(英语:State of Qatar)通过shell 在/proc/sys 目录下挂载设想文件系统;

2.2 sysctl命令能够列出、读取、设置基本参数,
还足以将参数设置为有时或永远.

sysctl -a        #列出所有可调校的项
sysctl kernel.version    #列出kernel的版本信息

sysctl <tunable class>.<tunable>=<value>       #使调校参数临时生效
sysctl -W <tunable class>.<tunable>=<value>   #使调校参数永久生效

2.3 校勘/etc/sysctl.d/99-sysctl.conf 目录下的99-sysctl.conf文件

cp /etc/sysctl.d/99-sysctl.conf /etc/sysctl.d/99-sysctl.conf.bak    #备份系统默认的内核参数文件
vim /etc/sysctl.d/99-my.conf    #创建新的内核参数文件

...
<tunable class>.<tunable> = <value>   #写入要调校的参数类和值
 <tunable class>.<tunable> = <value>
...
save    #保存文件
reboot sysctl -p /etc/sysctl.d/99-my.conf  #重启系统或者使用sysctl -p 命令载入新的内核参数配置

2.4 sysctl 调校内核参数

(1卡塔尔(英语:State of Qatar)调治最大央浼的aio数量.

sysctl -a | grep fs.aio    #查看内核默认的最大aio值
sysctl fs.aio-max-nr=2048576  #临时调整aio最大值

图片 3

(2卡塔尔开启本地ipv4转载作用.

sysctl net.ipv4.ip_forward = 1

(3卡塔尔(قطر‎设定进度能被分配到的最大内部存款和储蓄器空间.

sysctl vm.max_map_count = 65530

(4卡塔尔国设定系统中并且运维的最大进度数.

sysctl kernel.threads-max = 16161

  在root权限下,通过sysctl 命令的根本参数调校, 基本上能平素调整linux
的基本全体行为, 满意实际生育中的绝大许多需要.

  

相关文章