Android 系统调试技巧（5）内核异常调试-

1. 前言

这里总结几种内核异常时，常用的几种调试方法

2. Watchdog softlockup

linux-3.4\Documentationlockup-watchdogs.txt

（1） Linux3.4 Watchdog softlockup配置

Munuconfig配置
CONFIG_BOOTPARAM_SOFTLOCKUP_PANIC_VALUE=0
检测到softlockup后不触发内核panic；配置1会触发内核panic

Cmdline传参
softlockup_panic=1 ： 检测到后系统触发panic
softlockup_panic=0 ： 检测到softllockup后系统不触发panic
nosoftlockup ： 关闭watchdog检测
nowatchdog ： 关闭watchdog检测

（2）内核调试节点

/proc/sys/kernel/watchdog
echo "0" ：关闭watchdog检测功能；echo "1"：使能watchdog检测功能

/proc/sys/kernel/nmi_watchdog
echo "0" ：关闭hardlockup检测功能；echo "1"：使能hardlockup检测功能

/proc/sys/kernel/watchdog_thresh
echo "N" ：更改watchdog

/proc/sys/kernel/softlockup_panic
echo "0" ： 检测到softllockup后系统不触发panic

（3）原理

每个cpu 的per_cpu独立内存区都创建了以下变量：
watchdog_touch_ts ： 看门狗定时器触发后当前的时间戳
softlockup_watchdog ：softlockup检测线程task_struct结构体指针
watchdog_hrtimer ：watchdog 定时器
softlockup_touch_sync ：softlock线程更新标志
soft_watchdog_warn： softlockup检测警告标志

如果系统运行的平台支持cpu hotplug功能，那么当cpu从off状态唤被调度到online状态的过程中，watchdog模块会响应cpu_chain发送的不同notifier消息，为cpu创建watchdog_hrtimer定时器和softlockup_watchdog 内核线程，该线程的调度器为SCHED_FIFO，线程名为watchdog/%d,%d与当前的cpuid一致，因此通过ps命令可以看到当前系统每一个cpu都会对应一个watchdog/0、watchdog/1、watchdog/2不等的内核线程绑定在对应的cpu上。

softlockup_watchdog 线程初始化过程：
1).将当前cpu的时间戳保存在per_cpu内存区的watchdog_touch_ts变量中；
2).启动watchdog_hrtimer定时器，间隔20s；

softlockup_watchdog 线程运行过程：
1).将当前cpu的时间戳保存在per_cpu内存区的watchdog_touch_ts变量中；
2).释放cpu调度执行权

watchdog_hrtimer定时器工作机制
1).定时器触发后，从per_cpu内存区读取watchdog_touch_ts变量值；
2).当前cpu的per_cpu内存区hrtimer_interrupts变量计数加1；
3).每隔hrtimer_interrupts计数增加3次时，检查一次其他cpu的
watchdog_nmi_touch变量是否为true；
如果为false，检查该cpu的hrtimer_interrupts变量和hrtimer_interrupts_saved变量是否相等，如果相等则认为该cpu有可能发生了hardlockup，定时器计数长时间没有更新；
如果不相等，则说明该cpu没有异常，将该cpu的hrtimer_interrupts变量和hrtimer_interrupts_saved

（4）问题场景分析

[  322.239524] BUG: soft lockup - CPU#0 stuck for 22s! [swapper/0:0]
[  322.246258] Modules linked in: uvcvideo videobuf2_vmalloc videobuf2_memops videobuf2_core sunxi_ir_rx algif_skcipher algif_rng algif_hash af_alg ss snd_usb_audio snd_usbmidi_lib snd_hwdep mali(O) fivm nand(O)
[  322.266994] 
[  322.268645] CPU: 0 PID: 0 Comm: swapper/0 Tainted: G           O 3.10.65 #7
[  322.276326] task: ffffffc000b60850 ti: ffffffc000b50000 task.ti: ffffffc000b50000
[  322.284592] PC is at __do_softirq+0xbc/0x29c
[  322.289305] LR is at __do_softirq+0xa8/0x29c
[  322.294014] pc : [<ffffffc0000a0adc>] lr : [<ffffffc0000a0ac8>] pstate: 80000145
[  322.302168] sp : ffffffc000b57c30

BUG: soft lockup 出现问题，一般有两种可能性：

1). CPU#X上出现大量的中断，不断的抢占内核进程调度导致。
例如某问题场景下内核驱动模块打印大量的出错日志，比如display 或mali fence timeout大量出错日志；
例如某问题场景下平台某硬件模块出现异常，不断触发中断，卡死Cpu；比如dvb测试ts读写时，tsc模块出现异常，中断20000次/S；

2).CPU#X上R状态进程长时间处于TASK_RUNNING状态抢占CPU而不发生调度切换。
例如某问题场景下内核态进程在关闭内核抢占后，陷入死循环；

3). CPU#X上S状态/D状态进程关闭内核抢占后发生睡眠
例如某问题场景下mutext锁等待睡眠；
例如某问题场景下等待pagecache write-back阻塞太久；
例如某问题场景下平台emmc存储出现IO异常，内核态进程在关闭内核抢占后，等待write-back阻塞超时；
preempt_disable();
...睡眠/condition等待超时；
preempt_enable();

分析方法：

1). 锁定所有的Cpu online
如果系统只有一个Cpu online并且发生了soft lockup，此时无法进行debug调试，锁定所有的Cpu online后，可以通过其他在线Cpu进行分析调试；例如sunxi平台锁定Cpu方法：
echo N > /sys/kernel/autohotplug/lock { N:max cpus }

2). 动态修改watchdog soft lockup时间或者关闭watchdog检测
echo 50 > /proc/sys/kernel/watchdog_thresh { 调大soft lockup检测周期 }
echo 0 > /proc/sys/kernel/watchdog { 关闭watchdog }

3). 周期性检查系统中断是否发生异常
检查系统中断是否存在异常
while true;do cat /proc/interrupts; sleep 1; done"

或者通过trace跟踪irq时间
echo 1 > /sys/kernel/debug/tracing/tracing_enabled
echo 1 > /sys/kernel/debug/tracing/tracing_on
echo > /sys/kernel/debug/tracing/trace
echo 1 >/sys/kernel/debug/tracing/events/irq/enable
cat /sys/kernel/debug/tracing/trace_pipe或cat /sys/kernel/debug/tracing/trace_pipe > /mnt/trace.log

4). 检查进程关闭抢占事件
内核menuconfig确认打开内核preempt trace跟踪功能
CONFIG_PREEMPT_TRACER=y
通过trace跟踪preemptoff事件，找到关闭抢占的代码点
echo 0 > /sys/kernel/debug/tracing/options/function-trace
echo preemptoff > /sys/kernel/debug/tracing/current_tracer
echo 1 > /sys/kernel/debug/tracing/tracing_on
echo 0 > /sys/kernel/debug/tracing/tracing_max_latency
cat /sys/kernel/debug/tracing/trace_pipe或cat /sys/kernel/debug/tracing/trace_pipe > /mnt/trace.log

3.Watchdog hardlockup

Watchdog hardlockup配置
Munuconfig配置
CONFIG_HARDLOCKUP_DETECTOR=y

使能hardlockup检测功能
CONFIG_HARDLOCKUP_DETECTOR_NMI=n

需要平台IC硬件PMU模块支持，如果硬件不支持，关闭该项配置
CONFIG_HARDLOCKUP_DETECTOR_OTHER_CPU=y

使能多Cpu hardlockup检测功能
CONFIG_BOOTPARAM_HARDLOCKUP_PANIC_VALUE=0
检测到 hardlockup后不触发内核panic；配置1会触发内核panic

Cmdline传参
nmi_watchdog=panic : hardlockup后触发内核panic
nmi_watchdog=nopanic : hardlockup后不触发内核panic
nmi_watchdog=0 : 关闭watchdog检测

4. Hung task detected

Linux3.4 Hung task配置
Munuconfig配置
CONFIG_DETECT_HUNG_TASK=y
CONFIG_DEFAULT_HUNG_TASK_TIMEOUT=120

Cmdline传参
hung_task_panic=1 ： 检测进程出现长时间block状态后触发panic
hung_task_panic=0 ： 检测进程出现长时间block状态后不处罚panic

内核调试节点
/proc/sys/kernel/hung_task_check_count
/proc/sys/kernel/hung_task_panic
/proc/sys/kernel/hung_task_timeout_secs
/proc/sys/kernel/ hung_task_warnings