Android 系统调试技巧（4）系统异常调试

1. 前言

这里总结几种系统异常时，常用的几种调试方法

2. Debuggerd

Debuggerd 和 echo t > /proc/sysrq-trigger 一起调试进程空间和内核空间死锁、睡眠问题

3.Kill命令

Kill -6
可以打印所有进程的core dump backtrace，数据会保存到/data/tombstones/tombstone_0{0..9}递增文件中，同时也会打印一份保存到
data/anr/traces.txt文件中。其效果和debuggerd 打印的core dump结果一致；

Kill -3
可以打印zygote进程空间的core dump backtrac，数据只保存到/data/anr/traces.txt文件中，类似于AMS 中watchdog服务检查到ANR后打出的traces.txt结果一致；

4.Strace

usage: strace [-CdffhiqrtttTvVxxy] [-I n] [-e expr]...
              [-a column] [-o file] [-s strsize] [-P path]...
              -p pid... / [-D] [-E var=val]... [-u username] PROG [ARGS]
   or: strace -c[df] [-I n] [-e expr]... [-O overhead] [-S sortby]
              -p pid... / [-D] [-E var=val]... [-u username] PROG [ARGS]
-c -- count time, calls, and errors for each syscall and report summary
-C -- like -c but also print regular output
-w -- summarise syscall latency (default is system time)
-d -- enable debug output to stderr
-D -- run tracer process as a detached grandchild, not as parent
-f -- follow forks, -ff -- with output into separate files
-i -- print instruction pointer at time of syscall
-q -- suppress messages about attaching, detaching, etc.
-r -- print relative timestamp, -t -- absolute timestamp, -tt -- with usecs
-T -- print time spent in each syscall
-v -- verbose mode: print unabbreviated argv, stat, termios, etc. args
-x -- print non-ascii strings in hex, -xx -- print all strings in hex
-y -- print paths associated with file descriptor arguments
-h -- print help message, -V -- print version
-a column -- alignment COLUMN for printing syscall results (default 40)
-b execve -- detach on this syscall
-e expr -- a qualifying expression: option=[!]all or option=[!]val1[,val2]...
   options: trace, abbrev, verbose, raw, signal, read, write
-I interruptible --
   1: no signals are blocked
   2: fatal signals are blocked while decoding syscall (default)
   3: fatal signals are always blocked (default if '-o FILE PROG')
   4: fatal signals and SIGTSTP (^Z) are always blocked
      (useful to make 'strace -o FILE PROG' not stop on ^Z)
-o file -- send trace output to FILE instead of stderr
-O overhead -- set overhead for tracing syscalls to OVERHEAD usecs
-p pid -- trace process with process id PID, may be repeated
-s strsize -- limit length of print strings to STRSIZE chars (default 32)
-S sortby -- sort syscall counts by: time, calls, name, nothing (default time)
-u username -- run command as username handling setuid and/or setgid
-E var=val -- put var=val in the environment for command
-E var -- remove var from the environment for command
-P path -- trace accesses to path

strace -Ff -p 1364 -T

strace -Ff -p 1364 -T -r

strace -Ff -p 1364 -T -t

或者 strace -Ff -p 1364 -T -tt

strace -Ff -p 1364 -T -tt -o /data/strace.log

strace -Ff -p 1364 -c 系统调用耗时

strace -Ff -p 1364 -c -w等待系统调用耗时

strace -Ff -p 1364 -y -tt -T

5. 应用进程ANR

（1）首先通过strace -fF -p {$PID} 确认到具体的线程ANR状态
（2）通过debuggerd -b {$PID} 确认线程backtrace栈状态
（3）异步等待
ANR线程A:A1在等待同一个进程空间的线程A:B1处理任务，再通过strace追踪线程状态；
（4）同步睡眠
ANR线程A:A1在等待一个锁，检查锁被哪个线程占用；
（5）系统调用阻塞
ANR线程A:A1在系统调用中发生睡眠，打印出进程在内核空间的栈分析系统调用睡眠原因
（6）进程间通信等待
ANR线程A:A1在进程间通信binder过程中睡眠，通过当前进程proc的binder线程状态确认线程等待关系，例如线程A:A1等待线程B:B1，通过strace或者debuggerd确认线程B:B1状态,对B:B1
的分析同样要去判断是否发生异步等待、同步睡眠、统调用阻塞和进程间通信等待

6. Monkey稳定性问题

monkey问题排查思路，monkey测试停止，无非有两种情况：

• 系统异常重启；
• 内核内存回收oom kill掉monkey(内存泄漏)

1.android场景下，一般都是a情况，针对a情况，有很多类型：
1). 系统native重要进程abort掉，父进程init进程kill掉所有子进程，重启系统；
2). system server watchdog 检测到ANR，kill掉system server，zygote检测到system server子进程退出，自己kill掉自己，init检测到子进程ygote退出后，kill掉所有的子进程重启；
3). system server 进程空间线程发生异常abort掉，走了2)的流程

2. 排查此类问题，首先要从后台log中，检查a情况是否发生，通过搜索关键字
AndroidRuntime START com.android.internal.os.ZygoteInit

如果关键字发生两次以上，说明系统发生了重启，确认了a类问题后，仍需进一步确认1)、2）、3）三类情况中的哪一种，方法如下：

针对1)类问题，搜索一下关键字，然后反向搜索，确认是否是系统native进程例如surfaceflinger发生异常；
ServiceManager( 1584): service 'display' died

ServiceManager( 1584): service 'usagestats' died

ServiceManager( 1584): service 'batterystats' died

针对2)类问题，执行搜索关键字：
WATCHDOG KILLING SYSTEM PROCESS

针对3)类问题，执行搜索关键字：
system_server

3. 现场问题分析注意事项：
首先要在log文件中，确认Zygote 和 SystemServer进程pid，然后才能去检索第一现场附件的log，一旦系统出现多次重启，很容易迷失在log中。

系统Zygote初始化关键字：
01-01 08:01:53.770 D/AndroidRuntime( 1590): >>>>>> AndroidRuntime START com.android.internal.os.ZygoteInit <<<<<<
Zygote初始化system server关键字：
01-01 08:02:01.210 I/dalvikvm( 1590): System server process 2369 has been created
01-01 08:02:01.220 I/SystemServer( 2369): start SystemServer main :16606