一次被黑经历与一些反思.docx

1、一次被黑经历与一些反思2012 年 5 月 22 日 17 时许，发现公司一台非正式生产服务器（有公网 IP）的 root 密码被修改，导致无法登陆服务器，排查处理过程如下：1、通过 vmware vcenter 管理端进入单用户模式修改 root 密码2、查看最近登陆信息，如下：rootlocalhost home# last | moreroot pts/0 188.173.171.146 Tue May 22 16:16 - 16:30 (00:13) 发现 16:16 分来自罗马尼亚的 IP（IP138 资源）有登陆立刻查看 secure 日志，如下May 22 16:16:46 lo

2、calhost sshd26364: Address 188.173.171.146 maps to 188-173-171-146.next-gen.ro, but this does not map back to the address - POSSIBLE BREAK-IN ATTEMPT!May 22 16:16:48 localhost sshd26364: Accepted password for root from 188.173.171.146 port 1493 ssh2May 22 16:16:48 localhost sshd26364: pam_unix(sshd:

3、session): session opened for user root by (uid=0)May 22 16:17:09 localhost passwd: pam_unix(passwd:chauthtok): password changed for rootMay 22 16:24:53 localhost sshd3521: Received signal 15; terminating.May 22 16:34:51 localhost sshd26364: pam_unix(sshd:session): session closed for user rootMay 22

4、16:39:47 localhost groupadd1622: new group: name=screen, GID=84可以确定此机已经被黑，首先将此 IP 188.173.171.146 加入 hosts.deny 防止在处理过程中再次破坏，通过日志可以看出，被建立了一个组 screen gid 为 84，在/etc/group 中找到删除，继续排查。由于此机器非正式环境使用，安全方面无过多策略，只开启 http 下载服务，扫描端口如下：rootlocalhost home# nmap 127.0.0.1Starting Nmap 4.11 ( http:/www.insecure.o

5、rg/nmap/ ) at 2012-05-23 15:13 CSTInteresting ports on localhost.localdomain (127.0.0.1):Not shown: 1676 closed portsPORT STATE SERVICE22/tcp open ssh25/tcp open smtp80/tcp open http111/tcp open rpcbind900/tcp open unknownps 查看进程如下rootlocalhost home# ps auxUSER PID %CPU %MEM VSZ RSS TTY STAT START T

6、IME COMMANDroot 3676 0.0 0.0 74836 1236 ? S 16:56 0:00 crondxfs 3699 0.0 0.0 20108 1044 ? S 16:56 0:00 xfs -droppriv -daavahi 3750 0.0 0.0 23172 1284 ? S 16:56 0:00 avahi-daemon: runavahi 3751 0.0 0.0 23172 340 ? S 16:56 0:00 avahi-daemon: chrroot 3883 0.0 0.0 18440 480 ? S 16:56 0:00 /usr/sbin/smar

7、td root 3888 0.0 0.0 3816 492 tty2 S 16:56 0:00 /sbin/mingetty ttroot 3890 0.0 0.0 3816 492 tty3 S 16:56 0:00 /sbin/mingetty ttroot 3891 0.0 0.0 3816 484 tty4 S 16:56 0:00 /sbin/mingetty ttroot 3892 0.0 0.0 3816 488 tty5 S 16:56 0:00 /sbin/mingetty ttroot 3893 0.0 0.0 3816 484 tty6 S 16:56 0:00 /sbi

8、n/mingetty ttroot 3959 0.0 0.8 258352 16992 ? SN 16:56 0:00 /usr/bin/python -root 3961 0.0 0.0 12940 1192 ? SN 16:56 0:00 /usr/libexec/gam_root 4024 0.0 0.0 3816 492 tty1 S 16:56 0:00 /sbin/mingetty ttroot 4025 0.0 0.0 24068 1740 ? S 16:56 0:00 sshd: rootpts/0,root 4036 0.0 0.0 66088 1580 pts/0 S 16

9、:56 0:00 -bashroot 4944 0.5 0.2 157528 5196 ? S 17:24 0:28 /usr/bin/python /root 5170 0.0 0.0 66084 1484 pts/1 S 17:37 0:00 -bashroot 5200 0.0 0.0 24068 1696 ? S 17:37 0:00 sshd: rootpts/2root 5208 0.0 0.0 66088 1536 pts/2 S 17:37 0:00 -bashroot 5341 0.0 0.0 23904 1688 ? S 17:49 0:00 sshd: rootpts/3

10、root 5349 0.0 0.0 66088 1572 pts/3 S 17:49 0:00 -bashroot 5457 0.0 0.0 23904 1548 ? S 17:59 0:00 sshd: rootpts/4root 5465 0.0 0.0 66084 1484 pts/4 S 17:59 0:00 -bashroot 5591 0.0 0.0 24068 1704 ? S 18:12 0:00 sshd: rootpts/5root 5599 0.0 0.0 66088 1568 pts/5 S 18:12 0:00 -bashroot 5895 0.0 0.1 4200

11、2092 pts/5 R 18:53 0:00 ps aux从进程并未看出有什么异常进程，继续排查查看日志目录，发现 maillog 日志异常大，内容如下：)May 22 16:53:48 localhost sendmail3647: q4M8rjFf003627: to=, ctladdr= (0/0), delay=00:00:03, xdelay=00:00:03, mailer=esmtp, pri=120382, relay=. 66.94.238.147, dsn=2.0.0, stat=Sent (ok dirdel)May 22 16:56:30 localhost send

12、mail3965: q4M8uU5j003965: to=, ctladdr=root (0/0), delay=00:00:00, xdelay=00:00:00, mailer=relay, pri=30083, relay=127.0.0.1 127.0.0.1, dsn=2.0.0, stat=Sent (q4M8uUoA003985 Message accepted for delivery)May 22 16:56:32 localhost sendmail3987: q4M8uUoA003985: to=, ctladdr= (0/0), delay=00:00:02, xdel

13、ay=00:00:02, mailer=esmtp, pri=120381, relay=. 67.195.103.233, dsn=2.0.0, stat=Sent (ok dirdel)May 22 16:56:43 localhost sendmail4030: q4M8uhGd004030: to=, ctladdr=root (0/0), delay=00:00:00, xdelay=00:00:00, mailer=relay, pri=30083, relay=127.0.0.1 127.0.0.1, dsn=2.0.0, stat=Sent (q4M8uhR3004033 Me

14、ssage accepted for delivery)May 22 16:56:46 localhost sendmail4035: q4M8uhR3004033: to=, ctladdr= (0/0), delay=00:00:03, xdelay=00:00:03, mailer=esmtp, pri=120381, relay=. 72.30.235.196, dsn=2.0.0, stat=Sent (ok dirdel)可以看出，在频繁给 yahoo 发邮件，本以为此人只为盗发邮件才入侵我的机器，但是仔细一看，以前被盗发邮件都发送给不同账号，但这个是同一账号，应该是黑客接收邮件的

15、客户端。继续排查。查看定时任务：rootlocalhost mabil# ls /var/spool/crronrootrootlocalhost mail# crontab -l0 6 * * * /usr/sbin/ntpdate asia.pool.ntp.org /var/log/ntpdatelog没有异常的定时任务查看用户rootlocalhost mail# cat /etc/passwdroot:x:0:0:root:/root:/bin/bashbin:x:1:1:bin:/bin:/bin/bashoprofile:x:16:16:Special user account

16、to be used by OProfile:/home/oprofile:/sbin/nologinsshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologinxfs:x:43:43:X Font Server:/etc/X11/fs:/sbin/nologinrpcuser:x:29:29:RPC Service User:/var/lib/nfs:/sbin/nologinnfsnobody:x:4294967294:4294967294:Anonymous NFS User:/var/lib/nfs:/sbin/n

17、ologinhaldaemon:x:68:68:HAL daemon:/:/sbin/nologinavahi-autoipd:x:100:156:avahi-autoipd:/var/lib/avahi-autoipd:/sbin/nologinapache:x:48:48:Apache:/var/www:/sbin/nologinnagios:x:502:501:/home/nagios:/bin/bash异常：仔细看一下 bin 用户的登陆 shell，默认应该为/sbin/nologin，它为/bin/bash ，也就是意味着它可以通过密码登陆系统，改之。查看 grouproot:x:

18、0:rootbin:x:1:root,bin,daemondaemon:x:2:root,bin,daemonsys:x:3:root,bin,admadm:x:4:root,adm,daemontty:x:5:nagios:x:501:screen:x:84:除了最后一行 screen（已经在日志中提示）异常，其他无异常，删之到了此时，不知道如何排查了，感觉被黑以后并没有对服务器做过多操作，top 盯着看看吧，有什么特殊进程：啊哈，看到了，不是进程，是显示，6:53pm up 1:59, 6 users, load average: 0.00, 0.00, 0.00102 processes

19、: 101 sleeping, 1 running, 0 zombie, 0 stoppedCPU states: 0.7% user, 0.6% system, 0.0% nice, 98.5% idleMem: 2058840K av, 613508K used, 1445332K free, 0K shrd, 86528K buffSwap: 2064376K av, 0K used, 2064376K free 327072K cached$Unknown command - hit h for help$IZE RSS SHARE STAT LIB %CPU %MEM TIME CO

20、MMAND1 root 15 0 10372 688 576 S 0 0.0 0.0 0:00 init2 root 0K -5 0 0 0 SWTampa.FL.US.Undernet.org:ircd (ESTABLISHED)发现正在连接美国的一个域名（ip138),tcp 信息包状态为 established查看 ircd 服务是什么：rootlocalhost # cat /etc/services | grep ircd ircd 6667/tcp # Internet Relay Chatircd 6667/udp # Internet Relay Chat6667 端口，查看下

21、rootlocalhost # lsof -i:6667COMMAND PID USER FD TYPE DEVICE SIZE NODE NAMEperl 5172 root 3u IPv4 22292 TCP 120.72.48.51:51501-Tampa.FL.US.Undernet.org:ircd (ESTABLISHED)perl 19193 root 3u IPv4 953876 TCP 120.72.48.51:55219-Tampa.FL.US.Undernet.org:ircd (ESTABLISHED）经过 google，找到这样一篇文章http:/ ，认为此程序是个木

22、马程序查看此进程的 commandrootlocalhost # ps aux | grep 5172root 5172 48.1 0.1 88552 4028 ? R May23 627:05 /usr/sbin/sshd立刻就明白了，正对应了/etc/init.d/sshd 的权限有问题老套路，替换、删除（包括/etc/init.d/sshd),然后重启系统重启后，再次使用 top 命令查看，系统负载正常，进程也正常了，到此问题解决观察了两天，发现并无异常了，但是由于是非正式生产机器，还是准备从做下系统以绝后患一些安全方面的反思：1、iptables 是个好东西，提供四层的包过滤防护功能，

23、运用得当可以防止很多安全隐患。2、hosts.deny/allow ，存在于 Iptables 之下的硬性防护措施，虽然不怎么灵活但是安全性更高3、Selinux，这个内核级的防护墙被很多人所放弃，主要是由于它很不灵活，如果运用不得当会更自己添加很多麻烦，但是它对于保护系统安全非常重要4、sshd 的策略，禁止 root 以及修改端口是个不错的办法5、密码复杂性以及定期更换密码、检查系统账号是系统管理员的日常工作6、第三方监控以及监控脚本是个不错的策略，zabbix 和 cacti 都支持监控系统登录用户7、系统漏洞：尽量使用较新版本的二进制包部署服务器的应用程序8、第三方软件：fail2ban 和 denyhost 这两款防护软件个人认为还不错9、合理运用权限位控制系统文件被修改