访问日志是站点最便宜的信息来源。多数问题用三条命令就能看出来,不需要额外工具。
场景一:查死链与报错
先统计状态码分布,找出异常:
awk '{print $9}' /www/wwwlogs/域名.log | sort | uniq -c | sort -rn | head
读法:200 占比应远高于其他;404 数量上升通常来自三处——站内链接写错、外部链接指向已删页面、扫描探测。要区分是哪一处,看请求路径与来源页字段:扫描的路径往往带常见后台文件名或工具特征。
再列出 404 最多的前二十个地址:awk '$9==404 {print $7}' 日志 | sort | uniq -c | sort -rn | head -20。如果里面出现你站点真实的页面,说明有页面被删除或改名而链接没跟着改,应当补 301 而不是放着不管。
场景二:看爬虫实际抓了什么
这一步比看收录数量可靠得多,它直接告诉你搜索引擎的行为:
grep -iE 'baiduspider|googlebot|bingbot|sogou' /www/wwwlogs/域名.log | tail -50
三个判断:有没有来(连续几天不来,先查 robots、解析、防火墙与站点可达性);抓了什么(只反复抓首页而不进内页,通常是内链结构或清单有问题);返回什么(大量 301 与 404 说明清单或跳转表与实际结构不一致)。
还可以按天统计抓取量,突增往往对应攻击式抓取或某次改版后的重新评估。
场景三:定位慢请求与异常流量
nginx 需要把响应时间写进日志格式(例如在日志格式里加上请求耗时字段)后才有数据可分析。之后可以看三件事:
- 按耗时排序找出最慢的路径,通常是查询过重的列表页或未缓存的接口,命令行形如
awk '{print $耗时列, $7}' 日志 | sort -rn | head -20; - 统计单 IP 的请求量:某个地址一秒内几十次请求,多为采集脚本或攻击,可在入口层限速而不是直接封整段;
- 对比带参数的重复请求:如果同一页面因排序、分页参数被大量重复抓取,需要在站点清单与 robots 里做规范处理,否则浪费抓取配额。
日志保留与切割的最低要求
- 必须切割,否则单文件涨到几个 GB 后无法查询,还会占满磁盘;
- 至少保留三个月的压缩历史,用于回看趋势;
- 切割后要发送信号让服务重新打开文件,否则新日志仍写进旧句柄;
- 日志里含访客 IP 与查询串,注意访问权限与对外披露范围。
习惯建议
改版、换服务器、换域名三件事之后,各抽一天专门看一次这三类数据,比事后从统计报告里发现掉流量要早两周。日志的价值就在于它是唯一能回答「爬虫和访客到底遇到了什么」的一手记录。
请立即点击咨询我们或拨打咨询热线: 400-000-1828,我们会详细为你一一解答你心中的疑难。项目经理在线

