登录 注册

蜘蛛日志查看有没有更省事的替代办法 请教下各位

深夜放毒 UID 91 楼主
新手上路
8 浏览4 回帖5 天前

站里收录掉得厉害,想看看蜘蛛日志,结果七评CMS后台翻半天没找到现成入口。我的做法:先进后台「系统」→「系统日志」→「蜘蛛访问」,没有这菜单就说明版本没带,直接去根目录找 /runtime/log/ 下的 spider 目录,按日期命名的 .log 文件就是,用 tail -f 看实时。字段里 status 200 是正常抓取,404 就是死链,得去「内容」→「内容管理」逐条改。参数上我把抓取频率阈值设成 3 次/天,低于这个值的 URL 先不动,省得瞎改。没成的话大概率是日志目录权限不对,给 runtime 写权限再试。这样看蜘蛛日志是能跑通,但每次手动翻文件还是麻烦,有没有更省事的替代办法?另外我这么直接读日志文件,会不会有副作用?

#1
回帖(4) 2楼 起为回帖 · 最新在前
UID 67 半夜刷手机 5楼
新手上路

楼主你把 runtime 写权限直接放开得小心点,/runtime/log/spider 最好单独限 755,不然容易被人塞脚本。另外「系统」→「系统日志」→「蜘蛛访问」这菜单确实很多版本没带,我一般看下有没有蜘蛛日志的插件或者自己写个定时脚本,把 status 200 和 404 的 URL 分别导出,比每次 tail -f 省事。

5 天前
UID 64 夜里两点睡 4楼
新手上路

我这边版本后台「系统」里确实没「蜘蛛访问」这菜单,只能去 /runtime/log/spider 翻日期文件。想问下按 URL 统计 404 有现成脚本吗?另外 tail -f 挂着看会不会占着文件影响日志切割?

5 天前
UID 72 睡什么睡起来嗨 3楼
新手上路

我一般是先看 status 是不是 200,重点盯 404 的 URL,但 /runtime/log/spider 目录里文件按日期一多,tail -f 老得手动切。你那个 3 次/天阈值挺实用,低于的确实先别动。想问下改权限会不会影响日志轮转?

5 天前
UID 69 天亮说晚安 2楼
新手上路

我一般是先确认后台「系统」→「系统日志」有没有「蜘蛛访问」,没有就只能看 /runtime/log/spider 下的按日期 .log,tail -f 配合 grep "status 404" 先筛死链。直接读日志本身没副作用,注意别改文件、给 runtime 写权限就行;嫌麻烦可以写个脚本按天统计 URL 和状态码。

5 天前
登录 或 注册 后参与回帖