成人英语培训网 加入收藏  -  设为首页
您的位置:成人英语培训网 > 知识百科 > 正文
WordPress怎么查看蜘蛛来访记录
WordPress怎么查看蜘蛛来访记录
提示:

WordPress怎么查看蜘蛛来访记录

新建一个.php文件并把它命名为spider,把以下代码复制到文件里;
<?php
functionget_naps_bot()
{
$useragent =strtolower($_SERVER['HTTP_USER_AGENT']);
if(strpos($useragent,'googlebot')!==false){
return'Googlebot';
}
if(strpos($useragent,'msnbot')!==false){
return'MSNbot';
}
if(strpos($useragent,'slurp')!==false){
return'Yahoobot';
}
if(strpos($useragent,'baiduspider')!==false){
return'Baiduspider';
}
if(strpos($useragent,'sohu-search')!==false){
return'Sohubot';
}
if(strpos($useragent,'lycos')!==false){
return'Lycos';
}
if(strpos($useragent,'robozilla')!==false){
return'Robozilla';
}
returnfalse;
}
functionnowtime(){
$date=gmdate("Y-n-j H:i:s",time()+8*3600);
return$date;
}
$searchbot =get_naps_bot();
if($searchbot){
$tlc_thispage =addslashes($_SERVER['HTTP_USER_AGENT']);
$url=$_SERVER['HTTP_REFERER'];
$file="spiderlogs.txt";
$time=nowtime();
$data=fopen($file,"a");
fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispagen");
fclose($data);
}
?>
2
把制作好的spider.php文件上传至主题根目录中(注意不是网站根目录);
3
把以下代码复制在主题的footer.php里面(后台—外观—编辑—footer.php),我是放在最下面;

4
查看方法:浏览器访问http://www.yue521.com/spiderlogs.txt,把域名换成你的就可以了。(注:也可以查看网站根目录里面的spiderlogs.txt文件),

如何知道百度蜘蛛是否来过自己的网站?
提示:

如何知道百度蜘蛛是否来过自己的网站?

通过查看网站日志,可以了解搜索引擎蜘蛛的访问情况。
通过FTP访问网站的根目录。可以看到一个log的文件夹,这是存放日志的地方。可以压缩(日志文件一般很大)后通过下载到本地电脑上解压缩后打开日志文件。
1、网站刚上线,看搜索引擎蜘蛛的抓取情况;
如果网站提交给搜索引擎2天后,发现日志里蜘蛛不少,并都返回200,则说明已经可以正常。
只是Google展示的时间比较快,而百度则需要20天左右(经验平均值)展示出来。
2、网站异常,对比日志中蜘蛛的行为情况;
正常增加时和现在异常时的日志,进行对比分析。如果没有异常,则应该是搜索引擎展示数据库出问题所致。
如果蜘蛛爬取量明显减少,是否突然减少很多。
如果日志依然,则认为是搜索引擎的展示问题。
3、解决网站被封问题时,日志情况。
网站被封时,往往日志里有百度蜘蛛,但很少,而且往往只访问robots.txt文件和首页。
经过站长检查修改一切不符合搜索引擎的优化行为后,再将自己网站提交给百度,之后的2天日志情况如果一直只是百度蜘蛛很少光临,而且往往只访问robots.txt文件和首页。这样的情况维持1个月,可以考虑放弃该域名。
如果蜘蛛明显增加,而且返回200代码居多,则被百度重新收录的希望很大,只是时间问题,需要站长更加努力。

如何知道百度蜘蛛是否爬过我的网站
提示:

如何知道百度蜘蛛是否爬过我的网站

这里介绍通过看日志来了解百度蜘蛛是否来过:很多网站目前使用的都是虚拟空间,都能够提供日志。日志是指在网站根目录下的logfiles文件夹里面日期.txt文本文件。下载到本地,用记事本打开.txt文本,一般百度蜘蛛代码是“baiduspider”,我们可以查找下文档中是否存在“baiduspider”,如果存在,看下里面的代码:2010-04-19 21:06:44 W3SVC725 58.221.29.72 GET /robots.txt - 80 - 220.181.7.14 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0 305 209。下面我来解释下这段代码:

1、2010-04-19 21:06:44是日期,也就是蜘蛛来的日期和时间了。

2、 GET /robots.txt 访问的页面 get表示获取

3、80是端口

4、220.181.7.14是蜘蛛的ip地址

5、Baiduspider+(+http://www.baidu.com/search/spider.htm)是百度蜘蛛了

6、200表示抓取成功。有时会出现其他代码如:404 - 请求的网页不存在;503 - 服务器暂时不可用

如果你还想知道有没有其它搜索引擎的蜘蛛来过你的站,你可以在日志文件中搜索“spider”这个词,或者搜索蜘蛛的IP,例如Soso的蜘蛛“sosospider”,可以查看Soso的蜘蛛是否来过。