网站仿站风险：保护您的在线业务安全
在使用站长工具时会看到百度权重这个按钮，虽然百度公告说网站的权重不被百度官方所承认，但仍不能阻挡站长对权重的追求，这可能...
济南格陆网络 / 2024-01-16WordPress搜索引擎seo网站优化爬行记录代码
发布：2023-11-04 更新：2025-05-22 来源：济南格陆网络 点击：3947
写博客也有一段时间了，(济南网站建设)为什么搜索引擎迟迟不收录你的页面呢？想知道每天都有哪些蜘蛛“拜访”你的网站吗？作为一名wordpress用户，有必要知道每天都有哪些蜘蛛爬行过你的网站，以便于了解各搜索引擎蜘蛛爬行频率，对网站进行针对性的SEO网站优化。
其实很简单，只要添加以下代码，然后再调用文件代码就OK了，是不是很方便呢？那就开始行动吧。
之前我也找过几个蜘蛛爬行记录工具PHP版，结果都不尽人意。而且这些PHP程序大多要进行安装，还要将蜘蛛爬行记录添加到MYSQL中，未免太麻烦。那就寻找一个简易的蜘蛛爬行记录器吧~
googlebot
1.首先，在wordpress主题根目录建立一个robots.php文件，写入以下内容：
function get_naps_bot()
{
$useragent=strtolower($_SERVER['HTTP_USER_AGENT']);
if (strpos($useragent, ’googlebot’) !==false){
return ’Googlebot’;
}
if (strpos($useragent, ’msnbot’) !==false){
return ’MSNbot’;
}
if (strpos($useragent, ’slurp’) !==false){
return ’Yahoobot’;
}
if (strpos($useragent, ’baiduspider’) !==false){
return ’Baiduspider’;
}
if (strpos($useragent, ’sohu-search’) !==false){
return ’Sohubot’;
}
if (strpos($useragent, ’lycos’) !==false){
return ’Lycos’;
}
if (strpos($useragent, ’robozilla’) !==false){
return ’Robozilla’;
}
return false;
}
function nowtime(){
$date=gmdate(”Y-n-j H:i:s”,time()+8*3600);
return $date;
}
$searchbot=get_naps_bot();
if ($searchbot) {
$tlc_thispage=addslashes($_SERVER['HTTP_USER_AGENT']);
$url=$_SERVER['HTTP_REFERER'];
$file=”robotslogs.txt”;
$time=nowtime();
$data=fopen($file,”a”);
fwrite($data,”Time:$time robot:$searchbot URL:$tlc_thispage\n”);
fclose($data);
}
?>
将其上传于你的主题目录内。
2.在Footer.php或header.php的适当位置添加以下代码调用robots.php。
程序原理：通过对蜘蛛标识符（如Baiduspider、Googlebot）的判断，记录蜘蛛爬行时间，并生成日志文件robotslogs.txt于根目录。
程序缺点：无法记录蜘蛛爬行的页面，功能较为简单。