如何判断网站是否被搜索引擎惩罚?
看服务器蜘蛛是否正常，（真实的蜘蛛哦，伪装的蜘蛛除外，当然要想法拦截掉伪装的蜘蛛）服务器是否线路正常，有没有拦截蜘蛛的迹象或者服务器线路不稳定 基于以上几点分析，站点如果还是不收录，肯定是被惩罚了。可能的原因，多数是内容问题。
使用site搜索网站域名，如果没有搜索到任何结果，就说明网站被引擎惩罚了。搜索引擎惩罚的重定向一般有二种，分别是“meta重定向”及“JS 重定向”。Meta重定向是指通过设置Meta标签的http-equiv属性值及内容来实现的重定向。
发现网站被处罚，首先要做的就是查看robots.txt文件。不仅要人工仔细检查，还要使用站长工具验证是否有错误，导致禁止搜索引擎收录某些页面和目录。 检查具有相同IP的网站。虽然搜索引擎对同一个服务器的网站处罚不是很严格，但是如果你不幸和一大堆垃圾网站甚至非法网站在同一个服务器上，那么被处罚的概率是很大的。
轻松两步,教你快速识别百度蜘蛛(User-Agent)
步骤一：检查User-Agent（UA）信息 首先，检查UA信息。
网络蜘蛛即Web Spider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。
第一种、查看网站robots.txt，此文件一般在网站根目录下：User-agent：Disallow：这样的表示是屏蔽所有搜索引擎了。User-agent：Baiduspider Disallow：/ 这样表示屏蔽百度蜘蛛。
允许所有的搜索引擎可以按照robots文件中的限制语法进行合理的抓取网站中的文件、目录。User-agent： *Disallow：是允许所有搜索引擎收录的意思。User-agent： *表示允许所有搜索引擎蜘道蛛来爬行抓取，也可以把*去掉，改为特定某一个或者某些搜索引擎蜘蛛来爬行抓取，如百度是Baiduspider，谷歌是Googlebot。
User-agent： *Allow是robots文件中的一句语法，代表的意思是：允许所有的搜索引擎可以按照robots文件中的限制语法进行合理的抓取网站中的文件、目录。obots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。
如果您希望自己的网站被360综合搜索收录，请检查一下您的网站robots.txt 文件是否允许360搜索蜘蛛抓取您的网站内容。
如何查看蜘蛛来过的日志
1、只查看最后10个或前10个，这样就可以知道这个日志文件开始记录的时间和日期。百度蜘蛛抓取首页的详细记录 cataccess.loggrepBaiduspidergrepGET/HTTP百度蜘蛛似乎很爱主页，每个小时都来访问，而谷歌和雅虎蜘蛛更喜欢内页。百度蜘蛛派性记录的时间分布。
2、先确认log日志对客户端访问机器名以及访问ip进行了记录。如果没有记录这两项就没有Baiduspider字样显示，也没有百度蜘蛛IP记录。可以问下服务器网站查看蜘蛛你虚拟主机的空间商，如何设置日志记录蜘蛛踪迹，如何下载下来日志，客服会详细告诉你。
3、通过查看网站日志，可以了解搜索引擎蜘蛛的访问情况。通过FTP访问网站的根目录。可以看到一个log的文件夹，这是存放日志的地方。可以压缩（日志文件一般很大）后通过下载到本地电脑上解压缩后打开日志文件。
4、。观察百度蜘蛛的抓取记录，最好的方法是查看网站日志。只要你的网页被访问过，不管是人还是百度蜘蛛，或者其他搜索引擎蜘蛛。可以记录在网站里。正规网站空一般都会提供网站日志服务。网站可以通过ftp下载。具体目录请咨询网站空。常见的目录有服务器网站查看蜘蛛：www_logs、logs等。
5、网站日志，是服务器端自动生成的一个文本记录，详细记载了网站的访问详情，做为站长的你，如果是需要查看访问统计数据，那用5la或者百度统计 工具就可以了，但是如果你想查看各搜索引擎的蜘蛛是否准时来爬行自己的网站，那就要学会自己查看网站日志文件了。
6、如果你的日志里格式不是如此，则代表日志格式设置不同。很多日志里可以看到 200 0 0和200 0 64 则都代表正常抓取。抓取频率是通过查看每日的日志里百度蜘蛛抓取次数来获知。抓取频率并没有一个规范的时间表或频率数字，我们一般通过多日的日志对比来判断。
怎么查看搜索蜘蛛怎么查看搜索蜘蛛的记录
1、那么，如何提升搜索引擎蜘蛛对网站的抓取速度呢？主动提交网站链接 当更新网站页面或者一些页面没被搜索引擎收录的时候，就可以把链接整理后，提交到搜索引擎中，这样可以加快网站页面被搜索引擎蜘蛛抓取的速度。
2、。观察百度蜘蛛的抓取记录，最好的方法是查看网站日志。只要你的网页被访问过，不管是人还是百度蜘蛛，或者其他搜索引擎蜘蛛。可以记录在网站里。正规网站空一般都会提供网站日志服务。网站可以通过ftp下载。具体目录请咨询网站空。常见的目录有：www_logs、logs等。
3、查看百度蜘蛛爬行记录的方法：第一，前往空间服务器，下载网站日志。第二，打开网站日志文件，搜索：Baiduspider。百度（Baidu）爬虫名称：Baiduspider 第三，鉴别百度蜘蛛的真伪。由于很多站长工具会模拟百度蜘蛛的名称来爬抓网站，因此，需要我们鉴别百度蜘蛛的真伪。
4、通过工具来查看，比如百度站长平台可以查看蜘蛛的抓取时间、抓取频率 你可以通过最直接的方法，就是查看网站的日志，里面有很详细的关于网站的一切记录，不管是来自哪里的蜘蛛（百度蜘蛛、搜狗蜘蛛等），可以看到蜘蛛来自哪里，抓取时间是什么时候，抓取了多少次，浏览过哪些地方，这是最为详细的方法。
怎么查看蜘蛛抓取情况
LinuxNGX如何查看搜索引擎蜘蛛爬虫的行？1。百度蜘蛛抓取的次数。cataccess.loggrepBaiduspiderWC 左边的数字显示的是抓取的次数。
百度用于抓取网页的程序叫做Baiduspider – 百度蜘蛛，我们查看网站被百度抓取的情况主要是分析，网站日志里百度蜘蛛Baiduspider的活跃性：抓取频率，返回的HTTP状态码。
首先，去网站的空间后台下载服务器日志。然后，通过分析日志就可以看到百度蜘蛛是否来抓取过你的网站。
