|
|
 |
 |
网易搜索引擎——有道是采用“顺藤摸瓜”的方法抓取网站 |
 |
 |
|
 |
|
为什么有道不抓取我的网站呢？
有道是采用“顺藤摸瓜”的方法抓取网站的。您的站点必须被其它网站所指向才会被有道抓取到，也就是说在外部网页上有一个或多个链接指向您这里。您还可以主动向有道提交您的站点。
为什么有道没有抓取我的网站里的每一个网页？
虽然我们不断的增加索引量，但是有道不能保证抓取每个站点的所有内容。通常，如果贵站提供的信息越有价值，内容质量越高，网页模式越规范，您的网页被收录的比率就越高。
为什么我的“秘密”链接会被有道抓到？
有道没有试图攻击您的站点，“秘密”链接被抓取的原因在于它一定曾经出现在某个网页中，有道只是提取了这些链接。不公开某个链接并不是保存秘密的安全做法，建议您采取一些加密或者认证的措施。
如何让有道不抓取某网页上的所有链接？
您可以在该网页的meta头加入这样的信息：
<META NAME="YodaoBot" CONTENT="nofollow">
那么该网页的所有链接就不会被有道跟进，但网页本身有可能被索引。
如何让有道不抓取某网页上的某个链接？
您可以对某个链接加上rel="nofollow"属性，例如：
<a href="http://www.somehost.com/" rel="nofollow">不跟进的链接</a>
该链接就不会被有道跟进，但该网页的其他链接都会被跟进。
为什么有道多次抓取同一个网页？
有道并不知道您的某个网页是否更新，它每隔一段时间就会重新抓取一次该网页。在重新抓取时，有道都会带上一个"IF-MODIFIED-SINCE"的HTTP头信息，以通知您的服务器返回更新的网页。如您的服务器能正确处理这样的头信息就可以节约一定带宽。一般情况下，有道不会在8个小时内两次抓取同一个网页，但也会有例外。
我的站点被抓得太频繁了！
很抱歉，请把您的站点以及被抓取过频繁的URL发邮件到yodaobot@corp.yodao.com告诉我们，并附上您的日志文件，我们将尽快找到并解决问题。关于您网站的任何信息都不会被泄漏给第三方。
我不希望有道抓取我的站点，该怎么办？
有道遵循Robots这一用于禁止爬虫抓取部分网站内容的互联网标准协议。我们推荐您使用标准的robots.txt文件。有道在抓取站点时会首先读取robots.txt文件，然后根据robots.txt文件的要求进行抓取和索引。关于robots.txt文件的更多信息，请看帮助中心里"关于robots.txt"这一节内容。如果您的robots.txt文件符合标准，有道在抓取和索引时仍存在问题，请致信：yodaobot@corp.yodao.com ，我们的工程师将会尽快解决。 |
|
|
 |
|
 |
|
