Life Note , Open It – Potato's blog

Googlebot 我们一般称为Google 机器人或Google 探测器。

Google “派遣”了不同的Googlebot 对网页内容进行获取。主要包括：

•Googlebot：抓取网页中的文字内容。获取的内容保存于Google 网页搜索和新闻搜索的数据库。我们一般谈的Google 机器人主要指这个。
•Googlebot-Mobile：抓取网页中的文字内容，用于Google 手机搜索。
•Googlebot-Image：抓取网页内的图片内容，保存入Google 图片搜索数据库。
•Mediapartners-Google：抓取网页中的文字内容，用于Google Adsense 分析关键词。只有投放了Google Adsense 的网页才会被 Mediapartners-Google 探测器爬取。
•Adsbot-Google：抓取网页中的文字内容，用于为Google AdWords 提供参考。只有Google AdWords 的目标网页才会被 Adsbot-Google 探测器爬取。

Googlebot 和Mediapartners-Google 是非常勤奋的机器人，如果他们影响到你服务器的承受力，你可以通过 robots.txt 文件加以制止。

Google Instant is a new search enhancement that shows results as you type. We are pushing the limits of our technology and infrastructure to help you get better search results, faster. Our key technical insight was that people type slowly, but read quickly, typically taking 300 milliseconds between keystrokes, but only 30 milliseconds (a tenth of the time!) to glance at another part of the page. This means that you can scan a results page while you type.

The most obvious change is that you get to the right content much faster than before because you don’t have to finish typing your full search term, or even press “search.” Another shift is that seeing results as you type helps you formulate a better search term by providing instant feedback. You can now adapt your search on the fly until the results match exactly what you want. In time, we may wonder how search ever worked in any other way.

Benefits
Faster Searches: By predicting your search and showing results before you finish typing, Google Instant can save 2-5 seconds per search.

Smarter Predictions: Even when you don’t know exactly what you’re looking for, predictions help guide your search. The top prediction is shown in grey text directly in the search box, so you can stop typing as soon as you see what you need.

Instant Results: Start typing and results appear right before your eyes. Until now, you had to type a full search term, hit return, and hope for the right results. Now results appear instantly as you type, helping you see where you’re headed, every step of the way.

原文：http://www.google.com/instant/

译自： Matt Cutts博客

（译者按： Matt Cutts, 谷歌反网络作弊组的带头人, 于2006年1月4日在他的个人博客上发表了”SEO advice: url canonicalization“一文。尽管已快两年了，Google也为网站管理员提供了站长工具，我们发现对很多站长来说该文仍是一篇很好的SEO文章。）

在我开始收集关于Bigdaddy数据中心的反馈之前，我想简略地谈一谈有关标准化、“www相对于非www”、重新定向、重复URLs、302“劫持”等问题的看法，这样我们的讨论才有共同的基础。

问：什么是一个标准化URL？为什么要用这么一个奇怪的字眼？
答：很抱歉，这是一个奇怪的词汇；这是谷歌内部对它的称呼。标准化是一个在若干选项中选取最佳URL的过程，这里通常是指主页。例如，多数人会将下列URL看作相同性质的：

* www.example.com
* example.com/
* www.example.com/index.html
* example.com/home.asp

但是从技术角度看，这些URL都是互不相同的。对于上述URLs，Web服务器会返回完全不同的内容。当谷歌“标准化”特定的URL时，我们试图从一整套同类URL中选出看起来最具代表性的一个。

问：那么我如何能确保谷歌能挑选出我所想要的URL？
答：挑选出你想要的URL，并且在此后一直使用这个URL访问特定网站，这是很有帮助的。例如，不要让同一个输入的链接一半指向http://example.com/而另一半则指向http://www.example.com/ 。相反，挑选一个你喜欢的URL，并且在你的内部链接中总是使用这个格式。
（译者注：现在你可以使用站长工具来通过“控制台 > 工具 > 设置首选域名”）。

问：除此之外，我还能做什么？
答：比如，如果你希望你的默认URL为http://www.example.com/。那么，你可以设置你的web服务器，这样如果有人请求http://example.com/，它就会产生一个301的（永久性）重新定向，链接到http://www.example.com/。这样可以帮助谷歌了解到你希望将哪个URL作为自己的标准。如果您的网站常有变更（例如动态内容和博客等），那么加入一个301重新定向可能更便于搜索引擎的定位和捕获。

问：如果我希望去掉domain.com，但希望保留www.domain.com，我是否应该使用URL清除工具来删除这个域名？
答：不要，绝对不要这样做。对于任何一个www域名，或非www 域名，一旦删除其结果可能导致该域名在未来六个月内无法恢复。绝对不要这样做。如果你本想使用URL清除工具删除www域名或者非www域名，但实际上却删除了你所有的域名，请发送一个重新收录请求，并声明你用URL清除工具不小心删除了整个域名，现在要求重新收录。

问：我注意到，你自己并没有使用301重新定向将你的站点从非www版本转向www版本，为何没有这样做？
答：实际上我是故意这样做的。我几个月之前就注意到了这一点，但决定不自行调整，或者请求谷歌员工帮我搞定它。我或许最终会加入一个301，但至少到目前为止，它还是一个有帮助的实验案例。

问： 那么在讨论“www与非www”时，你也认为这是一种标准化的类型吗?还有没有别的方法能实现URL的标准化？
答：确实还有很多方法，但是多数人不会也无需注意到这些。搜索引擎能够自动完成诸如保留或者删除末尾的斜杠、将URL从大写格式转换为小写格式，或者将session ID从BBS或其他软件上删除等任务（即使你省略了session ID，许多BBS依然能够正常运行）。

问：让我们谈谈”inurl:”操作符。为何每个人都认为如果inurl:mydomain.com显示出某些并非来自mydomain.com的结果，那么他一定是被人劫持了？
答：早先，如果你看到someresult.com/search2.php?url=mydomain.com，有时候其中会包含来自mydomain的内容。如果someresult.com url是一个指向mydomain.com的302重新定向，而我们决定显示一个来自someresult.com的结果，就会产生这种情况。从那以后，我们已经改变了我们的启发方式，大大降低了302重新定向源URL的显示几率。我们逐渐采纳了一个用于处理重新定向的框架，它几乎总是显示目的地URL。雅虎通常采用显示目的地URL的方式来处理302重新定向，而我们正处于逐步过渡到一套类似启发方式的过程中。请注意，雅虎保留了在重新定向的过程中处理所出现的例外的权力，而谷歌也会这样做。根据我们的分析，我们将在302重新定向过程中显示URL源的总概率不到0.5％（基本上，当我们有足够的理由相信URL源正确无误时才会显示）。

问：那么，补充材料又如何呢？补充材料是否会招致谷歌的惩罚？
答：不会。
（译者注：补充材料已成为历史。请阅读补充材料转为主流一文）。

问：在补充性结果中有我的一些网页，但这些网页已经很老旧了。我该怎么办？
答：如果换了我，就不会在这方面花太多的精力。如果网页已经删除，我会确保有一个301重新定向，指向新网页的位置。如果的确彻底消失了，我会确保服务器返回一个关于这些网页的404错误信息。此后，我不会再花费任何精力。当谷歌最终重新抓取那些网页时，就会发现其中的变化。但是由于我们自己爬取补充性结果的时间间隔要长一些，所以你可能在一段时间内看不到更新。

eCPM（Effective CPM）是Google Adsense的一个非常重要的参数，根据这个参数，你可以分析出Google AdSense在你网站投放广告的效果，并针对性地进行优化、调整广告，进而来提高收入。

　　那么什么是eCPM呢？AdSense在帮助文档里是这样说明的：
　　有效的每千次展示费用 （Effective CPM） – 每一千次展示的费用。从发布商的角度来说，每千次展示费用是一个非常有用的比较不同渠道和广告计划的收入的方式。它是由总收入除以千次展示数计算得出。例如，如果发布商的展示次数是 45，000，获得的收入为 US$180，则每千次展示费用等于 US$180/45，即 US$4.00.

　　有一点很重要的是，eCPM低的渠道会影响到整个账户，最终导致整个站点eCPM变低。因此，只要提高整体的eCPM数值，那么Adsense的总体收入就会得到相应的提高。

　　那么如何提高网页的eCPM，首先前提条件是网页需要有足够的流量和足够的点击，如果每天的点击数低于100，那么就没必要管什么eCPM了，先想办法提高网站流量再说，如果网站已经有了不错的流量，但是eCPM的数值偏低，我们可以在不违反Adsense的计划政策的前提下，通过以下几个方法来提高网站的eCPM。

　　1、提高网站的总体流量

　　包括使用SEO优化等方法，提高网站的整体流量和PageRank，让网站对于搜索引擎更为友好。

　　2、提高网站的点击率

　　广告并不是显示越多效果越好，点击率低的广告如果频繁显示，则效果恰恰相反，会降低整个网站的eCPM，那样的广告还不如删除。

　　提高Adsense的点击率的基本方法是调整广告位置以及广告和颜色，一般网页的左上部和上部的点击率是最高的，另外采用矩形框的方式，将广告和文章内容融合在一起也会提高广告的点击率（虽然我个人不是很喜欢这样的方式）。颜色的调整主要是广告背景和文字颜色，将其调整的和网站整体风格一致，就可以提高相应的点击率。

　　提高点击率的另一个方法是控制广告显示内容，因为用户只会点击感兴趣的广告，因此通过Adsense的竞争性广告将那么垃圾广告的域名都加入黑名单，这样那么低点击率的广告就不会再显示了。这类垃圾广告商很容易找，所有的MFA（Made for AdSense）的网站都应该加入黑名单，比如FireFox火狐浏览器推广的网站等。

　　3、删除点击率低的广告

　　分析所有的Adsense渠道，将网站所有点击率很低的广告都删除，将eCPM较低的的渠道全都删除。删除这些广告，虽然总体广告显示数会降低不少，但你的总体Adsense收入会有大幅提高。

　　经过上述整体优化，相信你的eCPM就会得到提高，相应的Adsense也会慢慢有所提高，整体优化效果通常需要在一周甚至一个月的时间才能完全显示出来。

　　最后，不要抱怨Adsense的中文单价过低，提高Adsense收入的关键在于你自己而不是Google，要多学习Adsense的常用技巧，如果优化的比较好，Adsense能够带来的收入绝对不是一个小数字。如果优化后收入还是没有提高，那么就试试不用Google Adsense的84个赚钱方法。如果你还没有申请过Google Adsense，那么可以点这里申请Adsense。