关于搜索引擎抓取，我应该知道什么?

本文介绍了关于搜索引擎抓取，我应该知道什么?的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！ 问题描述

我不是指 SEO 的事情.我应该知道什么.比如

I don't mean SEO things. What should i know. Such as

引擎是否运行 JavaScript?

他们使用 cookie 吗?

Cookie 是否会在抓取会话中传播(比如今天的 Cookie 和下周或下个月的抓取).

选定的 JS 过滤器是否因任何原因未加载?(例如出于优化原因而忽略的可疑广告?)

我不想让所有索引页面意外地显示某种错误或警告信息，例如请打开您的 cookie、浏览器不受支持或未编入索引，因为我做了一些愚蠢的事情，例如让我的站点地图指向 /r?id=5 并且没有然后索引，因为它是一个重定向(但是我会使用 301).

I don't want to accidental have all index page say some kind of error or warning msg like please turn on your cookie, browser not supported, or not be indexed because i did something silly such as having my sitemap point to /r?id=5 and not have then index because it is a redirect (i would use 301 however).

推荐答案

从这里:www.google/support/webmasters/bin/answer.py?answer=35769

使用文本浏览器(例如 Lynx)检查您的网站，因为大多数搜索引擎蜘蛛会像 Lynx 一样看到您的网站.如果 JavaScript、cookie、会话 ID、框架、DHTML 或 Flash 等奇特功能使您无法在文本浏览器中看到您的所有网站，那么搜索引擎蜘蛛可能无法抓取您的网站.

Use a text browser such as Lynx to examine your site, because most search engine spiders see your site much as Lynx would. If fancy features such as JavaScript, cookies, session IDs, frames, DHTML, or Flash keep you from seeing all of your site in a text browser, then search engine spiders may have trouble crawling your site.

阅读 Google 的网站站长指南