如果我们从搜索引擎蜘蛛的角度来看待一个网站，我们在爬行、索引和排名方面会遇到哪些问题，从而解决这些问题，这样的网站就是一个对搜索引擎友好的网站。

     1、 确保搜索引擎可以抓取网页

　　我们都知道，百度蜘蛛爬到网页上，通过跟踪链接来抓取内容。为了让蜘蛛爬到你的网站主页，必须有外部链接到你的网站主页。只有蜘蛛爬到主页，然后沿着内部链接爬出更多更深的内容，

　　需要注意的是，网站内容页与主页的距离不宜过远，应控制在3-4倍。因此，网站应具有良好的网站结构，清晰的逻辑，并与内部链接形成蜘蛛网，提高蜘蛛爬行的粘性。需要注意的是，用JS脚本链接、flash链接等搜索引擎爬行器一般无法跟踪爬行，因为爬行器无法识别，所以会造成收录问题。

　　2、 找到页面后我能抓取页面内容吗

　　在我们吸引蜘蛛爬到网站之后，文章能否顺利被抓取也与你的网站设计有很大关系。首先，爬行器不喜欢动态URL，所以找到的URL必须是可爬行的。尽量使用静态URL。许多网站使用闪光效果使页面看起来更大。当然，现在也有一些框架结构。可疑转，搜索引擎推荐301转，当然只有旧域名转为新域名。搜索引擎不喜欢网站上有很多重复的内容。

　　3、 抓取网页后如何提取有用信息

　　通过学习搜索引擎的工作原理，搜索引擎的蜘蛛来到你的网站抓取网页后，索引的首步就是提取中文，所以关键词应该放在网页最重要的位置，也就是写标题。页面标题是SEO中最重要的因素，还有一些重要的标签如描述标签和文章标题标签，内容必须能够突出站点的重点。