网站通过搜索引擎蜘蛛抓取后能被收录，首先我们来认识一下这些搜索引擎蜘蛛，它所接触到的内容与用户看到的东西是有很大的区别的。搜索引擎对网站是爬行抓取，而用户是对网站进行浏览。我们只是通过我们的双眼对网站进行访问，而搜索引擎的蜘蛛却是在网站的道路上行走，将网站的内容都进行采集，所以我们要讨好搜索引擎。
知道了搜索引擎蜘蛛在网站上的工作原则，那么我们就来探讨一下面向搜索引擎蜘蛛的基础上建设网站要怎样做。
1.网站建设尽量少使用flash元素。在目前为止，搜索引擎蜘蛛还是无法识别出flash中的内容。所以在网站建设时，要多使用文字来表达，而不要使用一些flash、图片、JavaScript等等显示网站的内容，如果网站建设一定要使用flash才能展示得出应有的效果，那么就要为搜索引擎添加一个文字版的内容进行解释，并且在网站的首页用文本的链接指向文字版本。
2.不要使用一些搜索引擎不能识别的技术，例如ajax,网站在交互功能建设的时候才会使用到这种技术，而且不要把重要内容放到ajax文件中，这样搜索引擎就不能抓取到。
3.不建议使用frame以及iframe框架结构，因为这些框架中的内容会被搜索引擎忽略。
要建设出有利于搜索引擎抓取的网站，就要注意以上几个方面。