网站如你做好SEO优化，如果新手又如何开展网站的SEO配置？今天PageAdmin专业建站团队给大家分析一下：理解搜索引擎的基本运行原理
搜索引擎的运行原理也是SEO新手入门需要了解的知识，能够帮助你对搜索引擎这个工具有个整体的认知。对于所有的搜索引擎来说，他们基本的工作流程都是相同的。
首先是抓取，搜索引擎通过蜘蛛（搜索引擎的抓取程序），抓取互联网上的众多网站信息；
然后是收录，搜索引擎会把抓取到的网页信息，收录到自己的数据库中；最后是排名，搜索引擎根据用户使用的搜索词通过它的特定算法在数据库中找到匹配的相关页面，通过搜索结果的形式展示给用户。
抓取规则（Crawling）
搜索引擎会利用蜘蛛工具抓取互联网上可以抓取到的所有网页信息。可能有人会问蜘蛛工具是什么？互联网上的网站是相互链接的，网站内部的叫做内链，对外的链接叫做外链。这些链接就像一张大网一样，把几乎所有的网站都连接到了一起，从而组合成了整个互联网。
而搜索引擎的抓取工具，就像蜘蛛一样，可以顺着这个网络对网页信息一个个地进行抓取。所以，我们把搜索引擎的抓取工具称之为蜘蛛。谷歌的抓取工具就叫做谷歌蜘蛛，百度的抓取工具就叫做百度蜘蛛，有些人也把蜘蛛叫做机器人，都是同一个意思。
技巧1：检查网站是否可以被抓取
蜘蛛到你的网站上第一步会检测你的网站是否处于可以抓取的状态，因为不是所有的网站都愿意让搜索引擎抓取。
比如，一个网站刚刚搭建，还没有什么实质性的内容，不想立刻对外开放，也不想给搜索引擎留下不好的第一印象，于是可以选择不让蜘蛛抓取。这一步实现起来也很简单，主要是利用网站中的一个叫做robots.txt的协议文件告诉蜘蛛是否可以抓取本网站，甚至进一步规定哪些页面可以抓取，哪些页面不可以抓取。