網站優化過程中怎么屏蔽蜘蛛爬行頁面？相信很多人都會遇見想屏蔽的頁面被搜索引擎抓取，其實很簡單，只要用好robots文件就行。也就好似robots.txt文件，這個文件可以屏蔽搜索引擎蜘蛛。下面請看具體的操作方法。

　　User-agent: *  　　(星號代表所有的搜索引擎)

　　Disallow: /admin 　　（禁止所有的搜索引擎蜘蛛抓取admin目錄下的文件）

　　Disallow: /hello 　　（禁止所有的搜索引擎蜘蛛抓取hello目錄下的文件）

　　robots.txt必須放置在一個站點的根目錄下，而且文件名必須全部小寫。

　　robots.txt文件的格式

　　User-agent: 定義搜索引擎的類型

　　Disallow: 定義禁止搜索引擎收錄的地址

　　Allow: 定義允許搜索引擎收錄的地址

　　我們常用的搜索引擎類型有： (User-agent區分大小寫)

　　google蜘蛛：Googlebot

　　百度蜘蛛：Baiduspider

　　yahoo蜘蛛：Yahoo!slurp

　　alexa蜘蛛：ia_archiver

　　bing蜘蛛：MSNbot

　　altavista蜘蛛：scooter

　　lycos蜘蛛：lycos_spider_(t-rex)

　　alltheweb蜘蛛：fast-webcrawler

　　inktomi蜘蛛： slurp

　　Soso蜘蛛:Sosospider

　　Google Adsense蜘蛛:Mediapartners-Google

　　有道蜘蛛:YoudaoBot

◆電話受理中心（用戶綜合窗口）
為了給廣大客戶提供更優質、快捷的網站維護服務，在中國業界率先設立了全天候服務式的電話受理中心，并始終堅持“快速”“準確”“親切”的服務理念。走過風雨兼程的10年，我們嘗盡酸甜苦辣，但是為客戶服務的心，卻一刻也不曾停歇，為了您的歡笑，我們仍將繼續前行。

◆全國統一免費網站維護電話:400-670-5808（支持任何用戶撥打）郵箱：xieaijiao@cdsheji.com QQ:284888576

◆營業時間：365天·24小時，年中無休。
◆對應業務：與網站維護有關的任何商談和咨詢（網站維護、網站修改、網頁修改、網站安全、網站殺毒、網站中毒、網站備份、網站恢復、網站備案、網站建設、技術咨詢、網站域名、網站空間、企業郵箱等）