国产欧美日韩第一页|日本一二三不卡视频|在线精品小视频,亚洲第一免费播放区,metcn人体亚洲一区,亚洲精品午夜视频

幫助中心 >  技術知識庫 >  網(wǎng)站相關 >  建站知識 >  為什么不要搜索引擎看太多的根目錄文件

為什么不要搜索引擎看太多的根目錄文件

2016-01-08 10:05:17 651

一個網(wǎng)站不是所有的內容都要給搜索引擎看的,
每個網(wǎng)站都有隱私,所以有很多根目錄文件什么的都是禁止搜索引擎索引的,
比如admin文件就要屏蔽搜索引擎,沒有什么壞處,搜索引擎喜歡高質量的網(wǎng)頁內容,將網(wǎng)站內容結構做好,屏蔽哪些低質量的沒有用的,對搜索引擎沒壞處反而有好處。
搜索引擎蜘蛛不斷爬行互聯(lián)網(wǎng),如果我們網(wǎng)站沒有做出禁止搜索引擎收錄的操作,很容易就會被搜索引擎收錄 ,禁止搜索引擎收錄網(wǎng)站內容方法。

1、設置搜索引擎和網(wǎng)站之間的協(xié)議,User-agent:*表示和所有搜索引擎協(xié)議適用;Disallow:/表示禁止抓取收錄全站。

2、如果只是禁止某一個搜索引擎抓取收錄網(wǎng)站的某一個目錄,比如要禁止百度抓取收錄data目錄,則如圖設置。


3、保存文件后,把robots.txt文件上傳到服務器根目錄,即表示搜索引擎和網(wǎng)站之間的協(xié)議生效,可以禁止搜索引擎抓取收錄網(wǎng)站內容。 

提交成功!非常感謝您的反饋,我們會繼續(xù)努力做到更好!

這條文檔是否有幫助解決問題?

非常抱歉未能幫助到您。為了給您提供更好的服務,我們很需要您進一步的反饋信息:

在文檔使用中是否遇到以下問題: