robots.txt概念

如果我們網(wǎng)站內(nèi)有某些特殊的文件不讓搜索引擎收錄，那怎么辦？

答案是：使用一個(gè)叫做robots.txt的文件。

robots.txt文件告訴搜索引擎本網(wǎng)站哪些文件是允許搜索引擎蜘蛛抓取，哪些不允許抓取。

搜索引擎蜘蛛訪問(wèn)網(wǎng)站任何文件之前，需先訪問(wèn)robots.txt文件，然后抓取robots.txt文件允許的路徑，跳過(guò)其禁止的路徑。

總結(jié)：robots.txt是一個(gè)簡(jiǎn)單的.txt文件，用以告訴搜索引擎哪些網(wǎng)頁(yè)可以收錄，哪些不允許收錄。

關(guān)于robots.txt文件的10條注意事項(xiàng)：

1、如果未創(chuàng)建robots.txt文件，則代表默認(rèn)網(wǎng)站所有文件向所有搜索引擎開(kāi)放爬取。

2、必須命名為：robots.txt，都是小寫(xiě)，robot后面加"s"。

3、robots.txt必須放置在一個(gè)站點(diǎn)的根目錄下。