什么是robots文件？

搜索引擎中訪問(wèn)網(wǎng)站的時(shí)候要查看的第一個(gè)文件。當(dāng)一個(gè)搜索蜘蛛訪問(wèn)一個(gè)站點(diǎn)時(shí)，它會(huì)首先檢查該站點(diǎn)根目錄下是否存在robots.txt，如果存在，搜索機(jī)器人就會(huì)按照該文件中的內(nèi)容來(lái)確定訪問(wèn)的范圍；如果該文件不存在，所有的搜索蜘蛛將能夠訪問(wèn)網(wǎng)站上所有沒(méi)有被口令保護(hù)的頁(yè)面。常用于限制搜索引擎收錄和抓取頁(yè)面，如有些頁(yè)面不希望百度收錄就可以在這里定義等?！局С諴C+手機(jī)】

點(diǎn)擊生成robots文件后會(huì)跳轉(zhuǎn)到“站長(zhǎng)工具”平臺(tái)，按照平臺(tái)上的提示設(shè)置你想讓這個(gè)root做的內(nèi)容；

限制目錄添加：選擇需要添加到限制目錄中的頁(yè)面鏈接，去掉鏈接頭部的域名、尾部的后綴，復(fù)制中間的文件目錄部分，添加到限制目錄中

例如。頁(yè)面鏈接為：http://chen0000.wz.dlszywz.net.cn/chen0000/products/11264817_0_0_1.html，文件目錄就是/chen0000/products/。