下面是VeryCMS里的robots.txt文件：

　　User-agent： *

　　Disallow： /admin/ 后臺管理文件

　　Disallow： /require/ 程序文件

　　Disallow： /attachment/ 附件

　　Disallow： /images/ 圖片

　　Disallow： /data/ 數(shù)據(jù)庫文件

　　Disallow： /template/ 模板文件

　　Disallow： /css/ 樣式表文件

　　Disallow： /lang/ 編碼文件

　　Disallow： /script/ 腳本文件

　　3. 如果你的網(wǎng)站是動態(tài)網(wǎng)頁，并且你為這些動態(tài)網(wǎng)頁創(chuàng)建了靜態(tài)副本，以供搜索蜘蛛更容易抓取。那么你需要在robots.txt文件里設(shè)置避免動態(tài)網(wǎng)頁被蜘蛛索引，以保證這些網(wǎng)頁不會被視為含重復(fù)內(nèi)容。

　　4. robots.txt文件里還可以直接包括在sitemap文件的鏈接。就像這樣：

　　Sitemap： sitemap.xml

　　目前對此表示支持的搜索引擎公司有Google， Yahoo， Ask and MSN.而中文搜索引擎公司，顯然不在這個圈子內(nèi)。這樣做的好處就是，站長不用到每個搜索引擎的站長工具或者相似的站長部分，去提交自己的sitemap文件，搜索引擎的蜘蛛自己就會抓取robots.txt文件，讀取其中的sitemap路徑，接著抓取其中相鏈接的網(wǎng)頁。

　　5. 合理使用robots.txt文件還能避免訪問時出錯。比如，不能讓搜索者直接進(jìn)入購物車頁面。因?yàn)闆]有理由使購物車被收錄，所以你可以在robots.txt文件里設(shè)置來阻止搜索者直接進(jìn)入購物車頁面。

　　<14>友情鏈接

　　內(nèi)部鏈接和導(dǎo)出鏈接，在內(nèi)部以關(guān)鍵字的方式形成一個網(wǎng)狀結(jié)構(gòu)，結(jié)構(gòu)嚴(yán)謹(jǐn)。導(dǎo)出鏈接要高質(zhì)量，這在傳遞PR值上是有用處的，PR值雖然不是萬能的，但沒有是萬萬不能的，至少看起來很養(yǎng)眼哦，這里需要提醒的是鏈接要適當(dāng)加入標(biāo)簽，在這里需要解釋一下給部分網(wǎng)友，所謂PR就是GG PageRank，就是對Google評測的，就像SoGouRank一樣用外鏈的多少來評定。

上一頁  [1] [2] [3] [4] [5] [6] 下一頁