一般的網(wǎng)站程序而言，總是有三種生成方式：動(dòng)態(tài)頁(yè)面、靜態(tài)頁(yè)面、偽靜態(tài)頁(yè)面生成。然而正是由于諸多的生成方式導(dǎo)致了同一內(nèi)容中的不同URL顯示，最后導(dǎo)致搜索引擎再索引同一內(nèi)容的時(shí)候索引到不同的URL地址連接。但是也不要慶幸自己又多了條收錄，高度重復(fù)的內(nèi)容搜索引擎并不喜歡，何況還是同一個(gè)站內(nèi)的內(nèi)容，對(duì)于這樣的內(nèi)容如果過(guò)多出現(xiàn)，不是遭到降權(quán)對(duì)內(nèi)容進(jìn)行剔除，那么便是封站。所以站長(zhǎng)理應(yīng)對(duì)其重視起來(lái)，避免被搜索引擎收錄同一內(nèi)容的高重復(fù)鏈接。
　　什么樣的鏈接是重復(fù)鏈接?

　　一般而言，很多程序設(shè)計(jì)不完善，即使如Discuz也會(huì)存在一部分的高重復(fù)性的鏈接。諸如一些：www .xxxx/1.html是網(wǎng)站的一個(gè)頁(yè)面，而同時(shí)又存在www .xxx/view.asp?id=1，這是典型的URL不同，但卻造成內(nèi)容高度重復(fù)的鏈接。對(duì)于這樣的內(nèi)容，蜘蛛爬到頁(yè)面也會(huì)大感郁悶，到底哪一個(gè)鏈接才是要闡述內(nèi)容的鏈接呢?吃了那么多的鏈接，怎么都是重復(fù)內(nèi)容啊?介于此，蜘蛛再喜歡你獨(dú)立的原創(chuàng)，時(shí)間久了也會(huì)被一次次嚇跑。1922288.cn

　　這個(gè)是二進(jìn)制剛剛發(fā)現(xiàn)有一個(gè)友情鏈接的情況。事實(shí)上，這個(gè)文章也僅僅是一篇而已，但是為什么被收錄了如此之多呢?就是因?yàn)榫W(wǎng)站在優(yōu)化過(guò)程中，忽略了對(duì)一些鏈接的屏蔽，導(dǎo)致了同一內(nèi)容出現(xiàn)多條不規(guī)范的URL鏈接而被收錄。不過(guò)雖說(shuō)被收錄了，但是被剔除也是早晚的事，而且極容易帶來(lái)搜索引擎的將權(quán)懲罰，所以站長(zhǎng)們不要學(xué)習(xí)如何增加收錄頁(yè)，要做的是防微杜漸的進(jìn)行優(yōu)化。

　　如何避免內(nèi)容重復(fù)的URL鏈接?

　　發(fā)現(xiàn)了問(wèn)題的所在，我們接下來(lái)便解決問(wèn)題。對(duì)于以上問(wèn)題，一般而言我們基本上用兩種方法，第一種：規(guī)范URL，第二種：Robots.txt進(jìn)行屏蔽。

　　A：在網(wǎng)站建設(shè)之初就規(guī)范好網(wǎng)站URL的標(biāo)準(zhǔn)化，無(wú)論是對(duì)外還是對(duì)內(nèi)的鏈接，統(tǒng)一選擇靜態(tài)，將頁(yè)面所有可能產(chǎn)生雙重或多重的動(dòng)態(tài)鏈接全部換做靜態(tài)生成。這樣下來(lái)，網(wǎng)站基本避免了內(nèi)容重復(fù)的URL鏈接。1922288.cn

　　B：Robots.txt，大部分的SEOer們用此來(lái)進(jìn)行內(nèi)容或頁(yè)面的屏蔽。如設(shè)置(Disallow: /*?*)意在告訴搜索引擎不要訪(fǎng)問(wèn)所有帶“?”的頁(yè)面，不過(guò)前提是做好了全站的靜態(tài)生成。