處理網(wǎng)站上的重復(fù)內(nèi)容是一項(xiàng)非常艱苦的工作。隨著網(wǎng)站的發(fā)展，必需不斷增加、轉(zhuǎn)變或刪除各種功效；與此同時(shí)，不同的網(wǎng)站內(nèi)容來了又往。一段時(shí)間后，很多網(wǎng)站都會(huì)有以多個(gè)URL網(wǎng)址情勢(shì)存在的系統(tǒng)化垃圾代碼，這些URL都返回同樣的內(nèi)容。在一般情況下，除了會(huì)增加搜索引擎的抓取和索引內(nèi)容的難度以外，你的網(wǎng)站上存在重復(fù)內(nèi)容并不構(gòu)成標(biāo)題。此外，通過導(dǎo)進(jìn)鏈接而得到的PageRank以及類似信息可能會(huì)在我們尚未斷定為重復(fù)內(nèi)容的網(wǎng)頁間擴(kuò)散，導(dǎo)致你的首選網(wǎng)頁在谷歌中的排名下降。
處理你的網(wǎng)站內(nèi)部重復(fù)內(nèi)容的步驟
辨認(rèn)網(wǎng)站上的重復(fù)內(nèi)容。
辨認(rèn)你網(wǎng)站上的重復(fù)內(nèi)容是處理重復(fù)內(nèi)容的第一步，也是最重要的一步。應(yīng)用一種簡(jiǎn)略的方法可以實(shí)現(xiàn)這個(gè)目標(biāo)，即從網(wǎng)頁中選取一段奇特的文本代碼，然后搜索這段文本，并應(yīng)用谷歌的site:query將搜索成果限制為自己網(wǎng)站上的網(wǎng)頁。如此以來，搜索出的含有同樣內(nèi)容的多個(gè)成果就是你需要處理的重復(fù)內(nèi)容。
斷定你需要的首選URL網(wǎng)址。
在處理重復(fù)內(nèi)容之前，必需確保你的首選URL網(wǎng)址結(jié)構(gòu)。對(duì)于這段內(nèi)容，你盼看應(yīng)用哪一個(gè)URL網(wǎng)址？
保持網(wǎng)站內(nèi)部的同一性。
選擇首選網(wǎng)址之后，確保在你的網(wǎng)站內(nèi)所有可能的地位上應(yīng)用他們（包含你的Sitemap文件）。
在必要和可能的情況下應(yīng)用301永久重定向。
可能的話，可以應(yīng)用301代碼將重復(fù)網(wǎng)址重新定向?yàn)槟氵x擇的網(wǎng)址。此舉能夠幫助用戶和搜索引擎在拜訪重復(fù)URL網(wǎng)址時(shí)找到你的首選URL網(wǎng)址。假如你的網(wǎng)站有數(shù)個(gè)域名，可選擇一個(gè)域名，應(yīng)用將其他域名301重定向到這個(gè)域名，同時(shí)還要確保其轉(zhuǎn)向準(zhǔn)確的特定網(wǎng)頁，而不僅是域根目錄。假如網(wǎng)站同時(shí)支撐www和非www主機(jī)名，可選擇其中一種，應(yīng)用Google網(wǎng)站站長(zhǎng)工具中的首選域設(shè)置，再進(jìn)行適當(dāng)?shù)闹囟ㄏ颉?/p>
在可能的情況下，在你網(wǎng)頁上應(yīng)用rel=“canonical”。
在無法應(yīng)用301重定向的情況下，可以應(yīng)用rel=“canonical”，以方便搜索引擎更好地懂得你的網(wǎng)站和首選URL網(wǎng)址。Ask.com、Bing和Yahoo！等重要搜索引擎都支撐這種鏈接標(biāo)簽的應(yīng)用。
可能的情況下，在Google網(wǎng)站站長(zhǎng)工具中應(yīng)用URL參數(shù)處理工具
假如部分或全部網(wǎng)站重復(fù)內(nèi)容來自帶有查詢參數(shù)的URL網(wǎng)址，則此工具將幫助你將URL內(nèi)的重要參數(shù)和不相干參數(shù)通知我們。有關(guān)此工具的具體信息可參網(wǎng)站治理員新參數(shù)處理工具助您減少重復(fù)內(nèi)容 。
怎樣處理robots.txt文件？
應(yīng)用robots.txt文件來禁止對(duì)重復(fù)內(nèi)容進(jìn)行抓取不在我們推薦的方法之內(nèi)。我們建議你不要應(yīng)用robots.txt文件或其他方法來禁止對(duì)你網(wǎng)站上的重復(fù)內(nèi)容的拜訪。你可以應(yīng)用rel=“canonical” 鏈接標(biāo)簽、URL參數(shù)處理工具或301重定向。假如完整禁止了對(duì)重復(fù)內(nèi)容的拜訪，搜索引擎必需將這些URL作為獨(dú)立的不同網(wǎng)頁處理，由于它們無法分辨出這些URL實(shí)在只是指向雷同內(nèi)容的不同網(wǎng)址。更好的解決方法是答應(yīng)對(duì)其進(jìn)行抓取，同時(shí)用我們推薦的方法將這些URL網(wǎng)址明白標(biāo)記為重復(fù)內(nèi)容。假如你答應(yīng)我們拜訪這些URL網(wǎng)址，Google抓取機(jī)器人將學(xué)會(huì)通過查看URL斷定其是否為重復(fù)內(nèi)容，在各種情況下都能很好地避免不必要的重復(fù)爬行抓取。為了防止重復(fù)內(nèi)容仍然領(lǐng)導(dǎo)我們過多地爬行搜索你的網(wǎng)站，你還可以調(diào)劑Google網(wǎng)站站長(zhǎng)工具里的抓取速度。
我們盼看這些方法能夠幫助把持你的網(wǎng)站上的重復(fù)內(nèi)容。
