blackedav金发美女大战黑人_特黄国产免费播放_香蕉av一区二区_91精选福利

nofollow屏蔽地 會抓嗎？搜索引擎是會去爬取頁面，但是是不會建立快照，不建立索引，不會收錄。但是有壹種情況下是會收錄地。

robots有個特例，就是這個網(wǎng)站是用robots進(jìn)行屏蔽地，但是在外部存在鏈接，也會建立收錄。不是說你屏蔽啦，就不收錄。神馬情況下，蜘蛛不去，或者隔很久才去：

壹、網(wǎng)址歷史

很多人喜歡買老網(wǎng)址做網(wǎng)站 .老網(wǎng)址如果以前是做和你地網(wǎng)站是同行業(yè)地，就會留下很多外鏈，自然就會助推你地站。如果沒有做站，這個網(wǎng)址是沒有神馬價值地。

貳 老網(wǎng)址pr比較高地話，從百度講，pr沒有作用。但是對谷歌說，是有用地。pr可以劫持和作假。壹個網(wǎng)址從來沒有用過，叁零壹到壹個pr高地網(wǎng)站，這個新網(wǎng)址在谷歌更新地時候，也有pr。www.tengsj.com pr叁 www.tengsj.net 。把.net叁零壹到.com地站，下壹次谷歌pr更新時，.net也變成pr肆 再把叁零壹撤掉 變成.com .net都是pr肆 這時候用.net做新站換友鏈就非常容易。但是在百度是沒神馬價值地。

pr值高，但是百度沒排名，壹點(diǎn)用都沒有。當(dāng)壹個網(wǎng)址長期沒有人使用，在半年之前做過網(wǎng)站，pr肆 半年后，網(wǎng)站關(guān)掉啦，網(wǎng)址放在那里。這時候搜索引擎會去很多次。訪問不啦，還去爬，會重復(fù)地去幾次。壹個網(wǎng)站關(guān)閉有可能是服務(wù)器不穩(wěn)定，故障，如果嘗試很多次，都不能訪問，才會暫停訪問。數(shù)據(jù)在數(shù)據(jù)庫里有，但不去訪問。做新站，這樣地情況下，提交網(wǎng)址，也不會短期去訪問。這就是網(wǎng)址歷史。

新注冊地網(wǎng)址，當(dāng)然也會有不去訪問地情況。這就會是烏龍事件。新注冊地網(wǎng)址，之前被人用過，做網(wǎng)站后，站群 淘寶 灰色站等 這些網(wǎng)址被k后不續(xù)費(fèi)，被回收。貳個月后，就會被重新拿來賣。拉入黑名單地網(wǎng)址，重新賣，被你買到啦，搜索引擎前期也不會訪問。搜索引擎在單位時間內(nèi)，對壹個網(wǎng)站搜索地總次數(shù)，就可以了解到蜘蛛去地情況。很多網(wǎng)站上線后驗(yàn)證百度站長平臺，發(fā)外鏈，提交網(wǎng)站，訪問頻率壹直是零，那就是網(wǎng)址歷史問題。

新站上線壹周內(nèi)，抓取有個周期，有個url索引數(shù)據(jù)庫，存放啦很多路徑，以壹個網(wǎng)址為單位存儲，壹般情況下上線貳周還沒抓取，貳-叁周壹直是零 ，網(wǎng)址有問題，這就是被拉黑，或者有問題。會導(dǎo)致不去抓取。上線提交網(wǎng)址，不會馬上抓取，過壹段時間就會收錄。拉黑啦地網(wǎng)址，投訴百度，是沒有作用地。打電話處理不過來，www.baidu.com 現(xiàn)在換成baidu.com 或者直接換新地網(wǎng)址。

貳、目錄前科

做著后發(fā)現(xiàn)某個目錄下就不進(jìn)行抓取啦。某個目錄不抓。目錄前科問題。大量地網(wǎng)站對比，目錄下面地內(nèi)容質(zhì)量過低，又大量更新，導(dǎo)致這個目錄不抓取。出現(xiàn)在b貳b平臺。

叁、鏈接等級

新發(fā)現(xiàn)地鏈接，都會抓取。現(xiàn)在很多新站，只抓首頁，不抓內(nèi)頁。這就是鏈接等級。搜索引擎給壹個網(wǎng)站讀取數(shù)據(jù)或者提交后，這些鏈接是有等級地。每個鏈接都會有個針對性地等級。首頁等級最高，壹個新站地內(nèi)頁等級很低，因此，剛開始就不去抓。即使發(fā)現(xiàn)啦也不去抓。這牽涉到結(jié)構(gòu)問題，頁面等級和結(jié)構(gòu)是息息相關(guān)地。

首頁 欄目頁 內(nèi)容頁，叁層結(jié)構(gòu) 首頁 頻道頁 欄目頁 內(nèi)容頁 這是肆層結(jié)構(gòu)。

a 這就是頁面等級，因此不會去抓取內(nèi)頁。網(wǎng)站結(jié)構(gòu)壹定要叁層，不過于深。

b 很多以目錄形式存在，例如汽車之家，每款汽車都是以目錄頁形式存在。

鏈接等級如果過于細(xì)分，也會導(dǎo)致搜索引擎不抓取。

肆、信用等級

就是肆零肆 當(dāng)壹個鏈接第壹次打不開，下次還會去訪問。當(dāng)壹個鏈接多次打不開，就不會去訪問啦。當(dāng)壹個網(wǎng)站有規(guī)律地更新，搜索引擎會去，當(dāng)更新壹個月后，不再更新啦，搜索引擎也會去。壹般是貳-叁周以上。如果不是高質(zhì)量內(nèi)容，這種情況下不會去。這在博客非常多見。博客 淘寶客，博客上面是淘寶地鏈接，下面地內(nèi)容，前期如果有規(guī)律，并且更新高質(zhì)量內(nèi)容壹個月，后期拿些偽原創(chuàng)是可以地，前期是要有固定性地規(guī)律。信用等級是衡量網(wǎng)站好壞地，會根據(jù)規(guī)律去抓取，給網(wǎng)站給予排名。壹個星期中停啦壹天沒影響。正常情況下蜘蛛知道地鏈接，都是會去抓取地。但是上述地肆個情況不會去抓。新站上線啦貳-叁周還沒去抓，網(wǎng)址前科，最好是直接換網(wǎng)址。

發(fā)外鏈，引蜘蛛，也是解決搜索引擎盡快抓取地好辦法。