濟南網(wǎng)站優(yōu)化甄別真假蜘蛛
來源:http://m.premium-option.com 發(fā)布時間:2016-06-18
對于真假百度蜘蛛,之前我是沒有了解過,相信SEO及站長們已經(jīng)有明確的手段去辨別了。百度也在官方通告了如何去判別偽裝成百度蜘蛛的抓取,詳情請參考搜索引擎優(yōu)化指南。假蜘蛛對我們網(wǎng)站的危害是巨大的,以下我我們就簡單的讓大家了解一下:
占用網(wǎng)站帶寬,導(dǎo)致網(wǎng)站流量上升,增加額外開銷,在有限帶寬的前提下,阻礙了正常蜘蛛的抓取,誤導(dǎo)了我們在對網(wǎng)站開展SEO工作時的思路,部分偽裝成假蜘蛛的采集工具剽竊了我們的工作,我們看到,網(wǎng)上有很多人在分享如何“捉住”假蜘蛛的文章,但這些文章只是千篇一律的描述了“捉住”假蜘蛛的過程及操作方法。卻沒有分享從如何真正的判別蜘蛛的真?zhèn)?。濟南網(wǎng)站優(yōu)化近期在對一個電商網(wǎng)站進行SEO優(yōu)化時,就碰到了這樣一個案例,險些導(dǎo)致將真蜘蛛錯當(dāng)假蜘蛛來處理。
一、發(fā)現(xiàn)“假蜘蛛”
SEO優(yōu)化要依靠大量的分析和數(shù)據(jù)來實現(xiàn),其中日志分析是重中之重,在日志中我們可以看到很多平時統(tǒng)計工具無法看到的數(shù)據(jù)和事實。每周三我都要對該電子商務(wù)網(wǎng)站進行周日志的分析,以便來統(tǒng)計上一周的優(yōu)化效果,在本周進行對網(wǎng)站日志進行分析查看時,我發(fā)現(xiàn)了幾個不屬于認識中的“蜘蛛IP”。
濟南網(wǎng)站優(yōu)化http://m.premium-option.com/認為:百度蜘蛛一般來自于202.181.108.* 和123.125.71.* 這兩個IP段(這兩個IP段的百度蜘蛛沒有所謂高權(quán)重和降權(quán)之分)。顯然這三個IP在“常識”中,不屬于百度蜘蛛所屬的IP段。為了確保不誤殺百度蜘蛛,筆者用nslookup ip命令反解了此IP。這個時候,基本已經(jīng)可以確定該IP不屬于百度蜘蛛的IP段,是一個“假蜘蛛”,我們需要屏蔽該IP釋放那些被占用的帶寬。
二、誤會“假蜘蛛”
就在要對以上提到的三個IP進行屏蔽的時候,筆者突然想到,這個電商網(wǎng)站在上周通知我他們要使用安全寶服務(wù),需要將DNS解析到安全寶的服務(wù)器上,而安全寶則會根據(jù)用戶的訪問情況,選擇距離近期的一個節(jié)點進行CDN加速。
在我之前的例行SEO檢查中,發(fā)現(xiàn)網(wǎng)站IP被解析到了陜西的一個IP上,而這個網(wǎng)站IP和這次我從網(wǎng)站日志中發(fā)現(xiàn)的三個“假蜘蛛”IP屬于同一IP段。為了驗證這個推測,我又重新仔細查看了網(wǎng)站日志,發(fā)現(xiàn)谷歌蜘蛛和搜狗蜘蛛也來自于之前三個IP(之前對網(wǎng)站日志進行了拆分,只查看百度的情況,因為網(wǎng)站是針對百度做SEO的)。
這下子總算清楚了,這些所屬IP的蜘蛛不是假蜘蛛,而是貨真價實的百度蜘蛛、谷歌蜘蛛和其他搜索引擎的蜘蛛。只不過因為他們通過了一次CDN節(jié)點,所以造成了他們的來源IP是一致的。
三、虛擬主機如何產(chǎn)生“假蜘蛛”
由此濟南網(wǎng)站優(yōu)化突然想到,之前在閱讀相關(guān)文章的時候,經(jīng)常會看到有站長抱怨發(fā)現(xiàn)假蜘蛛,來自XX機房(就那么一兩家機房)。這是一件很奇怪的事情,莫非采集工具和假蜘蛛都產(chǎn)自這個機房?事實自然不是那樣的,而是:
很大一部分發(fā)現(xiàn)假蜘蛛的站長,所使用的是某主機供應(yīng)商提供的集群主機,或類似性質(zhì)的虛擬主機集群性質(zhì)的虛擬主機,同CDN的道理是相同的,即將客戶的空間和站點資料同步到同一個群組的所有服務(wù)器上蜘蛛的來源不同,一些是直接訪問站點的,另一些是通過一些外鏈訪問站點的。
通過外鏈訪問站點的蜘蛛,會就近通過CDN節(jié)點訪問CDN節(jié)點每家公司都不一樣,但大致分為地域大區(qū)(不是省)和電信、網(wǎng)通這樣的方式劃分那些通過CDN節(jié)點訪問網(wǎng)站的蜘蛛,來源IP自然不是從北京總部出發(fā)時的IP
終事情得到了很好的解決,該電商網(wǎng)站自優(yōu)化以來效果一直良好,雖然采用了CDN,但事實證明CDN對搜索引擎而言沒有任何障礙,反而有利于網(wǎng)站速度和提高用戶體驗。這個SEO案例也同時告訴我們,網(wǎng)上的SEO教程是會過時的,隨著互聯(lián)網(wǎng)的進步,我們SEO也要學(xué)會理智的去對待一些教程和分享,要有質(zhì)疑和勇于實踐的精神,同時對互聯(lián)網(wǎng)的一些基本的技術(shù)知識要有所了解。
相關(guān)文章
多年
成立于2010年
多年經(jīng)驗不斷發(fā)展
多家客戶
超過多家客戶伴隨我們成長
多家企業(yè)
服務(wù)于多家企業(yè)客戶
助力品宣的提升
幾十項
服務(wù)項目為您服務(wù)
夯實成長的基石