如何從廣度和深度喂飽蜘蛛
發(fā)布時(shí)間:2012/11/14
字體:大中小
摘要:如何從廣度和深度喂飽蜘蛛,蜘蛛的廣度和深度是如何工作的,昨天在“搜索引擎是咋樣工作的”內(nèi)容中也提到了蜘蛛的工作方式,但是沒(méi)有詳細(xì)的介紹,今天合肥網(wǎng)絡(luò)公司小編就跟大家解析一下蜘蛛廣度和深度的工作方法。
昨天在“
搜索引擎是咋樣工作的”內(nèi)容中也提到了蜘蛛的工作方式分為廣度和深度,但是沒(méi)有詳細(xì)的介紹,今天
合肥網(wǎng)絡(luò)公司小編就跟大家解析一下
蜘蛛廣度和深度的工作方法。
搜索引擎蜘蛛工作都是深度開(kāi)始,蜘蛛找到一個(gè)鏈接之后,就會(huì)沿著這個(gè)鏈接向下一個(gè)鏈接前進(jìn);從一個(gè)頁(yè)面開(kāi)始這樣重復(fù)著工作,但不是重復(fù)爬同一個(gè)頁(yè)面。當(dāng)蜘蛛爬到無(wú)路可走的時(shí)候,才返回爬另一條路。
蜘蛛的廣度工作比較有規(guī)律,用字母表示頁(yè)面,就可以很形象的表示為蜘蛛從頁(yè)面A爬到a1、a2、a3、a4,如果a4頁(yè)面之后就沒(méi)有其他鏈接了。然后從另一個(gè)鏈接爬到另外b1、b2、b3、b4頁(yè)面。
如果蜘蛛以廣度優(yōu)先,那么蜘蛛就能在一個(gè)頁(yè)面發(fā)現(xiàn)很多個(gè)鏈接,這種爬行是沒(méi)有規(guī)律的爬行。按照網(wǎng)站的層次來(lái)爬,第一層爬取完了之后,再爬取第二層頁(yè)面,以此類推。用字母表示的話就是從A頁(yè)面爬到A1、B1、C1、D1頁(yè)面,爬完之后再繼續(xù)到第二個(gè)層次,A1爬完爬A2,A2爬完爬A3。
合肥網(wǎng)絡(luò)公司認(rèn)為,不管是廣度還是深度,蜘蛛都會(huì)爬完整個(gè)網(wǎng)絡(luò),當(dāng)然也不可能每個(gè)頁(yè)面都能爬取到,所以我們才會(huì)有網(wǎng)站收錄不一樣的情況。如何喂飽蜘蛛,那就要讓蜘蛛在網(wǎng)站中舍不得出來(lái),網(wǎng)站內(nèi)鏈和外鏈都要做到盡善盡美。