事先問(wèn)題思考： 

　　1.蜘蛛是否實(shí)現(xiàn)邏輯上的全站抓取 

　　2.蜘蛛是否可以區(qū)分頁(yè)面重要性 

　　3.蜘蛛是否可以提取頁(yè)面的關(guān)鍵詞 

　　一、邏輯上全站爬行 

　　1.網(wǎng)站結(jié)構(gòu)優(yōu)化 

　　網(wǎng)站物理結(jié)構(gòu)，即基于內(nèi)容聚合的目錄及文件位置決定的結(jié)構(gòu)。目前的主流思維就是網(wǎng)站扁平化設(shè)計(jì)，即平行結(jié)構(gòu)。如： 

　　列表目錄扁平化設(shè)計(jì) 

　　主要實(shí)現(xiàn)方式： 

　　第一種 只是簡(jiǎn)單的上下頁(yè)操作 

　　第二種 在第一種的基礎(chǔ)上 增加頁(yè)面的選擇性 

　　第三種 目前主流的列表頁(yè)設(shè)計(jì)方式 交流性比較合理 

　　首頁(yè)的扁平化設(shè)計(jì) 

　　首頁(yè)一般是權(quán)重的最高頁(yè)面，也是蜘蛛最先訪問(wèn)的頁(yè)面。所以在首頁(yè)鏈接對(duì)于頁(yè)面的“重要性”有一定影響，但往往一個(gè)網(wǎng)站的頁(yè)面成千上萬(wàn)，首頁(yè)的鏈接數(shù)理論上維持100-150是合理的，所以將想要頻道頁(yè)、詳細(xì)頁(yè)在首頁(yè)留下鏈接，實(shí)現(xiàn)邏輯上首頁(yè)扁平化設(shè)計(jì)。同樣適用頻道頁(yè)等聚合屬性的頁(yè)面。 

　　那么問(wèn)題來(lái)了，面對(duì)數(shù)量巨大頁(yè)面，如何保證都可以實(shí)現(xiàn)被爬行抓取? 

　　樹(shù)形結(jié)構(gòu)的輔助，就是為了解決，扁平化帶來(lái)的不足，在導(dǎo)航欄、面包屑導(dǎo)航等設(shè)計(jì)頁(yè)面層級(jí)思維，輔助蜘蛛對(duì)網(wǎng)站結(jié)構(gòu)的理解。 

　　總體上扁平化+樹(shù)形結(jié)構(gòu)才是合理的網(wǎng)站結(jié)構(gòu)優(yōu)化策略組合。 

　　2.鏈接結(jié)構(gòu)優(yōu)化 

　　兩種蜘蛛抓取不到的頁(yè)面：網(wǎng)站本身不希望被收錄的頁(yè)面;沒(méi)有鏈接到達(dá)的頁(yè)面，即孤島頁(yè)面。對(duì)于沒(méi)有被首頁(yè)推薦的頁(yè)面，可以再內(nèi)鏈上補(bǔ)充。合理的內(nèi)鏈就是一個(gè)四通八達(dá)、井然有序的交通系統(tǒng)，蜘蛛就是來(lái)往的車(chē)輛。社會(huì)化、描文本、設(shè)置鏈接入口等。 

　　3.Domain結(jié)構(gòu)優(yōu)化 

　　主要是二級(jí)域名和二級(jí)目錄的選擇策略。沒(méi)有絕對(duì)的好與不好，就科易網(wǎng)小編來(lái)說(shuō)目前公司網(wǎng)站正在有二級(jí)域名網(wǎng)站結(jié)構(gòu)向二級(jí)目錄轉(zhuǎn)變，只是采取適應(yīng)當(dāng)前科易網(wǎng)發(fā)展的核心：塑造公司品牌。所以根據(jù)自身特點(diǎn)選擇合理的domain策略。 

　　二、重要性的主導(dǎo) 

　　對(duì)于搜索引擎來(lái)說(shuō)，什么樣頁(yè)面會(huì)被認(rèn)為“更重要”?有這么一句話：每個(gè)鏈接都是一個(gè)投票，意思是：頁(yè)面的所有鏈接都是投票。在搜索引擎看來(lái)：獲得更多內(nèi)部投票的網(wǎng)頁(yè)相對(duì)來(lái)說(shuō)更加重要。 

　　三、網(wǎng)頁(yè)的標(biāo)簽：關(guān)鍵詞 

　　搜索引擎在分析頁(yè)面的內(nèi)容是優(yōu)先從TDK入手，即title、description、keyword;之后就是H標(biāo)簽、alt標(biāo)簽;最后是TF-IDF ，即詞頻-文件頻率。從三個(gè)的關(guān)聯(lián)度定義頁(yè)面的“標(biāo)簽”，即抓取的時(shí)頁(yè)面的定義的關(guān)鍵詞。 
成都網(wǎng)站建設(shè),成都網(wǎng)站制作,成都網(wǎng)頁(yè)設(shè)計(jì),成都網(wǎng)站建設(shè)公司,成都網(wǎng)站優(yōu)化,成都SEO,成都軟件開(kāi)發(fā),成都軟件定制,成都軟件外包,成都軟件外包公司,賽維思,成都賽維思。