事先問題思考： 

　　1.蜘蛛是否實(shí)現(xiàn)邏輯上的全站抓取 

　　2.蜘蛛是否可以區(qū)分頁面重要性 

　　3.蜘蛛是否可以提取頁面的關(guān)鍵詞 

　　一、邏輯上全站爬行 

　　1.網(wǎng)站結(jié)構(gòu)優(yōu)化 

　　網(wǎng)站物理結(jié)構(gòu)，即基于內(nèi)容聚合的目錄及文件位置決定的結(jié)構(gòu)。目前的主流思維就是網(wǎng)站扁平化設(shè)計(jì)，即平行結(jié)構(gòu)。如： 

　　列表目錄扁平化設(shè)計(jì) 

　　主要實(shí)現(xiàn)方式： 

　　第一種 只是簡單的上下頁操作 

　　第二種 在第一種的基礎(chǔ)上 增加頁面的選擇性 

　　第三種 目前主流的列表頁設(shè)計(jì)方式 交流性比較合理 

　　首頁的扁平化設(shè)計(jì) 

　　首頁一般是權(quán)重的最高頁面，也是蜘蛛最先訪問的頁面。所以在首頁鏈接對于頁面的“重要性”有一定影響，但往往一個(gè)網(wǎng)站的頁面成千上萬，首頁的鏈接數(shù)理論上維持100-150是合理的，所以將想要頻道頁、詳細(xì)頁在首頁留下鏈接，實(shí)現(xiàn)邏輯上首頁扁平化設(shè)計(jì)。同樣適用頻道頁等聚合屬性的頁面。 

　　那么問題來了，面對數(shù)量巨大頁面，如何保證都可以實(shí)現(xiàn)被爬行抓取? 

　　樹形結(jié)構(gòu)的輔助，就是為了解決，扁平化帶來的不足，在導(dǎo)航欄、面包屑導(dǎo)航等設(shè)計(jì)頁面層級(jí)思維，輔助蜘蛛對網(wǎng)站結(jié)構(gòu)的理解。 

　　總體上扁平化+樹形結(jié)構(gòu)才是合理的網(wǎng)站結(jié)構(gòu)優(yōu)化策略組合。 

　　2.鏈接結(jié)構(gòu)優(yōu)化 

　　兩種蜘蛛抓取不到的頁面：網(wǎng)站本身不希望被收錄的頁面;沒有鏈接到達(dá)的頁面，即孤島頁面。對于沒有被首頁推薦的頁面，可以再內(nèi)鏈上補(bǔ)充。合理的內(nèi)鏈就是一個(gè)四通八達(dá)、井然有序的交通系統(tǒng)，蜘蛛就是來往的車輛。社會(huì)化、描文本、設(shè)置鏈接入口等。 

　　3.Domain結(jié)構(gòu)優(yōu)化 

　　主要是二級(jí)域名和二級(jí)目錄的選擇策略。沒有絕對的好與不好，就科易網(wǎng)小編來說目前公司網(wǎng)站正在有二級(jí)域名網(wǎng)站結(jié)構(gòu)向二級(jí)目錄轉(zhuǎn)變，只是采取適應(yīng)當(dāng)前科易網(wǎng)發(fā)展的核心：塑造公司品牌。所以根據(jù)自身特點(diǎn)選擇合理的domain策略。 

　　二、重要性的主導(dǎo) 

　　對于搜索引擎來說，什么樣頁面會(huì)被認(rèn)為“更重要”?有這么一句話：每個(gè)鏈接都是一個(gè)投票，意思是：頁面的所有鏈接都是投票。在搜索引擎看來：獲得更多內(nèi)部投票的網(wǎng)頁相對來說更加重要。 

　　三、網(wǎng)頁的標(biāo)簽：關(guān)鍵詞 

　　搜索引擎在分析頁面的內(nèi)容是優(yōu)先從TDK入手，即title、description、keyword;之后就是H標(biāo)簽、alt標(biāo)簽;最后是TF-IDF ，即詞頻-文件頻率。從三個(gè)的關(guān)聯(lián)度定義頁面的“標(biāo)簽”，即抓取的時(shí)頁面的定義的關(guān)鍵詞。 
成都網(wǎng)站建設(shè),成都網(wǎng)站制作,成都網(wǎng)頁設(shè)計(jì),成都網(wǎng)站建設(shè)公司,成都網(wǎng)站優(yōu)化,成都SEO,成都軟件開發(fā),成都軟件定制,成都軟件外包,成都軟件外包公司,賽維思,成都賽維思。