大型行業(yè)網(wǎng)站獲取流量最重要的方式之一就是要大量收錄，依靠大量長尾關(guān)鍵詞獲得流量，但是大網(wǎng)站很多收錄都不充分，甚至一半都不到，利用IIS日志工具進(jìn)行查看，也能發(fā)現(xiàn)有些頁面存在問題，蜘蛛甚至幾年都不曾到達(dá)，那么何談收錄和排名呢？對于小網(wǎng)站來說，即使網(wǎng)站架構(gòu)不是很好，內(nèi)部優(yōu)化不是很健全，但也能收錄大部分網(wǎng)頁，因?yàn)楸旧韮?nèi)容太少，頁面結(jié)構(gòu)也簡單，所以收錄不是難事，但是對于上規(guī)模的網(wǎng)站，收錄問題就不再是簡單的問題。下邊從幾個(gè)方面和大家探討一下。
　　URL優(yōu)化：優(yōu)化URL不是難事，但是是有意義的事情，大家可以看看越來越多的網(wǎng)站都把URL結(jié)構(gòu)優(yōu)化的非常簡單易懂，容易抓取，尤其是很多B2C商城，以前URL路徑都十分復(fù)雜，參數(shù)眾多，現(xiàn)在都優(yōu)化的非常好。雖然蜘蛛也抓取動態(tài)網(wǎng)頁，但如果做成靜態(tài)，對于有大量內(nèi)頁的大型行業(yè)網(wǎng)站，就能為蜘蛛的爬行減輕很多負(fù)擔(dān)。
　　優(yōu)化排版：排版的重要目的是讓蜘蛛爬行的更加順利，抓取的內(nèi)容更好的獲得排名。排版有問題的網(wǎng)站長尾排名會直接受到影響，比如同樣的權(quán)重和收錄，排版好的頁面獲得的排名要高于一般性的排版頁面。影響排名的主要因素就是標(biāo)簽的合理使用、重要內(nèi)容是否突出（比如靠左、靠前）。
　　優(yōu)化翻頁：翻頁十分重要，如果網(wǎng)站內(nèi)頁比較多，很多頁面蜘蛛是通過翻頁才能夠到達(dá)，一般來說，不宜超過三到四次點(diǎn)擊，如果點(diǎn)擊次數(shù)很多才能夠到達(dá)，那么對于蜘蛛而言就會放棄抓取和收錄。一般優(yōu)化網(wǎng)站翻頁需要從程序著手，比如一到十分頁之后，底部最好有十到一百的翻頁結(jié)構(gòu)；另外一個(gè)方面，就是通過分小類的方法，多分一類別，就能減少很多點(diǎn)擊次數(shù)，從而讓蜘蛛更容易爬行和收錄。
　　降噪優(yōu)化：降噪優(yōu)化主要是減少多余的程序代碼，一般優(yōu)化的重點(diǎn)就是JS與CSS，把一些花里胡哨的功能都去掉，把必須的JS封裝進(jìn)JS文件，把table布局的頁面改變成為css，少使用flash和ajax腳本，大家可以想下，如果內(nèi)頁的模板中使用了這樣的代碼，那么如果有100w和內(nèi)頁，則相當(dāng)于增添了100w個(gè)這樣的程序，對蜘蛛而言，如果頁面進(jìn)行優(yōu)化，就會節(jié)省很多時(shí)間用于收錄其它頁面。
　　robots優(yōu)化：這點(diǎn)很多站長都忽略掉了，一個(gè)網(wǎng)站，如果功能比較強(qiáng)大，那么很可能同一頁面就對應(yīng)多個(gè)URL路徑，比如在價(jià)格、顏色、尺寸等不同屬性的頁面，重復(fù)度極高，再比如靜態(tài)、偽靜態(tài)和動態(tài)之間，也有可能存在這個(gè)問題，所以必須在robots文件中禁止搜索引擎對頁面的請求和爬行，這對于提高收錄也是非常有幫助的。
　　nofollow標(biāo)簽：對于小網(wǎng)站和大網(wǎng)站，使用nofollow與否差別是非常大的。因?yàn)樾【W(wǎng)站一般收錄都沒有問題，小網(wǎng)站本身的內(nèi)容就不多，而大網(wǎng)站情況則不同，很多收錄都有障礙，所以要集中權(quán)重，把蜘蛛引導(dǎo)有價(jià)值的頁面，對于一些沒有價(jià)值的鏈接要nofollow掉。大型行業(yè)網(wǎng)站使用過nofollow后就會知道它的重要性，雖然它不能為你節(jié)省PR值，但一定能累積權(quán)重，把權(quán)重合理分配，大家可以看看一個(gè)門戶的頻道頁，nofollow使用的非常得體。
　　幾乎所有的搜索引擎算法在匹配網(wǎng)民搜索需要的時(shí)候，都會先查看網(wǎng)站的標(biāo)題是否帶有目標(biāo)關(guān)鍵詞，在單個(gè)頁面標(biāo)題標(biāo)簽中使用多種不同關(guān)鍵詞、詞組，將會分散該頁面在每種關(guān)鍵詞、詞組中的權(quán)重。一個(gè)頁面的關(guān)鍵詞不要太多，要選核心的一兩個(gè)關(guān)鍵詞作為該頁面的關(guān)鍵詞，另外關(guān)鍵詞密度《也叫權(quán)重》要達(dá)到一定的數(shù)值，7%被人為是目前最為合理的數(shù)值。當(dāng)不要一味的給網(wǎng)頁內(nèi)容中加入關(guān)鍵詞，而要加大關(guān)鍵詞接近度詞與詞彼此靠近，如加可樂，你可以這樣寫“好喝的可樂，美味的可樂”。
　　到這里基本總結(jié)差不多了，其實(shí)網(wǎng)站的優(yōu)化核心都類似，但是不同的網(wǎng)站，效果往往也是不同的。不同行業(yè)，不同規(guī)模，就會有不同結(jié)果。一些站長感覺很多基礎(chǔ)性的東西不重要，其實(shí)基礎(chǔ)性的東西往往在你網(wǎng)站達(dá)到某種規(guī)模的時(shí)候才能起到作用。