首先是蜘蛛來到網站：大家都知道，搜索引擎來到一個網站靠的是外部鏈接，如果你沒有和其它網站有外部鏈接，那么蜘蛛就不能順著這些網狀結構的鏈接爬行到你的網站，就無從談起抓取收錄，也就不會有排名，因為你的網站在搜索引擎的大門外。當蜘蛛來到你的網站首頁時(一般的外部鏈接都是鏈到首頁)，最好讓他沿著首頁繼續爬行更加深的內容和產品頁，這樣才能最大化的進行收錄，因此網站需要不錯的外部鏈接來引誘蜘蛛，同時網站內部需要良好的網站結構，盡量達到扁平化或者樹狀結構。讓蜘蛛不但能來到你的網站，也能順著這些合理的結構進行爬行。一般情況下，網頁之間最好用文字鏈接，不建議使用JS、Flash或者圖片，現在搜索引擎還無法完全理解這些腳本里邊包含的內容是什么。另外，我們可以制作網站地圖，把所有重要的頁面都以鏈接的方式顯示出來，這樣蜘蛛就能順著網站地圖順利的爬行你的網站。最后和大家說的是，最好所有的頁面能在三四次點擊內達到，如果點擊次數太多的話，收錄很困難。
接著是蜘蛛抓取網站：在收錄和抓取上，建議大家盡量使用靜態頁面。雖然現在蜘蛛已經完全能讀懂動態頁面的意思，并且也能很順利的進行爬行和抓取，但是通過研究我們可以發現，往往的靜態頁面排名要優先于動態頁面。在外部條件相同的情況下，一般靜態網頁的權重稍微高于動態。有時候動態網頁由于設計的問題容易讓蜘蛛進入無限循環，所以搜索引擎會遠離這類URL。另外有些企業網站是全Flash設計的，在讀取上非常困難，一般不太容易實現收錄。另外就是避免框架結構，剛開始出現網頁設計時，框架曾經很流行，現在還有很多網站在采用框架結構，但這個是讓搜索引擎很頭痛的東西。搜索引擎基本不對框架里邊的東西進行抓取。除了框架之外，還有的就是音頻文件，圖片，廣告代碼，彈窗等都不利于蜘蛛爬行。蜘蛛喜歡文字性的內容。因此我們有了足夠的外部鏈接來引誘蜘蛛時，要注意的就是合理的使用網頁設計的元素，這樣才能讓搜索引擎順利抓取你的網頁和內容。
最后是被搜索引擎提煉：我們的網頁中包含圖片，包含文字，同時也包含很多其它文件，搜索引擎并不會抓取不相關的文件，只會抓取文字內容。所以Html代碼需要進行優化才能讓搜索引擎以最快的速度提煉出最重要的信息。總體要符合以下六個原則，一是格式標簽占的比例越低越好，文字內容占的越多越好;二是把css、js等文件放在外部，需要時進行調用;三是把關鍵詞放在合理的標簽中，比如標題常常放在H1標簽中。四是檢查網頁的兼容性，使用不同的瀏覽器進行測試;五是盡量符合W3C標準，雖然這個不容易，但是盡量把代碼標準化;六是只有蜘蛛順利爬行你的網頁并提取有用的信息，才是比較友好的設計。以上六個原則是進行設計是必須要注意的，有很多網頁里邊包含了大量的CSS以及JS代碼，就會影響蜘蛛的爬行，如果重要內容在這些內容下，那么很可能不會被搜索引擎爬行到。
我們做網站的時候需要照顧到用戶體驗，但是用戶體驗并不和友好搜索引擎的代碼相互沖突。如果你的網站一定要使用Flash或者Ajax才能達到效果，那么也可以用，但盡量少用。很多網站導航喜歡用圖片，其實純CSS的代碼也能設計出漂亮的菜單，同時也利于搜索引擎抓取。我們在設計網頁的時候，首先要考慮的是如何服務用戶，但同時記得不要把搜索引擎的蜘蛛拒之門外就可以了。不必苛求兩者中的任何一個方面。
湘公網安備 43010302000270號