搜索引擎蜘蛛程序在爬行網頁的時候，為了節約服務器資源，保證高效的運行效率，他可能會忽略掉網頁中一些內容，我們盡量要避免蜘蛛程序忽略掉網頁的重要內容，為了更好的進行SEO工作，你可能需要對網頁進行一些必要的改進。

一、精簡網頁

蜘蛛程序不太喜歡爬行太過于臃腫的網頁，為了保持自身的高效率運行，蜘蛛程序花同樣的時間可能會爬取更多精簡的網頁，每個蜘蛛程序都有自己的限制程序，太大的網頁可能會導致不能完全爬行，甚至根本不去爬行這些網頁。

當然，目前使用

布局的已經很少，一般情況下，導致網頁體積變大的原因都是由于JS代碼太多引起的，要解決這樣的問題，應該把JS代碼從網頁轉移到一個外部JS文件，這樣蜘蛛程序將不會去爬行它，而且網頁界面不受任何影響，從而達到精簡網頁的目的。

二、驗證HTML的正確性

當用戶在瀏覽我們網頁的時候，可能很少看見錯誤信息，這樣看起來網頁的HTML好像沒有什么問題，但目前的瀏覽器，特別是IE瀏覽器，其設計的思想高質量的顯示網頁，盡量不讓用戶發現網頁上的問題，因此，瀏覽器是可能容忍HTML編碼錯誤的。但是，作為進行SEO優化的網頁，面對的不僅僅是用戶，還有蜘蛛程序，蜘蛛程序不想瀏覽器那樣，任何錯誤的編碼都可能會向蜘蛛程序提供錯誤的信息。

由于目前很多個人站長都采用CMS程序來建站，在編輯模板文件和購買模板的時候，一定要注意起HTML代碼的正確性，大多錯誤都發生在標簽的寫法上，比如最近一個客戶的網頁統計代碼未封口，在網站上線前或者注意到問題的時候，可以用檢測工具(www.w3.org)檢查下網頁代碼是否正確，避免這些小失誤有助于蜘蛛程序更好的讀取數據網頁數據。

三、FLASH中避免包含重要鏈接信息

FLASH網站的確比常規的HTML更吸引用戶眼球，其用戶體驗自然也好的多，但是搜素引擎并不能想用戶一樣去瀏覽FLASH，無法確定FLASH里面包含的內容，而存在與FLASH里面的重要鏈接信息(比如導航)也自然不會被蜘蛛程序捕捉到(谷歌貌似能讀懂FLASH)。這里也并不是說網頁中就一定不能使用FLASH，因為FLASH對提升用戶體驗的效果我們是肯定，那么，我們只要盡量保證FLASH中內容不會包含重要的鏈接信息。

四、避免使用FRAMES框架

由于蜘蛛程序會話費很多時間來解讀基于frames框架的網頁，使得目前搜索引擎開始考慮放棄蜘蛛程序對frames內容的爬行，這在百度SEO指南中有明確說明，對于使用frames的網頁，可以借助noframes標簽將框架中的重要內容提取出來，這樣有助于蜘蛛程序了解框架結構中的重要內容。