百度蜘蛛是百度搜索引擎的一個抓取網頁的自動程序。它的作用是訪問收集整理互聯網上的網頁、圖片、視頻等內容，然后分門別類建立索引數據庫，使用戶能在百度搜索引擎中搜索到您網站的網頁、圖片、視頻等內容。

 

百度產品名稱 對應user-agent蜘蛛分類：

網頁搜索 Baiduspider

無線搜索 Baiduspider

圖片搜索 Baiduspider-image

視頻搜索 Baiduspider-video

新聞搜索 Baiduspider-news

百度搜藏 Baiduspider-favo

百度聯盟Baiduspider-cpro

競價蜘蛛Baiduspider-sfkr

 

百度蜘蛛的構建的原理：搜索引擎構建一個調度程序，來調度百度蜘蛛的工作，讓百度蜘蛛去和服務器建立連接下載網頁，計算的過程都是通過調度來計算的，百度蜘蛛只是負責下載網頁，目前的搜索引擎普遍使用廣布式多服務器多線程的百度蜘蛛來達到多線程的目的。

 

百度蜘蛛的百度蜘蛛的運行原理工作流程：

 

1、通過百度蜘蛛下載回來的網頁放到補充數據區，通過各種程序計算過后才放到檢索區，才會形成穩定的排名，所以說只要下載回來的東西都可以通過指令找到，補充數據是不穩定的，有可能在各種計算的過程中給清理掉，檢索區的數據排名相對比較穩定，百度目前是緩存機制和補充數據相結合，正在向補充數據轉變，這也是目前百度收錄困難的原因，也是很多站點今天給k了明天又放出來的原因。

2、深度優先和權重優先，百度蜘蛛抓頁面的時候從起始站點，即種子站點指的是一些門戶站點。百度會優先抓取，是為了抓取更多的網址，深度優先抓取的目的是為了抓取高質量的網頁，這個策略是由調度來計算和分配的，百度蜘蛛只負責抓取，權重優先是指反向連接較多的頁面的優先抓取，這也是調度的一種策略，一般情況下網頁抓取抓到40%是正常范圍，60%算很好，100%是不可能的，當然抓取的越多越好。

 

百度蜘蛛在從網站首頁登陸，抓取首頁后會計算網站其中所有的連接，返回給百度蜘蛛進行下一步的抓取連接列表，百度蜘蛛再進行下一步的抓取，網址地圖的作用是為了給百度蜘蛛提供一個抓取的方向，來指引百度蜘蛛去抓取重要頁面，如何讓百度蜘蛛知道哪個頁面是重要頁面？可以通過連接的構建來達到這個目的，越多的頁面指向該頁，網址首頁的指向，副頁面的指向等等都能提高該頁的權重，地圖的另外一個作用是給百度蜘蛛提供更多的連接來達到抓去更多頁面的目的，地圖其實就是一個連接的列表提供給百度蜘蛛，來計算網站的目錄結構，通過站內連接來構建的重要頁面。

 

百度蜘蛛原理的應用：補充數據到主檢索區的轉變：在不改變板塊結構的情況下，增加相關連接來提高網頁質量，通過增加其他頁面對該頁的反向連接來提高權重，通過外部連接增加權重。如果改變了板塊結構將導致網站SEO的重新計算，所以不能改變板塊結構的情況下來操作，增加連接要注意連接的質量和反向連接的數量的關系，短時間內增加大量的反向連接將導致k站，連接的相關性越高，對排名越有利。