百度百科上對于網絡爬蟲的定義是：網絡爬蟲（又被稱為網頁蜘蛛，網絡機器人，在FOAF社區中間，更經常的稱為網頁追逐者），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有蜘蛛、搜索引擎機器人。通俗的講，網絡爬蟲就是能夠自動訪問互聯網并將網站內容下載下來的的程序或腳本，類似一個機器人，能把別人網站的信息抓取到自己的服務器上，做過濾，篩選，歸納，整理，排序，當用戶搜索相關的信息時就會展示出來。

 

網絡爬蟲的英文即Web Spider，是一個很形象的名字。把互聯網比喻成一個蜘蛛網，那么Spider就是在網上爬來爬去的蜘蛛。網絡蜘蛛是通過網頁的鏈接地址來尋找網頁，從網站某一個頁面（通常是首頁）開始，讀取網頁的內容，找到在網頁中的其它鏈接地址，然后通過這些鏈接地址尋找下一個網頁，這樣一直循環下去，直到把這個網站所有的網頁都抓取完為止。如果把整個互聯網當成一個網站，那么網絡蜘蛛就可以用這個原理把互聯網上所有的網頁都抓取下來。

 

網絡爬蟲程序的作用？網絡爬蟲就是為用戶提供信息來源的程序，網絡爬蟲（又被稱為網頁蜘蛛，網絡機器人，在FOAF社區中間，更經常被稱為網頁追逐者），是一種按照一定的規則，自動的抓取萬維網信息的程序或者腳本，已被廣泛應用于互聯網領域。搜索引擎使用網絡爬蟲抓取Web網頁、文檔甚至圖片、音頻、視頻等資源，通過相應的索引技術組織這些信息，提供給搜索用戶進行查詢。搜索引擎營銷推廣為中小企業，通過網站進行營銷推廣產品或服務提供了有效的途徑。