今天小編來給大家分享一些關(guān)于什么是爬蟲技術(shù) 什么是網(wǎng)絡(luò)爬蟲方面的知識吧，希望大家會喜歡哦

1、爬蟲技術(shù)即網(wǎng)絡(luò)爬蟲（又稱為網(wǎng)頁蜘蛛，網(wǎng)絡(luò)機器人，在FOAF社區(qū)中間，更經(jīng)常的稱為網(wǎng)頁追逐者），是一種按照一定的規(guī)則，自動地抓取萬維網(wǎng)信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。

2、網(wǎng)絡(luò)爬蟲按照系統(tǒng)結(jié)構(gòu)和實現(xiàn)技術(shù)，大致可以分為以下幾種類型：通用網(wǎng)絡(luò)爬蟲（GeneralPurposeWebCrawler）、聚焦網(wǎng)絡(luò)爬蟲（FocusedWebCrawler）、增量式網(wǎng)絡(luò)爬蟲（IncrementalWebCrawler）、深層網(wǎng)絡(luò)爬蟲（DeepWebCrawler）。實際的網(wǎng)絡(luò)爬蟲系統(tǒng)通常是幾種爬蟲技術(shù)相結(jié)合實現(xiàn)的。

本文到此結(jié)束，希望對大家有所幫助。

版權(quán)說明：本文由用戶上傳，如有侵權(quán)請聯(lián)系刪除！

標簽：