這個文章的目的是收集一個列表常見HTTP用戶代理名稱使用默認(rèn)由各種編程庫和命令行工具。許多這些用戶代理可能會用在一個真正的蜘蛛,但無論出于何種原因默認(rèn)的用戶代理字符串不重置雖然大多數(shù)很容易發(fā)生變化,以反映蜘蛛的名字。

希望這篇文章能幫助人們了解正在使用什么工具可以提供一些見解蜘蛛的目的,作為一個有用的資源在未來快速指南。

讓我踢掉這幾個條目列表中,有一個我自己的:

Jakarta commons httpclient

示例:“雅加達(dá)commons httpclient / 3 0 1”

HTTP客戶端協(xié)議庫,請看Apache.org以獲得更多信息

史努比

示例:“史努比v1 2 3”

史努比v1 2 3它似乎是一個PHP類和一個版本在源鍛造(看到史努比項目),這絕對是包含在Wordpress。

wget

示例:“Wget / 1 10 2(紅色帽子修改)”

GNU wget(wget)是一個免費的網(wǎng)絡(luò)工具來檢索文件從萬維網(wǎng),使用HTTP(超文本傳輸協(xié)議)和FTP(文件傳輸協(xié)議),兩個最廣泛使用的互聯(lián)網(wǎng)協(xié)議。”

libwww-perl

例如:“libwww-perl / 5.805”

這是一個通用的應(yīng)用程序庫檢索HTTP文檔使用PERL腳本通常從Linux服務(wù)器。這個特別的圖書館是常與黑客攻擊、僵尸網(wǎng)絡(luò)攻擊[webmasterworld.com],應(yīng)該阻止在一般。

卷曲或libcurl代理