腳本之家服務(wù)器常用軟件

快捷導(dǎo)航

Apache Nutch 網(wǎng)絡(luò)爬蟲(chóng) v1.20

Apache Nutch

投訴報(bào)錯(cuò)

源碼大小：8.15MB
源碼語(yǔ)言：英文軟件
源碼類(lèi)型：國(guó)外軟件
源碼授權(quán)：免費(fèi)軟件
源碼類(lèi)別：java源碼
應(yīng)用平臺(tái)：Java
更新時(shí)間：2025-02-03
網(wǎng)友評(píng)分：

360通過(guò) 騰訊通過(guò) 金山通過(guò)

8.15MB

詳情介紹

Nutch的創(chuàng)始人是Doug Cutting，他同時(shí)也是Lucene、Hadoop和Avro開(kāi)源項(xiàng)目的創(chuàng)始人。

Nutch誕生于2002年8月，是Apache旗下的一個(gè)用Java實(shí)現(xiàn)的開(kāi)源搜索引擎項(xiàng)目，自Nutch1.2版本之后，Nutch已經(jīng)從搜索引擎演化為網(wǎng)絡(luò)爬蟲(chóng)，接著Nutch進(jìn)一步演化為兩大分支版本：1.X和2.X，這兩大分支最大的區(qū)別在于2.X對(duì)底層的數(shù)據(jù)存儲(chǔ)進(jìn)行了抽象以支持各種底層存儲(chǔ)技術(shù)。

在Nutch的進(jìn)化過(guò)程中，產(chǎn)生了Hadoop、Tika、Gora和Crawler Commons四個(gè)Java開(kāi)源項(xiàng)目。如今這四個(gè)項(xiàng)目都發(fā)展迅速，極其火爆，尤其是Hadoop，其已成為大規(guī)模數(shù)據(jù)處理的事實(shí)上的標(biāo)準(zhǔn)。Tika使用多種現(xiàn)有的開(kāi)源內(nèi)容解析項(xiàng)目來(lái)實(shí)現(xiàn)從多種格式的文件中提取元數(shù)據(jù)和結(jié)構(gòu)化文本，Gora支持把大數(shù)據(jù)持久化到多種存儲(chǔ)實(shí)現(xiàn)，Crawler Commons是一個(gè)通用的網(wǎng)絡(luò)爬蟲(chóng)組件。

大數(shù)據(jù)這個(gè)術(shù)語(yǔ)最早的引用可追溯到Nutch。當(dāng)時(shí)，大數(shù)據(jù)用來(lái)描述為更新網(wǎng)絡(luò)搜索索引需要同時(shí)進(jìn)行批量處理或分析的大量數(shù)據(jù)集。現(xiàn)在，大數(shù)據(jù)的含義已經(jīng)被極大地發(fā)展了，業(yè)界將大數(shù)據(jù)的特性歸納為4個(gè)“V”。Volume數(shù)據(jù)體量巨大，Variety數(shù)據(jù)類(lèi)型繁多，Value價(jià)值密度低，商業(yè)價(jià)值高，Velocity處理速度快。

Hadoop是大數(shù)據(jù)的核心技術(shù)之一，而Nutch集Hadoop之大成，是Hadoop的源頭。學(xué)習(xí)Hadoop，沒(méi)有數(shù)據(jù)怎么辦？用Nutch抓！學(xué)了Hadoop的Map Reduce以及HDFS，沒(méi)有實(shí)用案例怎么辦？學(xué)習(xí)Nutch！Nutch的很多代碼是用Map Reduce和HDFS寫(xiě)的，哪里還能找到比Nutch更好的Hadoop應(yīng)用案例呢？

Nutch Apache

下載地址

下載錯(cuò)誤？【投訴報(bào)錯(cuò)】