爬虫Nutch 1.15及Solr 8.2.0配置

文章目录

• Nutch

• • 1.x vs 2.x

  • 环境

  • 安装过程

  • • JAVA_HOME
    • 下载nutch & solr
    • Nutch配置
    • Solr配置

  • Questions

Nutch

1.x vs 2.x

Nutch的发展重点仍然集中在1.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0 version上。2.X设计采用Apache Gora作为基础架构,因此能够支持多种类型的存储解决方案,这对我们的工作非常有价值。然而,在这一过程中遇到了许多挑战,值得警惕的是,由于维护两个分支工作的复杂性,许多关于抓取的新功能被添加到了另一个分支中,而不是我们当前使用的2.X版本。值得注意的是,NUTCH 1.X经过了全面的质量控制,并且包含了大量新的功能与工具包,NUTCH 2.X则展现了高度的灵活性与可扩展性,相比之下,在另一个分支中则实现了更多创新性的功能。值得警惕的是,NUTCH 1.X经过了全面的质量控制,并包含了许多实用插件,这些插件更容易移植到其他环境?

环境

CentOS 7.6
JDK 1.8
Nutch 1.15
Solr 8.2.0

安装过程

JAVA_HOME

设置变量为AV