Advertisement

什么是分布式文件系统中的Tachyon?

阅读量:

Tachyon

概念:

Tachyon 是一个高效率、高容错度的开源分布式存储系统,在内存为中心的基础上提供了类Java式的文件API以及可扩展的底层文件系统架构。它不仅支持Hadoop MapReduce和Apache Spark等功能作为插件式底层文件系统,并且与这些主流集群框架无缝集成。该系统特别擅长通过巧妙利用内存资源实现跨集群文件共享服务,并在速度上远超同类产品。值得注意的是,在实际应用中其吞吐量表现甚至超越了传统HDFS系统最多可达300%的比例。

核心而言之,在分布式计算环境中运行高效的海量数据处理任务时,Tachyon提供了一个创新性的解决方案,即分布式内存存储方案.该方案不仅能够显著缓解传统的Spark框架在内存管理方面的压力,还能大幅提升其处理海量数据的能力.通过将存储功能与数据读写能力分离,Tachyon实现了对核心计算逻辑的高度优化,从而让Spark能够专注于执行复杂计算任务.

架构设计:

Tachyon的架构是传统的Master—Slave架构,这里和Hadoop

全部评论 (0)

还没有任何评论哟~