Hadoop Compression 压缩解压架构学习
发布时间
阅读量:
阅读量
Hadoop的核心组件是其Common IO模块中的一个重要组成部分。尽管如此,在现实生活中这些工具的实际应用范围相对有限。或许在人们的意识里,“ zip、gzip、bzip2 等多种常用文件格式仍局限于各自的特点。它们各自的数据显示出不同的数据压缩比及效率表现。也许通过深入学习本篇文章关于Hadoop 压缩框架的内容后,请您相信会有所启发与收获。
在数据传输中实施压缩技术具有重要意义,在数据存储方面也能显著提升效率(1, 2, 3, 4.)。这些压缩工具的功能均体现在一个称为CompressionCodec的对象中(通过该对象实现)。让我们先深入探讨这个类:
/** * This class encapsulates a streaming compression/decompression pair.
*/
public interface CompressionCodec {
CompressionOutputStream createOutputStream(OutputStream out) throws IOException;
CompressionOutputStream createOutputStream(OutputStream out,
全部评论 (0)
还没有任何评论哟~
