文本文件的MongoDB存储大小

前言

项目采用MongoDB作为文本数据的存储系统，并借助pymongo模块实现与数据库的连接，从而为Python程序提供查询接口。随着原始文件数量每日递增，项目需对MongoDB服务器所使用的硬盘规格进行评估。在将文本文件存入MongoDB后，其磁盘占用空间相较于原始文件存在差异，因此需要明确具体的占用量、压缩比例以及可能的优化策略。本文旨在针对上述问题展开探讨并尝试给出解答。

测试步骤

测试文件分析

包含13,515,366行数据与22个字段的csv文件，其存储容量为4.6G

（由于各csv文件所含字段存在差异，因此选择使用mongodb进行存储）

测试方法概述

对三种不同情形下MongoDB中collection的容量状况进行测试。

1. 通过mongoimport方式将数据导入至MongoDB数据库
2. 在第一种情形中，启用mongoimport工具的ignoreBlanks参数设置
3. 将csv文件的表头名称统一调整为较为简洁的形式，例如c1,c2,…,c22。

在mongo shell环境中执行相关命令，以获取collection的当前状态信息。

`