MongoDB处理索引中的重复数据

一、背景

项目中采用了MongoDB数据库，在测试数据入库的过程中会根据源数据自动生成一个自增的id并存入数据库中；线上与测试环境针对同一份数据所生成的id并不一致；只有当某份数据在线上与测试环境中的id一致时才能实现关联获取更多的数据；因此我打算编写一个脚本将同一份数据中测试环境中的id修改为与线上一致的数据；但目前脚本可能存在完善性不足的问题可能导致数据库中存在重复的id记录且这些重复记录又缺少了唯一索引字段；这样会导致执行etl任务时系统报错；因此需要从mongodb数据库中查询出某个字段存在重复记录的数据

项目中采用了MongoDB数据库，在测试数据入库的过程中会根据源数据自动生成一个递增的id并存入数据库中；线上与测试环境针对同一份数据所生成的id并不一致；只有当某份数据在线上与测试环境中的id一致时才能实现关联获取更多的数据；因此我打算编写一个脚本将同一份数据中测试环境中的id修改为与线上一致的数据；但目前脚本可能存在完善性不足的问题可能导致数据库中存在重复的id记录且这些重复记录又缺少了唯一索引字段；这样会导致执行etl任务时系统报错；因此需要从mongodb数据库中查询出某个字段存在重复记录的数据

二、先来回顾一下mysql中的用法

先来看一下如果是使用mysql的话，大家会怎么样去查询重复的记录呢？

比如，在metersphe