Python读取大文件 Python读取大文件

今天有位朋友向我提出了一个问题，关于如何利用Python来读取大型文件。这个问题让我觉得颇具趣味性，因此决定将其记录下来。

在多数情况下，我们处理的是体积较小的文件（例如1G以下），此时可以直接通过f.read()或readlines()方法将全部内容加载至内存中。然而，当文件体积变得非常庞大，比如达到10G甚至100G时，其容量通常会超出计算机内存的限制，这时便无法再采用处理小文件的方式进行操作了。那么在这种情况下又该如何应对呢？

首先，选择一个文件作为演示对象，这里就使用上一篇博客中的代码示例。目前我们拥有一个名为replace_content.py的文件。我们的目标是读取并输出该文件中的每一行内容。尽管这个文件可能体积较小，但这并不影响我们用来展示如何处理大型文件的读取过程。

一、读取小文件

接下来我们分析在处理小型文件时所采用的具体操作方式：

    def get_lines(file_path):
    """
    给定一个文件路径，读取文件并返回一个迭代器，这个迭代器将顺序返回文件的每一行
    """
    with open(file_path, 'rb') as f:
        lines = f.readlines()
    return lines
    
    
    for e in get_line