大规模数据的分析和计算
发布时间
阅读量：
阅读量
在处理QA测试人员提供的一个体积达3.24G的大型日志文件时，由于文件过大，难以直接进行分析，因此编写了以下Python代码，用于将该大文件进行分割，并提取其中包含特定关键字的部分以便进一步监测。
具体的代码实现如下
#!/usr/bin/python
# AUTHER: ZPEG
import os,sys,shutil
findstr = "CTRL-EVENT-DISCONNECTED"
kilobytes = 1024
megabytes = 1024 * kilobytes
chunksize = int(100*megabytes)#default chunksize
def isstr(filename, str):
file = open(filename)
print('Bengin find ',str,' in ', filename)
for line in file.readlines():
if str in line:
file.close()
print('find ',str,' in ', filen全部评论 (0)
还没有任何评论哟~