在python中如何删除文件的某一行？

[Sherlockhlt]

网上看到的方法是把文件读成列表，然后把那一行删除，然后再写回文件。。如果是大文件效率就很低了，大家有更好的办法吗？

[timonwong]

mmap?

[zenomac]

file对象没有删除一行的方法。

语言上好像只能重写入。（才疏学浅啊）

不如加一些标记作为作废一行的指示符。

[phuslu]

试下这个, 没有完全读入内存
with open('in.txt') as fp_in:
with open('out.txt', 'w') as fp_out:
fp_out.writelines(line for i, line in enumerate(fp_in) if i != 10)

[Sherlockhlt]

@timonwong
能说具体点吗？

[Sherlockhlt]

@phuslu
这个方法我也想过，不过还是有绕个大湾的感觉

[Sherlockhlt]

@zenomac
增加表示删除了没的这个标记后如何修改这个标记呢？

[hyq]

@Sherlockhlt 首先得定位到那一行行首在文件中的偏移地址a,然后需要判断这行的长度l,然后需要把a+l后的所有文本全部都向前移动l个字节.
文本存储的时候不是链表结构的,我觉得在处理纯文本上已经没有更快的方法了

[phuslu]

stackoverflow 的回答如下, 不过没测试过, 不清楚性能道理如何
http://stackoverflow.com/questions/2329417/fastest-way-to-delete-a-line-from-large-file-in-python

[imom0]

@phuslu http://stackoverflow.com/questions/13227970/how-to-effectively-remove-a-line-in-the-middle-of-a-large-file 这个应该就是楼主问的。

[013231]

我在stackoverflow.com上問了這個問題, 原地看來似乎確實沒有好辦法:
http://stackoverflow.com/q/13227970/805627
不過如果你可以把那行替換成廢棄行(比如全空格的一行), 可以使用mmap:
http://stackoverflow.com/a/2330081/805627
http://www.doughellmann.com/PyMOTW/mmap/index.html

@imom0 那是我問的...

[clowwindy]

@phuslu 这个方法还可以改进一下，从跳过的行开始以 4K 为单位挪动后面的内容，而不是以行为单位。

[Sherlockhlt]

@hyq
试了下，最后要怎么改变文件大小呢？

[Sherlockhlt]

@013231
改成废弃一行其实直接fp.write()就可以了

[hyq]

@Sherlockhlt os.ftruncate可以

[Sherlockhlt]

感谢各位的回复，我程序已经写好了，最后总结下：
觉得还是3楼的办法比较pythonic，因为无论如何都平均要把半个文件进行IO处理，所以
直接把这个文件进行处理，这样代码比较好读，而且代价其实并不是太大（平均多1倍IO)
如果文件真的很大，就不应该用纯文本了，应该用数据库来处理才是。

[Sherlockhlt]

@013231
前面说错了，write不行的，看来还是要用mmap

[timonwong]

@Sherlockhlt
如果只是一行的话, mmap实现很直接，找到那一行，然后把后面的内容通过memmove移动上前并覆盖就可以了，如果文件过大，可能还要拆分执行，不过一般几个G还是没问题（32位python除外）。

[BOYPT]

os.system('sed -i 1001d %s' % filename)

[Sherlockhlt]

@BOYPT
用sed缺少可移植性吧

[BOYPT]

@Sherlockhlt 移植性这么虚幻的东西我一般不考虑。