请问静态资源取走后删除怎么做性能最高，代码最简洁呢

[Te11UA]

首先说一下是 Python 技术栈，现在需求是有大量的文件不断生成在一个目录下（文件几 k 到几百 k 不等，同期数量约 20W ），想做一个服务，使得其它服务来请求的时候能快速地取走该文件，并在取走后删除。

当然，最简单的做法就是 Tornado/Flask 直接写个接口，然后 os.remove 就行，想问下大伙儿还有什么高效率的方法来实现吗？

[gwy15]

zero-copy (sendfile)?

[ipwx]

redis

[optional]

这样性能并不高啊，包括生成大量文件与删除。
删除是强需求吗，是一定只能取一次，还是过一段时间取不到就好？

[chenqh]

流程没懂

[Te11UA]

@optional 删除是强需求，但不要求立即删。正是性能不高才想问问呢
@gwy15 学习了，我试试~
@ipwx 不太清楚怎么做会好点儿，能再具体说说不？

[Te11UA]

@chenqh 提供一个接口，让其它的服务来取该目录下的文件，取完文件后删除。删除不要求即时

[optional]

@Te11UA 不要求立即删除，就放不同文件夹，比如每个小时一个文件夹，然后定时半小时删除之前的文件夹就好了。

[Te11UA]

@optional 不可以，未取走的不能被删除:(

[jugelizi]

效率？嫌删除动作慢？改成异步任务呗

[vevlins]

不删除直接覆盖写？瞎说一下

[netnr]

重命名文件夹，mv folder folder.del
再删除 *.del 文件夹

[makdon]

要不换成 SSD ？如果是自己的物理服务器，可以搞 nvme 的，或者组个 raid，应该会更快
等等首先现在你的瓶颈在哪里...是定位到了线程池里面大部分线程都在等 os.remove 吗(个人感觉应该是读文件的成本远远高于删文件吧）
如果不是的话...不要提前优化

我想到的这些：
1. 如果业务上面可以实现的话，在请求到的时候再生成文件，不落硬盘直接发送
2. 按照文件名之类的唯一键，hash 到多台服务器上面处理
3. 只能单机的话，可以调研一下有没有适合这个场景的文件系统...

[billlee]

别想太多，才 20 万文件而已，只要你不去遍历目录，现代文件系统处理起来不会有问题

[realpg]

想要高性能，直接写个简单的文件系统。
计算机科班专业的大佬应该都会，如果上学时候做过相关的作业，估计两三天就能解决这个问题。
发生一次读取内容之后直接标记这个文件的区域释放。

[realpg]

而且 20 万这个级别，一个文件不超过 1MB，这种存储的 IOPS 只要高一点，连瓶颈都不会发生啊……
文件系统只要是个稍微现代点的文件系统即可。
不知道你那边用的啥服务器，基础架构层优化一下就完事了。

如果基础架构层没法优化，还想绕开删除慢这个坑，那就用完的改名，加前缀，然后当系统 io 不密集时进行限定写负载的删除

[Vegetable]

文件需要鉴权？一定要 python 来处理文件？有点蛇。其实直接 remove 并没有什么性能问题，同步 web 框架控制好流程就行，性能瓶颈不在删除这里。异步的话可以用 redis 之类的把取走的文件标记一下，定时删除就好了。

[0ZXYDDu796nVCFxq]

nginx 提供静态访问，瓶颈就是网络带宽
访问记录输出日志，Python 定时读取日志批量删除

[SlipStupig]

Redis 直接使用队列就好了啊。。

[hurrytospring]

不要求立即删的话搞个表标记一下删除就行了。。真正删除的时候再搞个定时任务拉表批量删掉完事

[jedihy]

@gwy15 zerocopy 可以删除？