Linux 对于单个文件夹下上百万个小文件夹或者文件操作有啥能优化的么

  • z
    znm
    前人挖坑,一个文件下搞了上百万个文件和文件,每天还要对这些文件操作,
    做个find 都要十几分钟,我去执行个筛选删除,几乎是死掉
  • s
    songco
    文件每天变化多吗?

    文件名字有规律的话, 简单改一下, 改成分成多个目录放, 比如每天一个目录或者每月一个目录
  • 我好像是机修
    上SSDiOS fly ~
  • 十二国
  • b
    banio
    他这个是linux系统机制造成的 ssd 提升并不明显
  • x
    xfygx
    这个问题正好专门研究过:
    1. 修改 libc 中一个用来 seek file 的 buffer size, 这个是用来读目录中文件元数据用的。缺省比较小,可以改的很大。但我的实验是 设置为 1MB (还是 5MB )就是最好的性能了。再大也没有。这个修改相比原来的 size ,在我的环境里,性能可以提高4倍。
    2. 最关键的还是不要在目录里放太多文件。要建立分级。