自建千万级小文件 S3 存储求建议?磁盘,文件系统,软件,组织方式 etc

查看 52|回复 1
作者:phpfpm   
现状
目前文件数量~10M ,年新增 3M ,总容量~5TiB (年新增 1.5TiB ),单文件平均尺寸 500KiB ( stdev=900KiB ,有小的几十 KiB 的,也有几 MiB 的大文件)
目前文件存放于 qnap 的 QuObject 服务下面(可以认为是一个兼容的 S3 的商业实现)
文件存储结构是 md5 前两位+md5+扩展名
例如 e10adc3949ba59abbe56e057f20f883e.jpg 会被存储为:
/e1/e10adc3949ba59abbe56e057f20f883e.jpg
算下来有 256 个文件夹,每个文件夹~40K 个文件
问题
之前选择威联通去存放,是因为这台威联通的混合式 raid ( hdd+ssd )我以为可以提高性能和存取效率,虽然用下来一年多还是挺稳定的,但是本身这台 TS-963N 还是挺弱鸡的,想迁移出去。
目前已有的设备和资源:
[ol]
  • windows nas, 有一个 80T raid6 SAS HDD 的磁盘
  • 分区格式还没确定,exfat/ntfs 可选
  • 因为这台 NAS 上还有其他服务,暂时不方便迁移到 linux
  • S3 软件
  • 选的是 minio
  • 老版本的 minio 是支持 legacy fs ,就是文件存储的物理路径和实际路径是一致的
  • 文件目录
  • 目前是 1 级 hash ,可以配合业务修改为 2 级 hash
  • /e1/e10adc3949ba59abbe56e057f20f883e.jpg =>
  • /e1/0a/e10adc3949ba59abbe56e057f20f883e.jpg
    [/ol]
    想问下基于以上的信息还有啥好的建议么?

    文件, kib, 威联通, Hash

  • caryqy   
    看看 seaweedfs
    您需要登录后才可以回帖 登录 | 立即注册

    返回顶部