diskcache

diskcache

diskcache 是一种类似 wal 的磁盘缓存，它有如下特性：

• 支持并行读写
• 支持分片大小控制
• 支持单条数据大小控制
• 支持磁盘大小控制（FIFO）

限制：

• 不支持随机读取，只支持按照 FIFO 的顺序来消费数据

实现算法

Always put data to this file.
 |
 |   
 v   
data 
 |    Rotate: if `data` full, move to tail[data.0000000(n+1)]
 `-----------------------------------------------------------.
                                                             |
| data.00000000 | data.00000001 | data.00000002 | ....  <----`
      ^
      `----------------- Always read from this file(the file with smallest number)

• 当前正在写入的文件 data 不会实时消费，如果最近没有写入（3s），读取操作会将 data rotate 一下并消费
• 数据从 data.00000001 处开始消费（Get），如果队列上没有可消费的数据，Get 操作将返回 ErrEOF
• data 写满之后，将会在队列尾部追加一个新的文件，并重新创建 data 写入

使用

以下是基本的使用方式：

import "github.com/GuanceCloud/diskcache"

// Create new cache under /some/path
c, err := diskcache.Open(WithPath("/some/path"))

// Create new cache under /some/path, set batch size to 4MB
c, err := diskcache.Open(WithPath("/some/path"), WithBatchSize(4*1024*1024))

// Create new cache under /some/path, set cache capacity to 1GB
c, err := diskcache.Open(WithPath("/some/path"), WithCapacity(1024*1024*1024))

if err != nil {
	log.Printf(err)
	return
}

// Put data to
data := []byte("my app data...")
if err := c.Put(data); err != nil {
	log.Printf(err)
	return
}

if err := c.Get(func(x []byte) error {
	// Do something with the cached data...
	return nil
	}); err != nil {
	log.Printf(err)
	return
}

// get cache metrics
m := c.Metrics()
log.Println(m.LineProto()) // get line-protocol format of metrics

这种方式可以直接以并行的方式来使用，调用方无需针对这里的 diskcache 对象 c 做互斥处理。

通过 ENV 控制缓存 option

支持通过如下环境变量来覆盖默认的缓存配置：

Prometheus 指标

所有指标可选的 label 列表如下：

指标列表如下：

性能估算

测试环境：

• Model Name : MacBook Pro
• Model Identifier : MacBookPro18,1
• Chip : Apple M1 Pro
• Total Number of Cores : 10 (8 performance and 2 efficiency)
• Memory : 16 GB

详见测试用例 TestConcurrentPutGetPerf。

单次写入的数据量在 100KB ~ 1MB 之间，分别测试单线程写入、多线程写入、多线程读写情况下的性能：

综合下来，不管多线程读写还是单线程读写，其 IO 性能在当前的硬件上能达到 100MB/s 的速度。

TODO

• 支持一次 Get()/Put() 多个数据，提高加锁的数据吞吐量
• 支持 Get() 出错时重试机制（WithErrorRetry(n)）
• 可执行程序（cmd/diskcache）支持查看已有（可能正在被其它进程占用）diskcache 的存储情况