← 中文资源

简体中文版本

Singleflight 缓存击穿防护

用 singleflight 包裹慢速回源函数:同键并发未命中合并为一次真实加载,回源失败时降级返回旧值挡住击穿。

阅读英文原文

示例说明

热键过期瞬间会引来一堆并发回源请求打穿下游。singleflight 的 Do 方法把同键并发调用折叠成一个真实执行——其余调用挂起等待同一结果,下游只见一次请求。叠加过期旧值的降级路径后,回源失败也不再是灾难:旧值虽然不够新鲜,仍能维持服务可用性。

技术要点

  • Do 合并同键并发为单次执行
  • 读锁快路径让命中零竞争
  • 回源失败降级过期旧值

代码解读

Get 先用读锁查缓存,新鲜命中直接返回;未命中进入 group.Do,闭包内执行慢速加载并写回带 TTL 的条目。回源出错时若存在旧值则返回旧值,否则错误上抛——旧值兜底与错误传播双路径。十个并发协程演示只触发一次真实加载。

使用建议

旧值降级要配告警,持续降级说明下游故障。TTL 内的并发竞争已被合并,TTL 边界抖动可用随机化过期时间摊平。分布式场景需 Redis 版单飞。

代码示例

package main

import (
	"context"
	"fmt"
	"sync"
	"time"

	"golang.org/x/sync/singleflight"
)

type Store struct {
	mu    sync.RWMutex
	cache map[string]entry
	group singleflight.Group
}

type entry struct {
	value   string
	expires time.Time
}

func NewStore(ttl time.Duration) *Store {
	return &Store{cache: make(map[string]entry)}
}

func (s *Store) Get(ctx context.Context, key string, ttl time.Duration) (string, error) {
	s.mu.RLock()
	e, ok := s.cache[key]
	s.mu.RUnlock()

	if ok && time.Now().Before(e.expires) {
		return e.value, nil // 命中:新鲜数据直接返回
	}

	v, err, _ := s.group.Do(key, func() (interface{}, error) {
		value, loadErr := slowLoad(ctx, key) // 同 key 并发只执行一次
		if loadErr != nil {
			return nil, loadErr
		}
		s.mu.Lock()
		s.cache[key] = entry{value: value, expires: time.Now().Add(ttl)}
		s.mu.Unlock()
		return value, nil
	})
	if err != nil {
		if ok {
			return e.value, nil // 回源失败时降级旧值
		}
		return "", err
	}
	return v.(string), nil
}

func slowLoad(_ context.Context, key string) (string, error) {
	time.Sleep(50 * time.Millisecond)
	return "value-for-" + key, nil
}

func main() {
	store := NewStore(time.Minute)

	var wg sync.WaitGroup
	for i := 0; i < 10; i++ {
		wg.Add(1)
		go func() {
			defer wg.Done()
			v, _ := store.Get(context.Background(), "config", time.Minute)
			fmt.Println(v)
		}()
	}
	wg.Wait()
}