用 SpringBoot-Redis 解決海量重複提交問題

前言

在實際的開發項目中, 一個對外暴露的接口往往會面臨很多次請求，我們來解釋一下冪等的概念：任意多次執行所產生的影響均與一次執行的影響相同。按照這個含義，最終的含義就是 對數據庫的影響只能是一次性的，不能重複處理。如何保證其冪等性，通常有以下手段：

1、數據庫建立唯一性索引，可以保證最終插入數據庫的只有一條數據。

2、token 機制，每次接口請求前先獲取一個 token，然後再下次請求的時候在請求的 header 體中加上這個 token，後臺進行驗證，如果驗證通過刪除 token，下次請求再次判斷 token。

3、悲觀鎖或者樂觀鎖，悲觀鎖可以保證每次 for update 的時候其他 sql 無法 update 數據 (在數據庫引擎是 innodb 的時候, select 的條件必須是唯一索引, 防止鎖全表)

4、先查詢後判斷，首先通過查詢數據庫是否存在數據，如果存在證明已經請求過了，直接拒絕該請求，如果沒有存在，就證明是第一次進來，直接放行。

redis 實現自動冪等的原理圖：

搭建 Redis 服務 API

1、首先是搭建 redis 服務器。

2、引入 springboot 中到的 redis 的 stater，或者 Spring 封裝的 jedis 也可以，後面主要用到的 api 就是它的 set 方法和 exists 方法, 這裏我們使用 springboot 的封裝好的 redisTemplate。

/**
 * redis工具類
 */
@Component
public class RedisService {

    @Autowired
    private RedisTemplate redisTemplate;

    /**
     * 寫入緩存
     * @param key
     * @param value
     * @return
     */
    public boolean set(finalString key, Object value) {
        boolean result = false;
        try {
            ValueOperations<Serializable, Object> operations = redisTemplate.opsForValue();
            operations.set(key, value);
            result = true;
        } catch (Exception e) {
            e.printStackTrace();
        }
        return result;
    }


    /**
     * 寫入緩存設置時效時間
     * @param key
     * @param value
     * @return
     */
    public boolean setEx(finalString key, Object value, Long expireTime) {
        boolean result = false;
        try {
            ValueOperations<Serializable, Object> operations = redisTemplate.opsForValue();
            operations.set(key, value);
            redisTemplate.expire(key, expireTime, TimeUnit.SECONDS);
            result = true;
        } catch (Exception e) {
            e.printStackTrace();
        }
        return result;
    }


    /**
     * 判斷緩存中是否有對應的value
     * @param key
     * @return
     */
    public boolean exists(finalString key) {
        return redisTemplate.hasKey(key);
    }

    /**
     * 讀取緩存
     * @param key
     * @return
     */
    public Objectget(finalString key) {
        Object result = null;
        ValueOperations<Serializable, Object> operations = redisTemplate.opsForValue();
        result = operations.get(key);
        return result;
    }

    /**
     * 刪除對應的value
     * @param key
     */
    public boolean remove(finalString key) {
        if (exists(key)) {
            Boolean delete = redisTemplate.delete(key);
            return delete;
        }
        returnfalse;

    }

}

自定義註解 AutoIdempotent

自定義一個註解，定義此註解的主要目的是把它添加在需要實現冪等的方法上，凡是某個方法註解了它，都會實現自動冪等。後臺利用反射如果掃描到這個註解，就會處理這個方法實現自動冪等，使用元註解 ElementType.METHOD 表示它只能放在方法上，etentionPolicy.RUNTIME 表示它在運行時。

@Target({ElementType.METHOD})
@Retention(RetentionPolicy.RUNTIME)
public @interface AutoIdempotent {
  
}

token 創建和檢驗

token 服務接口：我們新建一個接口，創建 token 服務，裏面主要是兩個方法，一個用來創建 token，一個用來驗證 token。創建 token 主要產生的是一個字符串，檢驗 token 的話主要是傳達 request 對象，爲什麼要傳 request 對象呢？主要作用就是獲取 header 裏面的 token, 然後檢驗，通過拋出的 Exception 來獲取具體的報錯信息返回給前端。

publicinterface TokenService {

    /**
     * 創建token
     * @return
     */
    public  String createToken();

    /**
     * 檢驗token
     * @param request
     * @return
     */
    public boolean checkToken(HttpServletRequest request) throws Exception;

}

token 的服務實現類：token 引用了 redis 服務，創建 token 採用隨機算法工具類生成隨機 uuid 字符串, 然後放入到 redis 中 (爲了防止數據的冗餘保留, 這裏設置過期時間爲 10000 秒, 具體可視業務而定)，如果放入成功，最後返回這個 token 值。checkToken 方法就是從 header 中獲取 token 到值 (如果 header 中拿不到，就從 paramter 中獲取)，如若不存在, 直接拋出異常。這個異常信息可以被攔截器捕捉到，然後返回給前端。

@Service
publicclass TokenServiceImpl implements TokenService {

    @Autowired
    private RedisService redisService;


    /**
     * 創建token
     *
     * @return
     */
    @Override
    public String createToken() {
        String str = RandomUtil.randomUUID();
        StrBuilder token = new StrBuilder();
        try {
            token.append(Constant.Redis.TOKEN_PREFIX).append(str);
            redisService.setEx(token.toString(), token.toString(),10000L);
            boolean notEmpty = StrUtil.isNotEmpty(token.toString());
            if (notEmpty) {
                return token.toString();
            }
        }catch (Exception ex){
            ex.printStackTrace();
        }
        returnnull;
    }


    /**
     * 檢驗token
     *
     * @param request
     * @return
     */
    @Override
    public boolean checkToken(HttpServletRequest request) throws Exception {

        String token = request.getHeader(Constant.TOKEN_NAME);
        if (StrUtil.isBlank(token)) {// header中不存在token
            token = request.getParameter(Constant.TOKEN_NAME);
            if (StrUtil.isBlank(token)) {// parameter中也不存在token
                thrownew ServiceException(Constant.ResponseCode.ILLEGAL_ARGUMENT, 100);
            }
        }

        if (!redisService.exists(token)) {
            thrownew ServiceException(Constant.ResponseCode.REPETITIVE_OPERATION, 200);
        }

        boolean remove = redisService.remove(token);
        if (!remove) {
            thrownew ServiceException(Constant.ResponseCode.REPETITIVE_OPERATION, 200);
        }
        returntrue;
    }
}

攔截器的配置

web 配置類，實現 WebMvcConfigurerAdapter，主要作用就是添加 autoIdempotentInterceptor 到配置類中，這樣我們到攔截器才能生效，注意使用 @Configuration 註解，這樣在容器啓動是時候就可以添加進入 context 中。

@Configuration
publicclass WebConfiguration extends WebMvcConfigurerAdapter {

    @Resource
   private AutoIdempotentInterceptor autoIdempotentInterceptor;

    /**
     * 添加攔截器
     * @param registry
     */
    @Override
    public void addInterceptors(InterceptorRegistry registry) {
        registry.addInterceptor(autoIdempotentInterceptor);
        super.addInterceptors(registry);
    }
}

攔截處理器：主要的功能是攔截掃描到 AutoIdempotent 到註解到方法, 然後調用 tokenService 的 checkToken() 方法校驗 token 是否正確，如果捕捉到異常就將異常信息渲染成 json 返回給前端。

/**
 * 攔截器
 */
@Component
publicclass AutoIdempotentInterceptor implements HandlerInterceptor {

    @Autowired
    private TokenService tokenService;

    /**
     * 預處理
     *
     * @param request
     * @param response
     * @param handler
     * @return
     * @throws Exception
     */
    @Override
    public boolean preHandle(HttpServletRequest request, HttpServletResponse response, Object handler) throws Exception {

        if (!(handler instanceof HandlerMethod)) {
            returntrue;
        }
        HandlerMethod handlerMethod = (HandlerMethod) handler;
        Method method = handlerMethod.getMethod();
        //被ApiIdempotment標記的掃描
        AutoIdempotent methodAnnotation = method.getAnnotation(AutoIdempotent.class);
        if (methodAnnotation != null) {
            try {
                return tokenService.checkToken(request);// 冪等性校驗, 校驗通過則放行, 校驗失敗則拋出異常, 並通過統一異常處理返回友好提示
            }catch (Exception ex){
                ResultVo failedResult = ResultVo.getFailedResult(101, ex.getMessage());
                writeReturnJson(response, JSONUtil.toJsonStr(failedResult));
                throw ex;
            }
        }
        //必須返回true,否則會被攔截一切請求
        returntrue;
    }


    @Override
    public void postHandle(HttpServletRequest request, HttpServletResponse response, Object handler, ModelAndView modelAndView) throws Exception {

    }

    @Override
    public void afterCompletion(HttpServletRequest request, HttpServletResponse response, Object handler, Exception ex) throws Exception {

    }

    /**
     * 返回的json值
     * @param response
     * @param json
     * @throws Exception
     */
    private void writeReturnJson(HttpServletResponse response, String json) throws Exception{
        PrintWriter writer = null;
        response.setCharacterEncoding("UTF-8");
        response.setContentType("text/html; charset=utf-8");
        try {
            writer = response.getWriter();
            writer.print(json);

        } catch (IOException e) {
        } finally {
            if (writer != null)
                writer.close();
        }
    }

}

測試用例

模擬業務請求類，首先我們需要通過 / get/token 路徑通過 getToken() 方法去獲取具體的 token，然後我們調用 testIdempotence 方法，這個方法上面註解了 @AutoIdempotent，攔截器會攔截所有的請求，當判斷到處理的方法上面有該註解的時候，就會調用 TokenService 中的 checkToken() 方法，如果捕獲到異常會將異常拋出調用者，下面我們來模擬請求一下：

@RestController
publicclass BusinessController {


    @Resource
    private TokenService tokenService;

    @Resource
    private TestService testService;


    @PostMapping("/get/token")
    public String  getToken(){
        String token = tokenService.createToken();
        if (StrUtil.isNotEmpty(token)) {
            ResultVo resultVo = new ResultVo();
            resultVo.setCode(Constant.code_success);
            resultVo.setMessage(Constant.SUCCESS);
            resultVo.setData(token);
            return JSONUtil.toJsonStr(resultVo);
        }
        return StrUtil.EMPTY;
    }


    @AutoIdempotent
    @PostMapping("/test/Idempotence")
    public String testIdempotence() {
        String businessResult = testService.testIdempotence();
        if (StrUtil.isNotEmpty(businessResult)) {
            ResultVo successResult = ResultVo.getSuccessResult(businessResult);
            return JSONUtil.toJsonStr(successResult);
        }
        return StrUtil.EMPTY;
    }
}

使用 postman 請求，首先訪問 get/token 路徑獲取到具體到 token：

利用獲取到到 token, 然後放到具體請求到 header 中, 可以看到第一次請求成功，接着我們請求第二次：

第二次請求，返回到是重複性操作，可見重複性驗證通過，再多次請求到時候我們只讓其第一次成功，第二次就是失敗：

總結

本篇博客介紹了使用 springboot 和攔截器、redis 來優雅的實現接口冪等，對於冪等在實際的開發過程中是十分重要的，因爲一個接口可能會被無數的客戶端調用，如何保證其不影響後臺的業務處理，如何保證其隻影響數據一次是非常重要的，它可以防止產生髒數據或者亂數據，也可以減少併發量，實乃十分有益的一件事。而傳統的做法是每次判斷數據，這種做法不夠智能化和自動化，比較麻煩。而今天的這種自動化處理也可以提升程序的伸縮性。

作者：慕容千語

來源：https://www.jianshu.com/p/c806003a8530

本文由 Readfog 進行 AMP 轉碼，版權歸原作者所有。
來源：https://mp.weixin.qq.com/s/xwCmMXmxtRbEfCnyoJAN3Q