SpringBoot-MDC 實現全鏈路調用日誌跟蹤,非常實用!


寫在前面

通過本文將瞭解到什麼是 MDC、MDC 應用中存在的問題、如何解決存在的問題

推薦下自己做的 Spring Boot 的實戰項目:

https://github.com/YunaiV/ruoyi-vue-pro

MDC 介紹

簡介:

MDC(Mapped Diagnostic Context,映射調試上下文)是 log4j 、logback 及 log4j2 提供的一種方便在多線程條件下記錄日誌的功能。MDC 可以看成是一個與當前線程綁定的哈希表 ,可以往其中添加鍵值對。MDC 中包含的內容可以被同一線程中執行的代碼所訪問

當前線程的子線程會繼承其父線程中的 MDC 的內容。當需要記錄日誌時,只需要從 MDC 中獲取所需的信息即可。MDC 的內容則由程序在適當的時候保存進去。對於一個 Web 應用來說,通常是在請求被處理的最開始保存這些數據

API 說明:

優點:

代碼簡潔,日誌風格統一,不需要在 log 打印中手動拼寫 traceId,即LOGGER.info("traceId:{} ", traceId)

暫時只能想到這一點

推薦下自己做的 Spring Cloud 的實戰項目:

https://github.com/YunaiV/onemall

MDC 使用

添加攔截器

public class LogInterceptor implements HandlerInterceptor {
    @Override
    public boolean preHandle(HttpServletRequest request, HttpServletResponse response, Object handler) throws Exception {
        //如果有上層調用就用上層的ID
        String traceId = request.getHeader(Constants.TRACE_ID);
        if (traceId == null) {
            traceId = TraceIdUtil.getTraceId();
        }

        MDC.put(Constants.TRACE_ID, traceId);
        return true;
    }

    @Override
    public void postHandle(HttpServletRequest request, HttpServletResponse response, Object handler, ModelAndView modelAndView)
            throws Exception {
    }

    @Override
    public void afterCompletion(HttpServletRequest request, HttpServletResponse response, Object handler, Exception ex)
            throws Exception {
        //調用結束後刪除
        MDC.remove(Constants.TRACE_ID);
    }
}
<property >[TRACEID:%X{traceId}] %d{HH:mm:ss.SSS} %-5level %class{-1}.%M()/%L - %msg%xEx%n</property>

重點是%X{traceId},traceId 和 MDC 中的鍵名稱一致

簡單使用就這麼容易,但是在有些情況下 traceId 將獲取不到

MDC 存在的問題

...... 丟失 traceId 的情況,來一個再解決一個,絕不提前優化

解決 MDC 存在的問題

子線程日誌打印丟失 traceId

子線程在打印日誌的過程中 traceId 將丟失,解決方式爲重寫線程池,對於直接 new 創建線程的情況不考略【實際應用中應該避免這種用法】,重寫線程池無非是對任務進行一次封裝

線程池封裝類:ThreadPoolExecutorMdcWrapper.java

public class ThreadPoolExecutorMdcWrapper extends ThreadPoolExecutor {
    public ThreadPoolExecutorMdcWrapper(int corePoolSize, int maximumPoolSize, long keepAliveTime, TimeUnit unit,
                                        BlockingQueue<Runnable> workQueue) {
        super(corePoolSize, maximumPoolSize, keepAliveTime, unit, workQueue);
    }

    public ThreadPoolExecutorMdcWrapper(int corePoolSize, int maximumPoolSize, long keepAliveTime, TimeUnit unit,
                                        BlockingQueue<Runnable> workQueue, ThreadFactory threadFactory) {
        super(corePoolSize, maximumPoolSize, keepAliveTime, unit, workQueue, threadFactory);
    }

    public ThreadPoolExecutorMdcWrapper(int corePoolSize, int maximumPoolSize, long keepAliveTime, TimeUnit unit,
                                        BlockingQueue<Runnable> workQueue, RejectedExecutionHandler handler) {
        super(corePoolSize, maximumPoolSize, keepAliveTime, unit, workQueue, handler);
    }

    public ThreadPoolExecutorMdcWrapper(int corePoolSize, int maximumPoolSize, long keepAliveTime, TimeUnit unit,
                                        BlockingQueue<Runnable> workQueue, ThreadFactory threadFactory,
                                        RejectedExecutionHandler handler) {
        super(corePoolSize, maximumPoolSize, keepAliveTime, unit, workQueue, threadFactory, handler);
    }

    @Override
    public void execute(Runnable task) {
        super.execute(ThreadMdcUtil.wrap(task, MDC.getCopyOfContextMap()));
    }

    @Override
    public <T> Future<T> submit(Runnable task, T result) {
        return super.submit(ThreadMdcUtil.wrap(task, MDC.getCopyOfContextMap()), result);
    }

    @Override
    public <T> Future<T> submit(Callable<T> task) {
        return super.submit(ThreadMdcUtil.wrap(task, MDC.getCopyOfContextMap()));
    }

    @Override
    public Future<?> submit(Runnable task) {
        return super.submit(ThreadMdcUtil.wrap(task, MDC.getCopyOfContextMap()));
    }
}

說明:

線程 traceId 封裝工具類:ThreadMdcUtil.java

public class ThreadMdcUtil {
    public static void setTraceIdIfAbsent() {
        if (MDC.get(Constants.TRACE_ID) == null) {
            MDC.put(Constants.TRACE_ID, TraceIdUtil.getTraceId());
        }
    }

    public static <T> Callable<T> wrap(final Callable<T> callable, final Map<String, String> context) {
        return () -> {
            if (context == null) {
                MDC.clear();
            } else {
                MDC.setContextMap(context);
            }
            setTraceIdIfAbsent();
            try {
                return callable.call();
            } finally {
                MDC.clear();
            }
        };
    }

    public static Runnable wrap(final Runnable runnable, final Map<String, String> context) {
        return () -> {
            if (context == null) {
                MDC.clear();
            } else {
                MDC.setContextMap(context);
            }
            setTraceIdIfAbsent();
            try {
                runnable.run();
            } finally {
                MDC.clear();
            }
        };
    }
}

說明【以封裝 Runnable 爲例】:

代碼等同於以下寫法,會更直觀

public static Runnable wrap(final Runnable runnable, final Map<String, String> context) {
        return new Runnable() {
            @Override
            public void run() {
                if (context == null) {
                    MDC.clear();
                } else {
                    MDC.setContextMap(context);
                }
                setTraceIdIfAbsent();
                try {
                    runnable.run();
                } finally {
                    MDC.clear();
                }
            }
        };
    }

重新返回的是包裝後的 Runnable,在該任務執行之前【runnable.run()】先將主線程的 Map 設置到當前線程中【 即 MDC.setContextMap(context)】,這樣子線程和主線程 MDC 對應的 Map 就是一樣的了

HTTP 調用丟失 traceId

在使用 HTTP 調用第三方服務接口時 traceId 將丟失,需要對 HTTP 調用工具進行改造,在發送時在 request header 中添加 traceId,在下層被調用方添加攔截器獲取 header 中的 traceId 添加到 MDC 中

HTTP 調用有多種方式,比較常見的有 HttpClient、OKHttp、RestTemplate,所以只給出這幾種 HTTP 調用的解決方式

HttpClient:

public class HttpClientTraceIdInterceptor implements HttpRequestInterceptor {
    @Override
    public void process(HttpRequest httpRequest, HttpContext httpContext) throws HttpException, IOException {
        String traceId = MDC.get(Constants.TRACE_ID);
        //當前線程調用中有traceId,則將該traceId進行透傳
        if (traceId != null) {
            //添加請求體
            httpRequest.addHeader(Constants.TRACE_ID, traceId);
        }
    }
}

實現 HttpRequestInterceptor 接口並重寫 process 方法

如果調用線程中含有 traceId,則需要將獲取到的 traceId 通過 request 中的 header 向下透傳下去

private static CloseableHttpClient httpClient = HttpClientBuilder.create()
            .addInterceptorFirst(new HttpClientTraceIdInterceptor())
            .build();

通過 addInterceptorFirst 方法爲 HttpClient 添加攔截器

OKHttp:

public class OkHttpTraceIdInterceptor implements Interceptor {
    @Override
    public Response intercept(Chain chain) throws IOException {
        String traceId = MDC.get(Constants.TRACE_ID);
        Request request = null;
        if (traceId != null) {
            //添加請求體
            request = chain.request().newBuilder().addHeader(Constants.TRACE_ID, traceId).build();
        }
        Response originResponse = chain.proceed(request);

        return originResponse;
    }
}

實現 Interceptor 攔截器,重寫 interceptor 方法,實現邏輯和 HttpClient 差不多,如果能夠獲取到當前線程的 traceId 則向下透傳

  private static OkHttpClient client = new OkHttpClient.Builder()
            .addNetworkInterceptor(new OkHttpTraceIdInterceptor())
            .build();

調用 addNetworkInterceptor 方法添加攔截器

RestTemplate:

public class RestTemplateTraceIdInterceptor implements ClientHttpRequestInterceptor {
    @Override
    public ClientHttpResponse intercept(HttpRequest httpRequest, byte[] bytes, ClientHttpRequestExecution clientHttpRequestExecution) throws IOException {
        String traceId = MDC.get(Constants.TRACE_ID);
        if (traceId != null) {
            httpRequest.getHeaders().add(Constants.TRACE_ID, traceId);
        }

        return clientHttpRequestExecution.execute(httpRequest, bytes);
    }
}

實現 ClientHttpRequestInterceptor 接口,並重寫 intercept 方法,其餘邏輯都是一樣的不重複說明

restTemplate.setInterceptors(Arrays.asList(new RestTemplateTraceIdInterceptor()));

調用 setInterceptors 方法添加攔截器

第三方服務攔截器:

HTTP 調用第三方服務接口全流程 traceId 需要第三方服務配合,第三方服務需要添加攔截器拿到 request header 中的 traceId 並添加到 MDC 中

public class LogInterceptor implements HandlerInterceptor {
    @Override
    public boolean preHandle(HttpServletRequest request, HttpServletResponse response, Object handler) throws Exception {
        //如果有上層調用就用上層的ID
        String traceId = request.getHeader(Constants.TRACE_ID);
        if (traceId == null) {
            traceId = TraceIdUtils.getTraceId();
        }
        
        MDC.put("traceId", traceId);
        return true;
    }

    @Override
    public void postHandle(HttpServletRequest request, HttpServletResponse response, Object handler, ModelAndView modelAndView)
            throws Exception {
    }

    @Override
    public void afterCompletion(HttpServletRequest request, HttpServletResponse response, Object handler, Exception ex)
            throws Exception {
        MDC.remove(Constants.TRACE_ID);
    }
}

說明:

除了需要添加攔截器之外,還需要在日誌格式中添加 traceId 的打印,如下:

 <property >[TRACEID:%X{traceId}] %d{HH:mm:ss.SSS} %-5level %class{-1}.%M()/%L - %msg%xEx%n</property>

需要添加%X{traceId}

本文由 Readfog 進行 AMP 轉碼,版權歸原作者所有。
來源https://mp.weixin.qq.com/s/MoWQCFA2AEgSMcoUMoe2vw