Spring Boot 日志中增加 trace id 用于链路追踪

使用 Logback 的 MDC(Mapped Diagnostic Contexts) 可以实现此功能。

新增 MDC 工具类

1
2
3
4
5
6
7
8
9
10
11
public class MDCUtil {
    private static final String TRACE_ID = "TRACE_ID";

    public static void setTraceId(String traceId) {
        set(TRACE_ID, traceId);
    }

    public static void set(String key, String value) {
        MDC.put(key, value);
    }
}

修改日志配置 (logback-spring.xml)

增加 %X{TRACE_ID}，例如：

1
<pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} %-5level [%15.15thread] %-40.40logger Line:%-3L [%X{TRACE_ID}] - %msg%n</pattern>

其中 TRACE_ID 对应 MDC 工具类里的 TRACE_ID。

添加 AOP

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
@Slf4j
@Aspect
@Component
public class ControllerAspect {
    @Autowired
    HttpServletRequest request;

    private final String traceIdHeaderName = "traceId";

    @Pointcut("execution(public * com.karonda.controller.*.*(..))")
    public void pointcut(){}

    @Around("pointcut()")
    public Object around(ProceedingJoinPoint pjp) throws Throwable {
        Object result;
        try {
            this.before(pjp);
            result = pjp.proceed();
        } catch (Throwable e) {
            this.exception(pjp, e);
            throw e;
        }
        this.after(pjp, result);
        return result;
    }

    private void before(ProceedingJoinPoint pjp) {
        if(request != null && request.getHeader(traceIdHeaderName) != null) {
            MDCUtil.setTraceId(request.getHeader(traceIdHeaderName));
        } else {
            String traceId = UUID.randomUUID().toString().replace("-", "");
            MDCUtil.setTraceId(traceId);
        }
        log.info("before log");
    }

    private void after(ProceedingJoinPoint pjp, Object result) {
        log.info("after log");
    }

    private void exception(ProceedingJoinPoint pjp, Throwable e) {
        log.error("exception log", e);
    }
}

至此就可以在日志中看到 trace id 输出了，但是 MDC 是基于 ThreadLocal 不能跨线程传递，在异步调用的情况下 trace id 为空。

需要做如下改造：

修改 MDC 工具类

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
public class MDCUtil {
    private static final String TRACE_ID = "TRACE_ID";

    public static Runnable wrap(final Runnable runnable, final Map<String, String> context) {
        return () -> {
            if (context != null) {
                MDC.setContextMap(context);
            }
            try {
                runnable.run();
            } finally {
                MDC.clear();
            }
        };
    }

    public static <T> Callable<T> wrap(final Callable<T> callable, final Map<String, String> context) {
        return () -> {
            if (context != null) {
                MDC.setContextMap(context);
            }
            try {
                return callable.call();
            } finally {
                MDC.clear();
            }
        };
    }

    public static void setTraceId(String traceId) {
        set(TRACE_ID, traceId);
    }

    public static void set(String key, String value) {
        MDC.put(key, value);
    }
}

使用示例

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
@Slf4j
@Service
public class TraceService {

    private final Executor executor;

    public TraceService() {
        executor = new ThreadPoolExecutor(
                1
                , Runtime.getRuntime().availableProcessors() * 2
                , 60, TimeUnit.MINUTES
                , new LinkedBlockingDeque<>(100)
                , Executors.defaultThreadFactory()
                , new ThreadPoolExecutor.CallerRunsPolicy());
    }

    public void trace() {
        log.info("service log");

//        executor.execute(() -> log.info("thread log"));
        executor.execute(MDCUtil.wrap(()->log.info("thread log"), MDC.getCopyOfContextMap()));
    }
}

完整代码：GitHub

展开全文 >>

Caffeine 动态设置过期时间

实现 Expiry 接口

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
public class CaffeineExpiry implements Expiry<String, Object> {
    @Override
    public long expireAfterCreate(@NonNull String key, @NonNull Object value, long currentTime) {
        return 0;
    }

    @Override
    public long expireAfterUpdate(@NonNull String key, @NonNull Object value, long currentTime, @NonNegative long currentDuration) {
        return currentDuration;
    }

    @Override
    public long expireAfterRead(@NonNull String key, @NonNull Object value, long currentTime, @NonNegative long currentDuration) {
        return currentDuration;
    }
}

注意：如果使用常规的 put(key, value) 方法，则需要 expireAfterCreate 方法返回具体的值；下文使用 put(key, value, duration, timeUnit) 方法，expireAfterCreate 方法可以范围任意值，不影响缓存过期时间。

配置

1
2
3
4
5
6
7
8
9
10
11
@Configuration
public class CaffeineConfig {
    @Bean
    public Cache<String, Object> caffeineCache() {
        return Caffeine.newBuilder()
                .expireAfter(new CaffeineExpiry())
                .initialCapacity(100)
                .maximumSize(1000)
                .build();
    }
}

使用

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
@Component
public class CaffeineCacheService {
    @Autowired
    Cache<String, Object> caffeineCache;

    public void set(String key, Object value, long duration, TimeUnit unit) {
        caffeineCache.policy().expireVariably().ifPresent(e->{
            e.put(key, value, duration, unit);
        });
    }

    public <T> T get(String key) {
        return (T)caffeineCache.getIfPresent(key);
    }
}

参考

Eviction#time-based
解读JVM级别本地缓存Caffeine青出于蓝的要诀3 —— 讲透Caffeine的数据驱逐淘汰机制与用法
Spring 缓存动态设置过期时间 - Caffeine

展开全文 >>

Hashids java 版使用

在软件开发中 id 通常为 int 或者 long 类型，有时会有混淆 id 的需求，比如反爬虫。Hashids 是一个小型的开源库，可以将数字或者十六进制字符串转换成唯一的、非顺序的 id。

使用

添加依赖

1
2
3
4
5
<dependency>
  <groupId>org.hashids</groupId>
  <artifactId>hashids</artifactId>
  <version>1.0.3</version>
</dependency>

编码一个数字

1
2
3
Hashids hashids = new Hashids("this is my salt");
String hash = hashids.encode(12345L);
// 结果：NkK9

解码一个数字

1
2
Hashids hashids = new Hashids("this is my salt");
long[] numbers = hashids.decode("NkK9");

编码几个数字

1
2
3
Hashids hashids = new Hashids("this is my salt");
String hash = hashids.encode(683L, 94108L, 123L, 5L);
// 结果：aBMswoO2UB3Sj

指定编码结果的最小长度

1
2
3
Hashids hashids = new Hashids("this is my salt", 8);
String hash = hashids.encode(1L);
// 结果：gB0NV05e

指定编码结果使用的字母表

1
2
3
Hashids hashids = new Hashids("this is my salt", 0, "0123456789abcdef");
String hash = hashids.encode(1234567L);
// 结果：b332db5

编码十六进制字符串

1
2
3
Hashids hashids = new Hashids("This is my salt");
String hash = hashids.encodeHex("507f1f77bcf86cd799439011");
// 结果：goMYDnAezwurPKWKKxL2

解码十六进制字符串

1
2
Hashids hashids = new Hashids("This is my salt");
String objectId = hashids.decodeHex(hash);

注意事项

Java 版本是基于 JS 版本实现，因为 JS 对数字的范围限制是 2^53 - 1 (9007199254740991)，为了保持兼容，Java 版本也保留了此限制，如果大于此数字将抛出 IllegalArgumentException 异常。

如果想要编码大于 9007199254740991 的数字可以使用编码十六进制字符串的方法。

展开全文 >>

寻味.顺德.北滘.碧禾缘（早茶篇）

碧禾缘位于顺德区北滘镇泰宁东路，有早茶和正餐。

本次前往心心念的芝士菠萝包居然下架了，不知道以后还会不会有，窃以为没有芝士菠萝包就没有了非去不可的理由。

推荐：

  • 芝士菠萝包（已下架）
  • 金牌水牛奶蛋挞
  • 炸酱拌菠菜汁鱼面
  • 除大油条之外的其他菜品。不过这些都是早茶店常规菜品，与其他家没有什么区别了。

展开全文 >>

寻味.顺德.北滘.清远农家鸡

清远农家鸡位于顺德区北滘镇坤洲大道，主打桑拿鸡。

优点：食材新鲜、口感极佳，目前吃到的鸡最好吃的做法。

缺点：环境略噪杂。

人均 65 左右，鸡现杀现片用时较久，最好提前订位。

片出的鸡肉，有皮有肥有瘦。

粉肠、牛肉。

鸡骨头煮粥。

吃完菜再喝粥，倍香！

推荐：

  • 桑拿鸡（白粥底+番薯）（选抽水锅较好）
  • 粉肠
  • 牛肉
  • 牛百叶

展开全文 >>

寻味.顺德.北滘.镇南坊土鸡馆

镇南坊土鸡馆位于顺德区北滘镇坤洲路，主打土鸡火锅。

优点：食材新鲜、分量足、价格亲民。

缺点：环境略噪杂。

人均 35 左右，经常满座，最好提前订位。

只有清水锅底，配以胡萝卜、红枣等，蘸料也只有姜蓉（开锅送一份青菜）。

推荐：

  • 土鸡（必点）
  • 猪俐（舌头）
  • 猪核桃肉
  • 粉肠

展开全文 >>

仿谷歌验证 (Google Authenticator) 的一种 Java 实现

Google Authenticator 的原理是服务器随机生成一个密钥并保存并告知客户端。用户需要登陆时客户端根据密钥和时间戳通过一种算法生成一个6位数字的密码。本文使用 java.util.zip.CRC32 模仿 Google Authenticator 实现此功能。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
/**
 * 生成验证码
 * @param secret: 密钥
 * @param timeMinute: 时间戳（分钟）
 * @param codeLength: 验证码长度
 * @return 指定长度的数字
 */
public static String generateCode(String secret, long timeMinute, int codeLength) {
    String key = secret + timeMinute;
    CRC32 crc32 = new CRC32();
    crc32.update(key.getBytes());
    String crc32ValueStr = String.valueOf(crc32.getValue());
    return crc32ValueStr.substring(crc32ValueStr.length() - codeLength); // 可以改成其他规则
}

/***
 * 校验验证码
 * @param secret: 密钥
 * @param verifyCode: 待校验验证码
 * @param expireMinute
 * @return
 */
public static boolean verifyCode(String secret, String verifyCode, int codeLength, int expireMinute) {
    long timeMillisecond = System.currentTimeMillis();
    long timeMinute = minuteByMillisecond(timeMillisecond);

    for (int i = -expireMinute; i <= expireMinute; ++i) {
        String code = generateCode(secret, timeMinute + i, codeLength);
        if(code.equals(verifyCode)) {
            return true;
        }
    }
    return false;
}

/***
 * 获取时间戳（分钟）
 * @param timeMillisecond: 时间戳（毫秒）
 * @return
 */
private static long minuteByMillisecond(long timeMillisecond) {
    return timeMillisecond / (1000 * 60);
}

使用：

1
2
3
4
5
6
7
8
final int CODE_LENGTH = 6;
final int CODE_EXPIRE_MINUTE = 1;
final String SECRET = "YOUR SECRET";

long timeMillisecond = System.currentTimeMillis();
long timeMinute = minuteByMillisecond(timeMillisecond);
String code = generateCode(SECRET, timeMinute, CODE_LENGTH);
boolean result = verifyCode(SECRET, code, CODE_LENGTH, CODE_EXPIRE_MINUTE);

展开全文 >>

k8s 部署 (二) EMQ X 集群

本文部署的 EMQ X Broker 版本为 4.3.1

一、RBAC 鉴权

集群需要使用到 Kubernetes 的 API Server，但是普通 Pod 是没有权限访问的，需要授权：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
---
apiVersion: v1
kind: ServiceAccount
metadata:
  namespace: default
  name: emqx
---
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: emqx
  namespace: default

rules:
  - apiGroups:
      - ''
    resources:
      - endpoints 
    verbs: 
      - get
      - watch
      - list
---
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: emqx
  namespace: default
roleRef:
  kind: Role
  name: emqx
  apiGroup: rbac.authorization.k8s.io
subjects:
  - kind: ServiceAccount
    name: emqx
    namespace: default

如果没有授权，会有如下报错：

1
Ekka(AutoCluster): Discovery error: {403,"{"kind":"Status","apiVersion":"v1","metadata":{},"status":"Failure","message":"endpoints "emqx-headless" is forbidden: User "system:serviceaccount:default:default" cannot get resource "endpoints" in API group "" in the namespace "default"","reason":"Forbidden","details":{"name":"emqx-headless","kind":"endpoints"},"code":403}"}

二、新增 ConfigMap

1
2
3
4
5
6
7
8
9
10
11
12
apiVersion: v1
kind: ConfigMap
metadata:
  name: emqx-cm
data:
  NAME: "emqx"
  CLUSTER__DISCOVERY: "k8s"
  CLUSTER__K8S__ADDRESS_TYPE: "ip"
  CLUSTER__K8S__APISERVER: "https://IP:PORT"
  CLUSTER__K8S__NAMESPACE: "default"
  CLUSTER__K8S__SERVICE_NAME: "emqx-headless"
  CLUSTER__K8S__APP_NAME: "emqx"

默认情况下 EMQ X 使用带有 EMQX_ 的前缀的环境变量来覆盖配置文件中的配置项环境变量名称到配置文件键值名称映射规则如下:将 EMQX_ 前缀移除；大写字符替换成小写；双下划线 __ 替换成点 . 详见：使用环境变量修改配置

  • cluster.kubernetes.apiserver 为 kubernetes apiserver 的地址，可以通过 kubectl cluster-info 命令获取
  • cluster.kubernetes.service_name 为 Service 的 name
  • cluster.kubernetes.app_name 为 EMQ X Broker 的 node.name 中 @ 符号之前的部分，需要同时将集群中 EMQ X Broker 设置为统一的 node.name 的前缀

三、新增 Deployment

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: emqx
  name: emqx
  namespace: default
spec:
  replicas: 3
  selector:
    matchLabels:
      app: emqx
  template:
    metadata:
      labels:
        app: emqx
    spec:
      serviceAccountName: emqx
      containers:
        - envFrom:
          - prefix: EMQX_
            configMapRef: 
              name: emqx-cm            
          image: emqx/emqx:4.3.1
          imagePullPolicy: IfNotPresent  
          livenessProbe:
            exec:
              command:
                - emqx_ctl
                - status
            failureThreshold: 3
            initialDelaySeconds: 60
            periodSeconds: 10
            successThreshold: 1
            timeoutSeconds: 1          
          name: emqx
          ports:
            - name: mqtt
              protocol: TCP
              containerPort: 1883
            - name: mqttssl
              protocol: TCP
              containerPort: 8883
            - name: mgmt
              protocol: TCP
              containerPort: 8081
            - name: websocket
              protocol: TCP
              containerPort: 8083
            - name: wss
              protocol: TCP
              containerPort: 8084
            - name: dashboard
              protocol: TCP
              containerPort: 18083  
          resources:
            limits:
              cpu: '2'
              memory: 2Gi
            requests:
              cpu: '1'
              memory: 2Gi
          volumeMounts:
            - mountPath: /etc/localtime
              name: volume-localtime
      volumes:
        - hostPath:
            path: /etc/localtime
            type: ''
          name: volume-localtime
  • 1883 MQTT 协议端口
  • 8883 MQTT/SSL 端口
  • 8083 MQTT/WebSocket 端口
  • 8084 MQTT/WebSocket/SSL 端口
  • 8081 管理 API 端口
  • 18083 Dashboard 端口

四、新增 Service

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
apiVersion: v1
kind: Service
metadata:
  name: emqx-headless
  labels:
    app: emqx-headless
spec:
  type: ClusterIP
  clusterIP: None
  ports:
    - name: mqtt
      port: 1883
      protocol: TCP
      targetPort: 1883
    - name: mqttssl
      port: 8883
      protocol: TCP
      targetPort: 8883
    - name: mgmt
      port: 8081
      protocol: TCP
      targetPort: 8081
    - name: websocket
      port: 8083
      protocol: TCP
      targetPort: 8083
    - name: wss
      port: 8084
      protocol: TCP
      targetPort: 8084
    - name: dashboard
      port: 18083
      protocol: TCP
      targetPort: 18083      
  selector:
    app: emqx

五、放行 TCP 端口

见：阿里云 k8s 部署 Spring Cloud Alibaba 微服务实践 (五) Kubernetes TCP Ingress

参考：

1.从零开始建立 EMQ X MQTT 服务器 的 K8S 集群

  1. EMQ X Broker 文档

展开全文 >>

k8s 部署 (一) SkyWalking 集群

本文部署的 SkyWalking 版本为 8.5.0，集群模式为 Nacos，存储使用 Elasticsearch 7

下载对应版本的源码并解压，如本文对应的为：v8.5.0 for H2/MySQL/TiDB/InfluxDB/ElasticSearch 7

一、部署 OAP Server

1.1. 添加 ConfigMap

1
2
3
4
5
6
7
8
9
10
11
12
13
apiVersion: v1
kind: ConfigMap
metadata:
  name: skywalking-cm
data:
  CLUSTER: 'nacos'
  CLUSTER_NACOS_HOST_PORT: 'nacos-headless:8848'
  STORAGE: 'elasticsearch7'
  STORAGE_ES_CLUSTER_NODES: 'IP:PORT'
  ES_USER: '用户名'
  ES_PASSWORD: '密码'
  CORE_GRPC_PORT: '11800'
  CORE_REST_PORT: '12800'

配置项中为需要配置的环境变量，更多的环境变量配置见：config/application.yml

其中 nacos-headless:8848 为 Nacos 地址，根据需要修改；gRPC 端口为 agent 上传数据端口；rest 端口为 UI 调用端口

1.2. 添加 Deployment

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: skywalking
  name: skywalking
  namespace: default
spec:
  replicas: 2
  selector:
    matchLabels:
      app: skywalking
  template:
    metadata:
      labels:
        app: skywalking
    spec:
      containers:
        - envFrom:
          - prefix: SW_
            configMapRef: 
              name: skywalking-cm                  
          image: apache/skywalking-oap-server:8.5.0-es7
          imagePullPolicy: IfNotPresent         
          name: skywalking
          ports:
            - containerPort: 12800
              name: http
              protocol: TCP
            - containerPort: 11800
              name: grpc
              protocol: TCP
          resources:
            limits:
              cpu: '2'
              memory: 2Gi
            requests:
              cpu: '1'
              memory: 2Gi
          volumeMounts:
            - mountPath: /etc/localtime
              name: volume-localtime
      volumes:
        - hostPath:
            path: /etc/localtime
            type: ''
          name: volume-localtime

1.3. 添加 Service

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
apiVersion: v1
kind: Service
metadata:
  name: skywalking
  labels:
    app: skywalking
spec:
  type: ClusterIP
  ports:
    - name: http
      port: 12800
      protocol: TCP
      targetPort: 12800
    - name: grpc
      port: 11800
      protocol: TCP
      targetPort: 11800
  selector:
    app: skywalking

二、部署 UI

2.1. 添加 Deployment

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: skywalking-ui
  name: skywalking-ui
  namespace: default
spec:
  replicas: 1
  selector:
    matchLabels:
      app: skywalking-ui
  template:
    metadata:
      labels:
        app: skywalking-ui
    spec:
      containers:
        - env:
            - name: SW_OAP_ADDRESS
              value: "skywalking:12800"          
          image: apache/skywalking-ui:8.5.0
          imagePullPolicy: IfNotPresent         
          name: skywalking-ui
          ports:
            - containerPort: 8080
              name: http
              protocol: TCP
          resources:
            limits:
              cpu: '2'
              memory: 1Gi
            requests:
              cpu: '1'
              memory: 1Gi
          volumeMounts:
            - mountPath: /etc/localtime
              name: volume-localtime
      volumes:
        - hostPath:
            path: /etc/localtime
            type: ''
          name: volume-localtime

更多环境变量配置见：https://hub.docker.com/r/apache/skywalking-ui

2.2. 添加 Service

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
apiVersion: v1
kind: Service
metadata:
  name: skywalking-ui
  labels:
    app: skywalking-ui
spec:
  type: ClusterIP
  ports:
    - name: http
      port: 8080
      protocol: TCP
      targetPort: 8080
  selector:
    app: skywalking-ui

三、程序改造

有两种设置 agent 的方法：

  1. 将 agent 与程序打包在同一镜像中：实现简单
  2. 使用 Kubernetes 的 Sidecar：更加灵活

本文使用第一种方法：

  1. 修改 Dockerfile：
1
2
3
4
5
6
FROM 基础镜像
MAINTAINER VictorBu <VictorBu.xx@gmail.com>

ADD agent /agent
ADD *.jar /app.jar
ENTRYPOINT ["java", "-javaagent:/agent/skywalking-agent.jar", "-jar", "-server", "/app.jar"]
  1. 部署时需要添加环境变量：
1
2
SW_AGENT_NAME: 对应程序的名字
SW_AGENT_COLLECTOR_BACKEND_SERVICES: skywalking:11800

更多的环境变量配置见：agent/config/agent.config

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

很惭愧<br><br>只做了一点微小的工作<br>谢谢大家