[系列] - go-gin-api 路由中间件 - 日志记录(三)

2019年8月30日 213点热度 0人点赞 0条评论

概述

首先同步下项目概况:

图片

上篇文章分享了,规划项目目录和参数验证,其中参数验证使用的是 validator.v8 版本,现已更新到 validator.v9 版本,最新代码查看 github 即可。


这篇文章咱们分享:路由中间件 - 日志记录。

日志是特别重要的一个东西,方便我们对问题进行排查,这篇文章我们实现将日志记录到文本文件中。

这是我规划的,需要记录的参数:

  1. - request 请求数据

  2. - request_time

  3. - request_method

  4. - request_uri

  5. - request_proto

  6. - request_ua

  7. - request_referer

  8. - request_post_data

  9. - request_client_ip


  10. - response 返回数据

  11. - response_time

  12. - response_code

  13. - response_msg

  14. - response_data


  15. - cost_time 花费时间


Gin 框架中自带 Logger 中间件,我们了解下框架中自带的 Logger 中间件是否满足我们的需求?

gin.Logger()

我们先使用 gin.Logger() 看看效果。

在 route.go SetupRouter 方法中增加代码:

  1. engine.Use(gin.Logger())

运行后多请求几次,日志输出在命令行中:

  1. [GIN] 2019/08/30 - 21:24:16 | 200 | 178.072µs | ::1 | GET /ping

  2. [GIN] 2019/08/30 - 21:24:27 | 200 | 367.997µs | ::1 | POST /product

  3. [GIN] 2019/08/30 - 21:24:28 | 200 | 2.521592ms | ::1 | POST /product

先解决第一个问题,怎么将日志输出到文本中?

在 route.go SetupRouter 方法中增加代码:

  1. f, _ := os.Create(config.AppAccessLogName)

  2. gin.DefaultWriter = io.MultiWriter(f)

  3. engine.Use(gin.Logger())

运行后多请求几次,日志输出在文件中:

  1. [GIN] 2019/08/30 - 21:36:07 | 200 | 369.023µs | ::1 | GET /ping

  2. [GIN] 2019/08/30 - 21:36:08 | 200 | 27.585µs | ::1 | GET /ping

  3. [GIN] 2019/08/30 - 21:36:10 | 200 | 14.302µs | ::1 | POST /product

虽然记录到文件成功了,但是记录的参数不是我们想要的样子。

怎么办呢?

我们需要自定义一个日志中间件,按照我们需要的参数进行记录。

自定义 Logger()

middleware/logger/logger.go

  1. package logger


  2. import (

  3. "bytes"

  4. "encoding/json"

  5. "fmt"

  6. "github.com/gin-gonic/gin"

  7. "go-gin-api/app/config"

  8. "go-gin-api/app/util"

  9. "log"

  10. "os"

  11. )


  12. type bodyLogWriter struct {

  13. gin.ResponseWriter

  14. body *bytes.Buffer

  15. }

  16. func (w bodyLogWriter) Write(b []byte) (int, error) {

  17. w.body.Write(b)

  18. return w.ResponseWriter.Write(b)

  19. }

  20. func (w bodyLogWriter) WriteString(s string) (int, error) {

  21. w.body.WriteString(s)

  22. return w.ResponseWriter.WriteString(s)

  23. }


  24. func SetUp() gin.HandlerFunc {

  25. return func(c *gin.Context) {

  26. bodyLogWriter := &bodyLogWriter{body: bytes.NewBufferString(""), ResponseWriter: c.Writer}

  27. c.Writer = bodyLogWriter


  28. //开始时间

  29. startTime := util.GetCurrentMilliTime()


  30. //处理请求

  31. c.Next()


  32. responseBody := bodyLogWriter.body.String()


  33. var responseCode int

  34. var responseMsg string

  35. var responseData interface{}


  36. if responseBody != "" {

  37. response := util.Response{}

  38. err := json.Unmarshal([]byte(responseBody), &response)

  39. if err == nil {

  40. responseCode = response.Code

  41. responseMsg = response.Message

  42. responseData = response.Data

  43. }

  44. }


  45. //结束时间

  46. endTime := util.GetCurrentMilliTime()


  47. if c.Request.Method == "POST" {

  48. c.Request.ParseForm()

  49. }


  50. //日志格式

  51. accessLogMap := make(map[string]interface{})


  52. accessLogMap["request_time"] = startTime

  53. accessLogMap["request_method"] = c.Request.Method

  54. accessLogMap["request_uri"] = c.Request.RequestURI

  55. accessLogMap["request_proto"] = c.Request.Proto

  56. accessLogMap["request_ua"] = c.Request.UserAgent()

  57. accessLogMap["request_referer"] = c.Request.Referer()

  58. accessLogMap["request_post_data"] = c.Request.PostForm.Encode()

  59. accessLogMap["request_client_ip"] = c.ClientIP()


  60. accessLogMap["response_time"] = endTime

  61. accessLogMap["response_code"] = responseCode

  62. accessLogMap["response_msg"] = responseMsg

  63. accessLogMap["response_data"] = responseData


  64. accessLogMap["cost_time"] = fmt.Sprintf("%vms", endTime - startTime)


  65. accessLogJson, _ := util.JsonEncode(accessLogMap)


  66. if f, err := os.OpenFile(config.AppAccessLogName, os.O_WRONLY|os.O_APPEND|os.O_CREATE, 0666); err != nil {

  67. log.Println(err)

  68. } else {

  69. f.WriteString(accessLogJson + "\n")

  70. }

  71. }

  72. }

运行后多请求几次,日志输出在文件中:

  1. {"cost_time":"0ms","request_client_ip":"::1","request_method":"GET","request_post_data":"","request_proto":"HTTP/1.1","request_referer":"","request_time":1567172568233,"request_ua":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36","request_uri":"/ping","response_code":1,"response_data":null,"response_msg":"pong","response_time":1567172568233}

  2. {"cost_time":"0ms","request_client_ip":"::1","request_method":"GET","request_post_data":"","request_proto":"HTTP/1.1","request_referer":"","request_time":1567172569158,"request_ua":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36","request_uri":"/ping","response_code":1,"response_data":null,"response_msg":"pong","response_time":1567172569158}

  3. {"cost_time":"0ms","request_client_ip":"::1","request_method":"POST","request_post_data":"name=admin","request_proto":"HTTP/1.1","request_referer":"","request_time":1567172629565,"request_ua":"PostmanRuntime/7.6.0","request_uri":"/product","response_code":-1,"response_data":null,"response_msg":"Key: 'ProductAdd.Name' Error:Field validation for 'Name' failed on the 'NameValid' tag","response_time":1567172629565}

OK,咱们想要的所有参数全都记录了!

抛出几个问题吧:

1、有没有开源的日志记录工具?

当然有,其中 logrus 是用的最多的,这个工具功能强大,原来我也分享过,可以看下原来的文章《使用 logrus 进行日志收集》

2、为什么将日志记录到文本中?

因为,日志平台可以使用的是 ELK。

使用 Logstash 进行收集文本文件,使用 Elasticsearch 引擎进行搜索分析,最终在 Kibana 平台展示出来。

3、当大量请求过来时,写入文件会不会出问题?

可能会,这块可以使用异步,咱们可以用下 go 的 chan,具体实现看代码吧,我就不贴了。

源码地址

https://github.com/xinliangnote/go-gin-api

go-gin-api 系列文章

图片

13040[系列] - go-gin-api 路由中间件 - 日志记录(三)

root

这个人很懒,什么都没留下

文章评论