net core 2.x - 日志 - to elasiticsearch

记录日志到elasticsearch(es),下面简写es,然后我们可以通过kibana可视化的观察日志信息以及统计分析等.

1.起源

　　年中旬时候,公司有个需求是需要分析用户的地址,需要先分词处理然后通过搜索引擎匹配相关数据,当然这个不是这里说的重点,主题还是日志 to es,也就是日志传入es,这里我们还是借助开源的作品,感谢提供者.

2.使用参考

项目根目录新增nlog.config文件,配置内容如下:

<?xml version="1.0" encoding="utf-8" ?>
<nlog xmlns="http://www.nlog-project.org/schemas/NLog.xsd"
      xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
      internalLogToConsole="true">
  <extensions>
    <add assembly="NLog.Targets.ElasticSearch"/>
  </extensions>

  <targets>
    <!--ElasticSearch保存日志信息-->
    <target name="ElasticSearch" xsi:type="ElasticSearch" ConnectionStringName="ElasticSearchServerAddress"
            index="userapi-${date:format=yyyy.MM.dd}" documentType="doc" includeAllProperties="true"
                 layout="[${date:format=yyyy-MM-dd HH\:mm\:ss}][${level}] ${logger} ${message} ${exception:format=toString}">
      <field name="MachineName" layout="${machinename}" />
      <field name="Time" layout="${longdate}" />
      <field name="level" layout="${level:uppercase=true}" />
      <field name="logger" layout=" ${logger}" />
      <field name="message" layout=" ${message}" />
      <field name="exception" layout=" ${exception:format=toString}" />
      <field name="processid" layout=" ${processid}" />
      <field name="threadname" layout=" ${threadname}" />
      <field name="stacktrace" layout=" ${stacktrace}" />
      <field name="Properties" layout="
             ${machinename} 
             ${longdate} 
             ${level:uppercase=true} 
             ${logger} 
             ${message} 
             ${exception}|${processid}|${stacktrace}|${threadname}" />
    </target>
  </targets>
  <rules>
    <logger name="*" minlevel="INFO" writeTo="ElasticSearch" />
  </rules>
</nlog>

View Code

同时在 startup.cs中的configure方法中注入 IHostingEnvironment env对象,通过 env配置nlog,参考如下:

public void Configure(IApplicationBuilder app, IHostingEnvironment env, ILoggerFactory loggerFactory)
        {
            if (env.IsDevelopment())
            {
                app.UseDeveloperExceptionPage();
            }

            app.UseCors("cors");
            loggerFactory.AddNLog();
            env.ConfigureNLog("nlog.config");
            app.UseMvc();
        }

这里需要添加nlog同时指定我们自定义的nlog.config的配置文件,这样就完了.这时候会报错,因为少了文件,也就是一个第三方的资源包

3.使用到的资源

使用nuget导入对应的binary对象 nuget: install-package NLog.Targets.ElasticSearch,,这里的相关配置说明如下:
<nlog xmlns="http://www.nlog-project.org/schemas/NLog.xsd"
　　xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
　　xsi:schemaLocation="http://www.nlog-project.org/schemas/NLog.xsd NLog.xsd"
　　autoReload="true"
　　throwExceptions="false"
　　internalLogLevel="Off“
　　internalLogFile="c:\temp\nlog-internal.log">
　　xmlns=“http://www.nlog-project.org/schemas/NLog.xsd” 这表示默认命名空间;xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 这个命名空间里面的元素或者属性就必须要以xsi:这种方式来写 比如schemaLocation就是他的一个属性，所以写成xsi:schemaLocation 而默认命名空间不带类似xsi这种，其实xml标签名称有个专业叫法叫做QName，而如果没有前面的xsi:这种一般叫做NCName xsi:schemaLocation="http://www.nlog-project.org/schemas/NLog.xsd NLog.xsd" 表示把定义这个命名空间的schema文件给引用进来，好让开发类型工具能够解析和验证你的xml文件是否符合语法规范 等同于
简单来说 上面是用来验证你XML格式是否正确的。
　　InternalLogFile="c:\log\nlog.txt" //NLog内部日志文件位置 internalLogLevel="Debug" //日志级别 autoReload:一旦启动程序，这时候NLog.config文件被读取后，知道程序再启动都不会再读取配置文件了。假如我们不想停掉程序，比如说服务器哪能说停就停哈。这就用上这个配置了，这个配置功能是，一旦你对配置文件修改，程序将会重新读取配置文件，也就是自动再配置。
　　throwExceptions//NLog日志系统抛出异常 internalLogFile="c:\log\nlog.txt" //NLog内部日志文件位置 internalLogLevel="Debug" //日志级别- 定义配置文件中用到的变量 - 定义日志的目标/输出 - 定义日志的路由规则

Layout布局
　　几种常见的 ${var:basePath} basePath是前面自定义的变量 ${longdate} 日期格式 2017-01-17 16:58:03.8667 ${shortdate}日期格式 2017-01-17 ${date:yyyyMMddHHmmssFFF} 日期 20170117165803866 ${message} 输出内容 ${guid} guid ${level}日志记录的等级 ${logger} 配置的logger

NLog记录等级
　　Trace - 最常见的记录信息，一般用于普通输出 Debug - 同样是记录信息，不过出现的频率要比Trace少一些，一般用来调试程序 Info - 信息类型的消息 Warn - 警告信息，一般用于比较重要的场合 Error - 错误信息 Fatal - 致命异常信息。一般来讲，发生致命异常之后程序将无法继续执行。 自上而下，等级递增。

NLog等级使用
　　指定特定等级 如：level="Warn" 指定多个等级 如：levels=“Warn,Debug“ 以逗号隔开 指定等级范围 如：minlevel="Warn" maxlevel="Error"

Logger使用
从配置文件读取信息并初始化 两种常用的方式
　　根据配置的路由名获生成特定的logger Logger logger = LogManager.GetLogger("LoggerDemo");
　　初始化为当前命名空间下当前类的logger Logger logger = LogManager.GetCurrentClassLogger();
　　区别是logger的name不一样 前者是LoggerDemo，后者是当前命名空间+点+当前类名 如类比较多，并且往同一个日志文件记录，建议用GetCurrentClassLogger

Logger有以下三种常用的写入方式
　　logger.Error("这是DatabaseDemo的错误信息"); logger.Error(“ContentDemo {0}:{1}”,“时间”,DateTime.Now.ToString());需要拼接字符串的话推荐这种，NLog做了延迟处理，用的时候才拼接。 logger.Log(LogLevel.Error, "这是ContentDemo");

Logger发邮件参数
　　smtpServer=“” 邮件服务器 例如126邮箱是smtp.126.com smtpPort=“25“端口 smtpAuthentication=“Basic“ 身份验证方式 基本 smtpUserName=““ 邮件服务器用户名 smtpPassword=“**”邮件服务器密码 enableSsl=“false”是否使用安全连接 需要服务器支持 addNewLines=“true” 开头与结尾是否换行 from=“” 发件邮箱 to=“[email protected],[email protected]”收件邮箱 多个以逗号分隔 subject=“subject:${machinename}报错“ 邮件主题 header=“---------------------开头-------------------------“ 邮件开头 body=“${newline}${message}${newline}“ 邮件内容 footer=“---------------------结尾-------------------------“ 邮件结尾

ABP 开源框架中配置参考

<!--write logs to file-->

<target xsi:type="File" name="allfile" fileName="${logDirectory}\nlog-all-${shortdate}.log"
             layout="${longdate}|${logger}|${uppercase:${level}}|${message} ${exception}" />

<target xsi:type="File" name="ownFile-web" fileName="nlog-my-${shortdate}.log"
             layout="${longdate}|${logger}|${uppercase:${level}}|${message} ${exception}" />

<target xsi:type="Null" name="blackhole" />
<!--Skip Microsoft logs and so log only own logs-->
<logger name="Microsoft.*" minlevel="Trace" writeTo="blackhole" final="true" />
<logger name="*" minlevel="Trace" writeTo="ownFile-web" />

资源地址:

通过nuget gallery查询获取:

https://www.nuget.org/packages?q=NLog.Targets.ElasticSearch

通过igthub获取:

https://github.com/markmcdowell/NLog.Targets.ElasticSearch