前言

什么是结构化呢? 结构化,就是将原本没有规律的东西进行有规律话。

就比如我们学习数据结构,需要学习排序然后又要学习查询,说白了这就是一套,没有排序,谈如何查询是没有意义的,因为查询算法就是根据某种规律得到最佳的效果。

同样日志结构话,能够让我们得到一些好处。如果说容易检索,容易分析,总的来说就是让我们的日志更加有规律。

如果我们的日志结构化了,那么可以使用elasticsearch 这样的框架进行二次整理,再借助一些分析工具。

我们就能做到可视化分析系统的运行情况,做到日志告警、上下文关联、实现追踪系统集成,同样也易于检索相关信息。

说了这么多,其实对于程序员,就是为了节约排查错误的时间,然后在做系统稳定化方案的时候有依据,我们是讲道理的,做事要有依据,不能张口就来。

正文

这里结构化,借助需要借助serilog,引用serilog.aspnetcore。

开源地址如下:

https://github.com/serilog/serilog-aspnetcore

这里介绍一下简单的接入方式:

在CreateHostBuilder 中加入UseSerilog:

public static IHostBuilder CreateHostBuilder(string[] args) =>
Host.CreateDefaultBuilder(args)
.ConfigureWebHostDefaults(webBuilder =>
{
webBuilder.UseStartup<Startup>();
}).UseSerilog(dispose:true);

然后在Startup的ConfigureServices的加入:

services.AddLogSeriLog(Configuration);

这个AddLogSeriLog 是我写的扩展:

public static class SeriLogExtension
{
public static Serilog.ILogger AddLogSeriLog(this IServiceCollection services, IConfiguration configuration)
{
Log.Logger = new LoggerConfiguration().ReadFrom.Configuration(configuration)
.MinimumLevel.Debug()
.Enrich.FromLogContext()
.WriteTo.Console(new RenderedCompactJsonFormatter())
.WriteTo.File(formatter: new CompactJsonFormatter(), "logs\\test.txt", rollingInterval: RollingInterval.Day)
.CreateLogger();
return Log.Logger;
}
}

输出:

这时候发现我们的输出都json化了。

同时在根目录下的logs目录下输出日志文件:

但是我们这样发现,日志太多了,我们需要过滤掉一些日志,那么我们可以配置:

"Serilog": {
"MinimumLevel": {
"Default": "Information",
"Override": {
"Microsoft": "Error",
"System": "Information"
}
}
}

测试代码:

[HttpGet]
public int GetService([FromServices]ISelfService selfService)
{
_logger.LogInformation("Hello Word");
return 1;
}

结果:

因为上面配置了Microsoft 为Error级别的,故而系统打印的日志只有Error基本才会输出。

这里面简单看一下Serilog 的原理,因为https://www.cnblogs.com/aoximin/p/14854519.html 已经介绍了日志系统的基本结果,故而直接往下续:

查看UseSerilog:

public static IHostBuilder UseSerilog(
this IHostBuilder builder,
ILogger logger = null,
bool dispose = false,
LoggerProviderCollection providers = null)
{
if (builder == null)
throw new ArgumentNullException(nameof (builder));
builder.ConfigureServices((Action<HostBuilderContext, IServiceCollection>) ((_, collection) =>
{
if (providers != null)
ServiceCollectionServiceExtensions.AddSingleton<ILoggerFactory>(collection, (Func<IServiceProvider, M0>) (services =>
{
SerilogLoggerFactory serilogLoggerFactory = new SerilogLoggerFactory(logger, dispose, providers);
foreach (ILoggerProvider service in (IEnumerable<ILoggerProvider>) ServiceProviderServiceExtensions.GetServices<ILoggerProvider>(services))
serilogLoggerFactory.AddProvider(service);
return (ILoggerFactory) serilogLoggerFactory;
}));
else
ServiceCollectionServiceExtensions.AddSingleton<ILoggerFactory>(collection, (Func<IServiceProvider, M0>) (services => (ILoggerFactory) new SerilogLoggerFactory(logger, dispose, (LoggerProviderCollection) null)));
SerilogHostBuilderExtensions.ConfigureServices(collection, logger);
}));
return builder;
}

这里我简单梳理一下日志系统的基本结构,首选是ILoggerFactory, 里面会有一个CreateLogger,创建一个ILogger。那么这个ILogger的作用是什么呢?

是用来统一接口的。 比如说我们有文件日志,有控制台日志,有很多方式输出日志。那么就要有一个管理的来统一接口。

而每一种打印方式,继承ILoggerProvider,比如ConsoleProvider继承ILoggerProvider有一个CreateLogger方法,这个CreateLog才是创建具体的实现类,比如说ConsoleLogger,ConsoleLogger又继承ILogger。

从而ILogger的另一个实现类Logger实现代理,管理其他继承ILogger的实现类。

可能我这样说有点模糊,那么请看完上面链接,应该就会明白我所以表达的意思。

那么回到上文中。

ServiceCollectionServiceExtensions.AddSingleton(collection, (Func<IServiceProvider, M0>) (services => (ILoggerFactory) new SerilogLoggerFactory(logger, dispose, (LoggerProviderCollection)

将我们的ILoggerFactory 替换成了SerilogLoggerFactory,官方是LoggerFactory。

那么看下SerilogLoggerFactory:

public SerilogLoggerFactory(
Serilog.ILogger logger = null,
bool dispose = false,
LoggerProviderCollection providerCollection = null)
{
this._provider = new SerilogLoggerProvider(logger, dispose);
this._providerCollection = providerCollection;
} /// <summary>Disposes the provider.</summary>
public void Dispose()
{
this._provider.Dispose();
} /// <summary>
/// Creates a new <see cref="T:Microsoft.Extensions.Logging.ILogger" /> instance.
/// </summary>
/// <param name="categoryName">The category name for messages produced by the logger.</param>
/// <returns>
/// The <see cref="T:Microsoft.Extensions.Logging.ILogger" />.
/// </returns>
public Microsoft.Extensions.Logging.ILogger CreateLogger(string categoryName)
{
return this._provider.CreateLogger(categoryName);
} /// <summary>
/// Adds an <see cref="T:Microsoft.Extensions.Logging.ILoggerProvider" /> to the logging system.
/// </summary>
/// <param name="provider">The <see cref="T:Microsoft.Extensions.Logging.ILoggerProvider" />.</param>
public void AddProvider(ILoggerProvider provider)
{
if (provider == null)
throw new ArgumentNullException(nameof (provider));
if (this._providerCollection != null)
this._providerCollection.AddProvider(provider);
else
SelfLog.WriteLine("Ignoring added logger provider {0}", (object) provider, (object) null, (object) null);
}
}

那么继续查看CreateLogger,SerilogLoggerProvider的CreateLogger 及其相关:

private readonly Serilog.ILogger _logger;
public SerilogLoggerProvider(Serilog.ILogger logger = null, bool dispose = false)
{
if (logger != null)
this._logger = logger.ForContext((IEnumerable<ILogEventEnricher>) new SerilogLoggerProvider[1]
{
this
});
if (!dispose)
return;
if (logger != null)
this._dispose = (Action) (() =>
{
if (!(logger is IDisposable disposable))
return;
disposable.Dispose();
});
else
this._dispose = new Action(Log.CloseAndFlush);
}
public Microsoft.Extensions.Logging.ILogger CreateLogger(string name)
{
return (Microsoft.Extensions.Logging.ILogger) new SerilogLogger(this, this._logger, name);
}

而SerilogLogger 就是具体来管理全部继承ILogger具体的实现的类。 那么是否是和官方一样,其他实现类都是继承自ILogger的呢?答案不是,他们都继承自ILogEventSink,下面会继续提及,暂时不要关心这个。

同时要忘记官方每个实现具体打印的类继承ILogger,它的设计思想还是一样的,只是换了一个继承接口。

SerilogLogger 里面继承Microsoft.Extensions.Logging.ILogger,实现具体的打印的。

看下SerilogLogger 的具体的部分,主要看log方法,因为这个实现打印的,这下面不用看太多,只需要看到其实里面是调用_logger的方法就行。

internal class SerilogLogger : Microsoft.Extensions.Logging.ILogger
{
private static readonly MessageTemplateParser MessageTemplateParser = new MessageTemplateParser();
private static readonly LogEventProperty[] LowEventIdValues = Enumerable.Range(0, 48).Select<int, LogEventProperty>((Func<int, LogEventProperty>) (n => new LogEventProperty("Id", (LogEventPropertyValue) new ScalarValue((object) n)))).ToArray<LogEventProperty>();
private readonly SerilogLoggerProvider _provider;
private readonly Serilog.ILogger _logger; public SerilogLogger(SerilogLoggerProvider provider, Serilog.ILogger logger = null, string name = null)
{
SerilogLoggerProvider serilogLoggerProvider = provider;
if (serilogLoggerProvider == null)
throw new ArgumentNullException(nameof (provider));
this._provider = serilogLoggerProvider;
this._logger = logger;
Serilog.ILogger logger1 = this._logger;
if (logger1 == null)
logger1 = Serilog.Log.Logger.ForContext((IEnumerable<ILogEventEnricher>) new SerilogLoggerProvider[1]
{
provider
});
this._logger = logger1;
if (name == null)
return;
this._logger = this._logger.ForContext("SourceContext", (object) name, false);
} public bool IsEnabled(LogLevel logLevel)
{
return this._logger.IsEnabled(LevelConvert.ToSerilogLevel(logLevel));
} public IDisposable BeginScope<TState>(TState state)
{
return this._provider.BeginScope<TState>(state);
} public void Log<TState>(
LogLevel logLevel,
EventId eventId,
TState state,
Exception exception,
Func<TState, Exception, string> formatter)
{
LogEventLevel serilogLevel = LevelConvert.ToSerilogLevel(logLevel);
if (!this._logger.IsEnabled(serilogLevel))
return;
Serilog.ILogger logger = this._logger;
string str1 = (string) null;
List<LogEventProperty> logEventPropertyList = new List<LogEventProperty>();
if (state is IEnumerable<KeyValuePair<string, object>> keyValuePairs)
{
foreach (KeyValuePair<string, object> keyValuePair in keyValuePairs)
{
if (keyValuePair.Key == "{OriginalFormat}" && keyValuePair.Value is string str2)
str1 = str2;
else if (keyValuePair.Key.StartsWith("@"))
{
LogEventProperty property;
if (logger.BindProperty(keyValuePair.Key.Substring(1), keyValuePair.Value, true, out property))
logEventPropertyList.Add(property);
}
else
{
LogEventProperty property;
if (logger.BindProperty(keyValuePair.Key, keyValuePair.Value, false, out property))
logEventPropertyList.Add(property);
}
}
Type type = state.GetType();
TypeInfo typeInfo = type.GetTypeInfo();
if (str1 == null && !typeInfo.IsGenericType)
{
str1 = "{" + type.Name + ":l}";
LogEventProperty property;
if (logger.BindProperty(type.Name, SerilogLogger.AsLoggableValue<TState>(state, formatter), false, out property))
logEventPropertyList.Add(property);
}
}
if (str1 == null)
{
string propertyName = (string) null;
if ((object) state != null)
{
propertyName = "State";
str1 = "{State:l}";
}
else if (formatter != null)
{
propertyName = "Message";
str1 = "{Message:l}";
}
LogEventProperty property;
if (propertyName != null && logger.BindProperty(propertyName, SerilogLogger.AsLoggableValue<TState>(state, formatter), false, out property))
logEventPropertyList.Add(property);
}
if (eventId.Id != 0 || eventId.Name != null)
logEventPropertyList.Add(SerilogLogger.CreateEventIdProperty(eventId));
MessageTemplate messageTemplate = SerilogLogger.MessageTemplateParser.Parse(str1 ?? "");
LogEvent logEvent = new LogEvent(DateTimeOffset.Now, serilogLevel, exception, messageTemplate, (IEnumerable<LogEventProperty>) logEventPropertyList);
logger.Write(logEvent);
}
}

那么SerilogLogger 的_logger 到底是什么呢?我们可以看到其实这个_logger 是SerilogLoggerFactory到SerilogLoggerProvider到SerilogLogger一层一层传进去的,最后调用ForContext生成,上面可以看到具体各个的实例化函数。

如果我们不传的话,那么会默认使用 Serilog.Log.Logger,在SerilogLogger的实例化函数中这样写道:

Serilog.ILogger logger1 = this._logger;
if (logger1 == null)
logger1 = Serilog.Log.Logger.ForContext((IEnumerable<ILogEventEnricher>) new SerilogLoggerProvider[1]
{
provider
});
this._logger = logger1;

而在UseSerilog中logger参数的参数介绍中也写道: The Serilog logger; if not supplied, the static will be used.

之所以重点谈论这个_logger 这个数据,是为了引出Serilog.Log.Logger这个东西,是不是感觉特别眼熟?我们在Startup的ConfigureServices中写道:

services.AddLogSeriLog(Configuration);

AddLogSeriLog 为:

public static Serilog.ILogger AddLogSeriLog(this IServiceCollection services, IConfiguration configuration)
{
Log.Logger = new LoggerConfiguration().ReadFrom.Configuration(configuration)
.MinimumLevel.Debug()
.Enrich.FromLogContext()
.WriteTo.Console(new RenderedCompactJsonFormatter())
.WriteTo.File(formatter: new CompactJsonFormatter(), "logs\\test.txt", rollingInterval: RollingInterval.Day)
.CreateLogger();
return Log.Logger;
}

这里我们就生成了具体打印实现类的管理类,是代理模式哈。大体就是各个不同的实现类继承ILogEventSink,然后SafeAggregateSink也继承自ILogEventSink,SafeAggregateSink里面有个属性readonly ILogEventSink[] _sinks,然后调用Serilog的 Logger

类调用write方法会调用SafeAggregateSink的Emit。

SafeAggregateSink类如下,主要看下Emit方法:

class SafeAggregateSink : ILogEventSink
{
readonly ILogEventSink[] _sinks; public SafeAggregateSink(IEnumerable<ILogEventSink> sinks)
{
if (sinks == null) throw new ArgumentNullException(nameof(sinks));
_sinks = sinks.ToArray();
} public void Emit(LogEvent logEvent)
{
foreach (var sink in _sinks)
{
try
{
// 调用不同的Log打印的实现类 如文件、控制台 等
sink.Emit(logEvent);
}
catch (Exception ex)
{
SelfLog.WriteLine("Caught exception while emitting to sink {0}: {1}", sink, ex);
}
}
}
}

具体就不细写了,里面都是一些格式匹配的,根据我们上面的分析,其实我们应该知道先看CreateLogger这个函数哈,然后去看Console这个函数。如对格式化感兴趣可

以去看下哈,里面又套了一层代理模式的娃。

上述只是个人整理,如有错误,望请指出,谢谢。

下一次 中间件。 前面其实写个中间件的一些基本概念,介绍其实中间件就是职责链模式,所以下一节主要整理一下具体实践。

重新整理 .net core 实践篇—————日志系统之结构化[十八]的更多相关文章

  1. .Net core的日志系统

    .net core是内置了日志系统的,本文这里简单的介绍一下它的基本用法.如下是一个简单的示例: var service = new ServiceCollection() .AddLogging(l ...

  2. ASP.NET Core分布式日志系统ELK实战演练

    一.ELK简介  ELK是Elasticsearch.Logstash和Kibana首字母的缩写.这三者均是开源软件,这三套开源工具组合起来形成了一套强大的集中式日志管理平台. •  Elastics ...

  3. MySQL 笔记整理(2) --日志系统,一条SQL查询语句如何执行

    笔记记录自林晓斌(丁奇)老师的<MySQL实战45讲> 2) --日志系统,一条SQL查询语句如何执行 MySQL可以恢复到半个月内任意一秒的状态,它的实现和日志系统有关.上一篇中记录了一 ...

  4. Elasticsearch,Kibana,Logstash,NLog实现ASP.NET Core 分布式日志系统

    Elasticsearch - 简介 Elasticsearch 作为核心的部分,是一个具有强大索引功能的文档存储库,并且可以通过 REST API 来搜索数据.它使用 Java 编写,基于 Apac ...

  5. VMware系统运维(十八)部署虚拟化桌面 通过View Client进行连接测试

    1.打开VMware Horizon View Client添加服务器,配置连接服务器的IP地址等信息 2.点击云图标进行连接,点击继续,证书部分我们后面再讲 3.输入用户名密码,点击"登录 ...

  6. 使用Visual Studio Code开发Asp.Net Core WebApi学习笔记(七)-- 结构化配置

    本篇将记录.Net Core里颇有特色的结构化配置的使用方法. 相比较之前通过Web.Config或者App.Config配置文件里使用xml节点定义配置内容的方式,.Net Core在配置系统上发生 ...

  7. 结构化日志类库 ---- Serilog库

    在过去的几年中,结构化日志已经大受欢迎.而Serilog是 .NET 中最著名的结构化日志类库 ,我们提供了这份的精简指南来帮助你快速了解并运用它. 0. 内容 设定目标 认识Serilog 事件和级 ...

  8. .NET 黑魔法 - asp.net core 日志系统

    asp.net core 里如何记录日志呢? 这要从asp.net core的依赖注入说起,在asp.net core里的依赖注入真是无所不在,各种面向切面的接口与事件. 好吧,来点干货. 首先,我们 ...

  9. Exceptionless - .Net Core开源日志框架

    Exceptionless - .Net Core开源日志框架 作者:markjiang7m2 原文地址:https://www.cnblogs.com/markjiang7m2/p/11020140 ...

  10. Net Core开源日志框架

    Net Core开源日志框架 Exceptionless - .Net Core开源日志框架 作者:markjiang7m2原文地址:https://www.cnblogs.com/markjiang ...

随机推荐

  1. ngnix 配置CI框架 与 CI的简单使用

    ngnix 支持 CI框架1.修改config.php 参考网址:https://www.chenyudong.com/archives/codeigniter-in-nginx-and-url-re ...

  2. AspCms标签手册

    网站通用标签 基本标签 {aspcms:sitepath} 网站终极目录(可放在二级目录,其它语言则在三级目录) {aspcms:languagepath} 语言目录 {aspcms:siteurl} ...

  3. 《University Calculus》-chaper13-多重积分-二重积分的引入

    这一章节我们开始对多重积分的研究. 在此之前,我们首先来回忆起积分的过程,在平面中,面临求解不规则图形的面积(常叫曲边梯形)的时候,我们可以采取建立直角坐标系,然后通过得到不规则图形边界的函数表达式f ...

  4. 使用BackgroundWorker组件进行异步操作编程

    本文介绍了BackgroundWorker组件的功能及在基于事件的异步操作编程中的应用,并对组件的实现原理进行简述.在应用程序中,可能会遇到一些执行耗时的功能操作,比如数据下载.复杂计算及数据库事务等 ...

  5. .net Core学习笔记2 实现列表的条件筛选,排序,分页

    打开vs,完善上次"简单粗暴"的项目 发现上次的实体类的导航属性有点问题,这是更改后的 namespace ProductMvc.Models { public class Pro ...

  6. 依赖于boodtrap3的插件推荐以及bootrap发展前景

    作为一个栅格系统和速度开发的,偏向于框架,bootstrap出来很火,为了节省效率,不少公司选用这个框架进行开发,一同被发现的是依赖于bootrap各种插件的adminLTE的集成模版,但是前端框架日 ...

  7. 【转载】关于generate用法的总结【Verilog】

    原文链接: [原创]关于generate用法的总结[Verilog] - nanoty - 博客园http://www.cnblogs.com/nanoty/archive/2012/11/13/27 ...

  8. Vue.js项目脚手架构建

    vue.js文档:https://cn.vuejs.org/v2/guide/ 参考这个或者参考菜鸟教程也可以,不过还是那句话官网权威. 我这个主要是看相关的学习视频搭建的. 一.环境准备 环境准备( ...

  9. Ubuntu16.04Server版离线安装Nginx1.8.1+Mysql5.7.23+Python3.6.2

    nginx1.8.1 1.安装前准备工作 1.1.检查系统版本,确认源码编译所依赖的环境,提前下载好压缩包. 整个环境都是使用root权限安装,系统版本为server版的ubuntu16.04.4 r ...

  10. VC/MFC分割字符串(SplitString)返回CStringArray

    引自:http://bbs.csdn.net/topics/60321228 原版: CStringArray* SplitString(CString string, char pattern) { ...