python微服务sanic 使用异步zipkin(1)

参考：基于sanic的微服务框架 - 架构分析
 Win10内置Ubuntu，完美使用Docker in Windows

关键字：python sanic 微服务异步 zipkin
所需环境：python3.7, Docker, Linux or WSL

较早的异步框架是aiohttp，它提供了server端和client端，对asyncio做了很好的封装。但是开发方式和最流行的微框架flask不同，flask开发简单，轻量，高效。将两者结合起来就有了sanic。
Sanic框架是和Flask相似异步协程框架，简单轻量，并且性能很高。

微服务解决了复杂性问题，提高开发效率，便于部署等优点。opentracing作为分布式追踪系统应用事实上的标准，适合收集log，分析微服务的瓶颈。

image.png

OpenZipkin / Jaeger 都是opentracing具体实现的工具。

image.png

在上一篇【基于sanic的微服务框架 - 架构分析】中，使用了完全手写的wrapper，来产生opentracing log。
Python的一个原则：不要重复发明轮子！

Python有许多OpenZipkin的实现，https://zipkin.io/pages/tracers_instrumentation.html：
py_zipkin pyramid_zipkin swagger_zipkin flask_zipkin aiozipkin

既然是异步框架，那我们选择异步的aiozipkin吧。

特性：

完全异步，Distributed tracing capabilities to asyncio applications.
支持zipkin v2 协议
API简洁
显式context handling, no thread local variables.
支持输入到zipkin, jaeger and stackdriver through zipkin compatible API

aiohttp入门

创建service服务、tracer：

import aiozipkin as az
az.create_endpoint('sanic_app', ipv4=host, port=port)
tracer = await az.create(zipkin_address, endpoint, sample_rate=1.0)

创建新的span:

with tracer.new_trace(sampled=True) as span:
        span.name('root_span')       # operation 操作名
        span.tag('span_type', 'root') # 打标签，key/value格式
        span.kind(az.CLIENT)          # kind
        span.annotate('SELECT * FROM')  # 支持log
        # imitate long SQL query
        await asyncio.sleep(0.1)
        span.annotate('start end sql')

创建级联span:

with tracer.new_child(span.context) as nested_span:
            nested_span.name('nested_span_1')
            nested_span.kind(az.CLIENT)
            nested_span.tag('span_type', 'inner1')
            nested_span.remote_endpoint('broker', ipv4='127.0.0.1', port=9011)
            await asyncio.sleep(0.01)

aiohttp session访问，直接创建request span (GET/POST):

tracer = az.get_tracer(request.app)
span = az.request_span(request)

span Inject (适用于RPC访问其它服务，可以一目了然地看到各微服务之间的调用关系):

headers = span.context.make_headers() # Inject
message = {'payload': 'click', 'headers': headers}
aiohttp.session.post(backend_service, json=message),

span Extract(适用于接收RPC访问):

    message = await request.json()
    headers = message.get('headers', None)
    context = az.make_context(headers)                # Extract

    with tracer.new_child(context) as span_consumer:
        span_consumer.name('consumer event')         # operation 操作名
        span_consumer.remote_endpoint('broker', ipv4='127.0.0.1', port=9011)  # 子服务
        span_consumer.kind(az.CONSUMER)

集成到Sanic程序

完整程序：https://github.com/kevinqqnj/sanic-ms/blob/master/develop/sanic_aiozipkin_test.py

创建aio_zipkin实例：

@app.listener('before_server_start')
async def init(app, loop):
    tracer = await az.create(zipkin_address, endpoint, sample_rate=1.0)
    trace_config = az.make_trace_config(tracer)
    app.aiohttp_session = aiohttp.ClientSession(trace_configs=[trace_config], loop=loop)
    app.tracer = tracer

访问/地址，会创建一条zipkin trace（含一条子trace）

@app.route("/")
async def test(request):
    request['aiozipkin_span'] = request
    with app.tracer.new_trace() as span:
        span.name(f'HTTP {request.method} {request.path}')
        print(span)
        url = "https://www.163.com"
        with app.tracer.new_child(span.context) as span_producer:
            span_producer.kind(az.PRODUCER)
            span_producer.name('produce event click')
        return response.text('ok')

试试看！

安装python依赖（要求Python 3）：
pip install sanic aiohttp aiozipkin
使用docker运行zipkin或Jaeger:
docker run -d -p9411:9411 openzipkin/zipkin:latest
or
docker run -d -e COLLECTOR_ZIPKIN_HTTP_PORT=9411 -p5775:5775/udp -p6831:6831/udp -p6832:6832/udp -p5778:5778 -p16686:16686 -p14268:14268 -p9411:9411 jaegertracing/all-in-one
运行app: python sanic_aiozipkin_test.py
然后打开另一终端：curl localhost:8000/
浏览器里，查看Zipkin UI：

image.png

创建/2地址，把HTTP request抽象出来，包装一下：

def request_span(request):
    with app.tracer.new_trace() as span:
        span.name(f'HTTP {request.method} {request.path}')
        kwargs = {
            'http.path':request.path,
            'http.method':request.method,
            'http.path':request.path,
            'http.route':request.url,
            'peer.ip':request.remote_addr or request.ip,
            'peer.port':request.port,
        }
        [span.tag(k, v) for k,v in kwargs.items()]
        span.kind(az.SERVER)
        return span

@app.route("/2")
async def tes2(request):
    request['aiozipkin_span'] = request
    span = request_span(request)
    with app.tracer.new_child(span.context) as span_producer:
        span_producer.kind(az.PRODUCER)
        span_producer.name('produce event click')
    return response.text('ok')

访问:curl localhost:8000/2
这次换用Jaeger来查看：

image.png

Next：创建Sanic plugin

aiozipkin集成到Sanic里，是不是很简单？
但大家有没有觉得，每个Http request、每个method call、或者RPC访问（trace inject/extract），都要手动码代码，是不是很low很低效啊？
好，下一篇我们就来创建一个Sanic Plugin，app里直接用装饰器就行了。
原型已写好，暂时取名sanic_zipkin

from sanic_zipkin import SanicZipkin, logger, sz_rpc

app = Sanic(__name__)
sz = SanicZipkin(app, service='service-a')

@app.route("/")
async def index(request):
    return response.json({"hello": "from index"})

@logger()
async def db_access(context, data):
    await asyncio.sleep(0.1)
    print(f'db_access done. data: {data}')
    return

@sz.route("/2")
async def method_call(request, context):
    await db_access(context, 'this is method_call data')
    return response.json({"hello": 'method_call'})

第二篇: python微服务sanic 使用异步zipkin（2）- 创建Sanic plugin：sanic_zipkin
https://www.jianshu.com/p/bbb09e46a747