物联网应用JSON太占资源？HaaS100使用二进制数据上云攻略

1、简介

阿里云IoT设计了一套完整的物模型，可以覆盖大量应用场景对设备属性的描述（如智能门锁，灯具，广告屏等）。但是物模型的交互方式使用的Alink协议格式，一套基于Json的用户层协议。

Json虽然可读性很高，但是存在解析复杂，占用内存多，带宽大等缺点。对于端上资源拮据（ram < 96KB）或者上云带宽有限的场景（NB-IoT,RoLa,2G等）如何在解决此问题的同时又保证云端的兼容性（享受物模型功能）？

还有一种应用场景，就是设备端上云数据协议在连接阿里云IoT之前已经开发好了，可能之前对接的是其他平台，如何平滑的切换到阿里云IoT？

为此阿里云IoT平台设置了一个数据类型转换层，可以让端上使用自定义数据如HEX数据上云，在云上通过脚本叫自定义数据转换成标准的Alink格式数据。其简化流程如下图：

那该如何实现呢？ 下文将使用HaaS100进行手把手演示。

2、HaaS100手把手演示

2.1、云端准备

2.1.1、创建自定义格式的物模型产品

登陆阿里云IoT物联网平台，创建一个自定义数据格式的产品，产品类型我们演示选最熟悉的灯，如下图所示，注意数据类型选“透传/自定义”：

点击确定创建完产品后，添加一个测试设备，如下图：

创建设备后，点击设备详情，拷贝三元组信息。2.2章节将用到。

增加三个自定义属性，用户演示不同数据类型转换，记得发布后才能生效。

2.1.2、格式转换脚本简介

点击产品->hex_light->数据解析。在此栏目可设置协议转换脚本。语言可选js/python2.7/php7.2。本文以js为例。

由于数据分上行和下行两种，因此需要完成两个对应函数的适配。

• 上行属性：rawDataToProtocol(),将设备上报的hex属性转换成Alink Json格式；
• 下行属性：protocolToRawData(),将Alink Json转换成hex属性发给设备；

另外如果用户有自定义的topic,还需额外适配一个自定义topic上报接口：

• 上行自定义topic:transformPayload()将客户自定义topic数据转换成Alink Json格式。

详细说明请点击此处。

2.1.3、设计格式转换脚本

格式转换脚本用于将raw格式协议转换成Alink Json格式协议。因此我们需要先定义raw格式协议。

处于教学目的，此处的raw格式从简设计。

var COMMAND_REPORT = 0x00; //属性上报。

var COMMAND_SET = 0x01; //属性设置。

var COMMAND_REPORT_REPLY = 0x02; //上报数据返回结果。

var COMMAND_SET_REPLY = 0x03; //属性设置设备返回结果。

var COMMAD_UNKOWN = 0xff;    //未知的命令。

格式1，数据模式:

字节	功能	详细
byte0	命令类型	0x00:属性上报（上行） 0x01:属性设置（下行）
byte1-byte4(大端模式)	消息id（4字节）	0x00000001代表"id":1
byte5-byte6	属性prop_int16（2字节）	0x0001代表"prop_int16":1
byte7	属性prop_bool	0x0代表："prop_bool":0
byte8-byte11	属性prop_float(4字节)	0x00000000代表："prop_float":0.00

格式2，应答模式：

字节	功能	详细
byte0	命令类型	0x02:属性上报应答（下行） 0x03:属性设置应答（上行） 0xff:未知命令
byte1-byte4(大端模式)	消息id（4字节）	0x00000001代表"id":1
byte5-byte6	属性prop_int16（2字节）	0x0001代表"prop_int16":1
byte7	code	0xc8代表"code":200

根据上述两个协议格式我们编写对应的转换脚本：

var COMMAND_REPORT = 0x00; //属性上报。
var COMMAND_SET = 0x01; //属性设置。
var COMMAND_REPORT_REPLY = 0x02; //上报数据返回结果。
var COMMAND_SET_REPLY = 0x03; //属性设置设备返回结果。
var COMMAD_UNKOWN = 0xff;    //未知的命令。
var ALINK_PROP_REPORT_METHOD = 'thing.event.property.post'; //物联网平台Topic，设备上传属性数据到云端。
var ALINK_PROP_SET_METHOD = 'thing.service.property.set'; //物联网平台Topic，云端下发属性控制指令到设备端。
var ALINK_PROP_SET_REPLY_METHOD = 'thing.service.property.set'; //物联网平台Topic，设备上报属性设置的结果到云端。
var SELF_DEFINE_TOPIC_UPDATE_FLAG = '/user/update'  //自定义Topic：/user/update。
var SELF_DEFINE_TOPIC_ERROR_FLAG = '/user/update/error' //自定义Topic：/user/update/error。
/*
示例数据：
设备上报属性数据：
传入参数：
    0x000000000100320100000000
输出结果：
    {"method":"thing.event.property.post","id":"1","params":{"prop_float":0,"prop_int16":50,"prop_bool":1},"version":"1.0"}

属性设置的返回结果：
传入参数：
    0x0300223344c8
输出结果：
    {"code":"200","data":{},"id":"2241348","version":"1.0"}
*/
function rawDataToProtocol(bytes) {
    var uint8Array = new Uint8Array(bytes.length);
    for (var i = 0; i < bytes.length; i++) {
        uint8Array[i] = bytes[i] & 0xff;
    }
    var dataView = new DataView(uint8Array.buffer, 0);
    var jsonMap = new Object();
    var fHead = uint8Array[0]; // command
    if (fHead == COMMAND_REPORT) {
        jsonMap['method'] = ALINK_PROP_REPORT_METHOD; //ALink JSON格式，属性上报topic。
        jsonMap['version'] = '1.0'; //ALink JSON格式，协议版本号固定字段。
        jsonMap['id'] = '' + dataView.getInt32(1); //ALink JSON格式，标示该次请求id值。
        var params = {};
        params['prop_int16'] = dataView.getInt16(5); //对应产品属性中prop_int16。
        params['prop_bool'] = uint8Array[7]; //对应产品属性中prop_bool。
        params['prop_float'] = dataView.getFloat32(8); //对应产品属性中prop_float。
        jsonMap['params'] = params; //ALink JSON格式，params标准字段。
    } else if(fHead == COMMAND_SET_REPLY) {
        jsonMap['version'] = '1.0'; //ALink JSON格式，协议版本号固定字段。
        jsonMap['id'] = '' + dataView.getInt32(1); //ALink JSON格式，标示该次请求id值。
        jsonMap['code'] = ''+ dataView.getUint8(5);
        jsonMap['data'] = {};
    }

    return jsonMap;
}
/*
示例数据：
云端下发属性设置指令：
传入参数：
    {"method":"thing.service.property.set","id":"12345","version":"1.0","params":{"prop_float":123.452, "prop_int16":333, "prop_bool":1}}
输出结果：
    0x0100003039014d0142f6e76d

设备上报的返回结果：
传入数据：
    {"method":"thing.event.property.post","id":"12345","version":"1.0","code":200,"data":{}}
输出结果：
    0x0200003039c8
*/
function protocolToRawData(json) {
    var method = json['method'];
    var id = json['id'];
    var version = json['version'];
    var payloadArray = [];
    if (method == ALINK_PROP_SET_METHOD) //属性设置。
    {
        var params = json['params'];
        var prop_float = params['prop_float'];
        var prop_int16 = params['prop_int16'];
        var prop_bool = params['prop_bool'];
        //按照自定义协议格式拼接 rawData。
        payloadArray = payloadArray.concat(buffer_uint8(COMMAND_SET)); //command字段。
        payloadArray = payloadArray.concat(buffer_int32(parseInt(id))); //ALink JSON格式 'id'。
        payloadArray = payloadArray.concat(buffer_int16(prop_int16)); //属性'prop_int16'的值。
        payloadArray = payloadArray.concat(buffer_uint8(prop_bool)); //属性'prop_bool'的值。
        payloadArray = payloadArray.concat(buffer_float32(prop_float)); //属性'prop_float'的值。
    } else if (method ==  ALINK_PROP_REPORT_METHOD) { //设备上报数据返回结果。
        var code = json['code'];
        payloadArray = payloadArray.concat(buffer_uint8(COMMAND_REPORT_REPLY)); //command字段。
        payloadArray = payloadArray.concat(buffer_int32(parseInt(id))); //ALink JSON格式'id'。
        payloadArray = payloadArray.concat(buffer_uint8(code));
    } else { //未知命令，对于这些命令不做处理。
        var code = json['code'];
        payloadArray = payloadArray.concat(buffer_uint8(COMMAD_UNKOWN)); //command字段。
        payloadArray = payloadArray.concat(buffer_int32(parseInt(id))); //ALink JSON格式'id'。
        payloadArray = payloadArray.concat(buffer_uint8(code));
    }
    return payloadArray;
}

/*
  示例数据
  自定义Topic：
     /user/update，上报数据。
  输入参数：
     topic:/{productKey}/{deviceName}/user/update
     bytes: 0x000000000100320100000000
  输出参数：
  {
     "prop_float": 0,
     "prop_int16": 50,
     "prop_bool": 1,
     "topic": "/{productKey}/{deviceName}/user/update"
   }
 */
function transformPayload(topic, bytes) {
    var uint8Array = new Uint8Array(bytes.length);
    for (var i = 0; i < bytes.length; i++) {
        uint8Array[i] = bytes[i] & 0xff;
    }
    var dataView = new DataView(uint8Array.buffer, 0);
    var jsonMap = {};

    if(topic.includes(SELF_DEFINE_TOPIC_ERROR_FLAG)) {
        jsonMap['topic'] = topic;
        jsonMap['errorCode'] = dataView.getInt8(0)
    } else if (topic.includes(SELF_DEFINE_TOPIC_UPDATE_FLAG)) {
        jsonMap['topic'] = topic;
        jsonMap['prop_int16'] = dataView.getInt16(5);
        jsonMap['prop_bool'] = uint8Array[7];
        jsonMap['prop_float'] = dataView.getFloat32(8);
    }

    return jsonMap;
}

//以下是部分辅助函数。
function buffer_uint8(value) {
    var uint8Array = new Uint8Array(1);
    var dv = new DataView(uint8Array.buffer, 0);
    dv.setUint8(0, value);
    return [].slice.call(uint8Array);
}
function buffer_int16(value) {
    var uint8Array = new Uint8Array(2);
    var dv = new DataView(uint8Array.buffer, 0);
    dv.setInt16(0, value);
    return [].slice.call(uint8Array);
}
function buffer_int32(value) {
    var uint8Array = new Uint8Array(4);
    var dv = new DataView(uint8Array.buffer, 0);
    dv.setInt32(0, value);
    return [].slice.call(uint8Array);
}
function buffer_float32(value) {
    var uint8Array = new Uint8Array(4);
    var dv = new DataView(uint8Array.buffer, 0);
    dv.setFloat32(0, value);
    return [].slice.call(uint8Array);
}

脚本编写完成后，需要做个模拟验证方能设置生效，如下图6所示，我们输入一串属性上报raw数据，点击执行，得到图7所示结果，符合Alink Json格式，点击保存。

2.2、设备端准备

2.2.1、Link SDK配置

选择linkkit_demo工程：

aos make linkkit_demo@haas100 -c config

配置工程:

aos make menuconfig

如下图所示路径，配置使能raw data功能。

2.2.2、编写/修改测试example

修改三元组，使用2.1章节新创建的设备的三元组替换以下位置：

编写rawdata数据上报函数：

void user_post_raw_data(void)
{
    int res = 0;
    static int id = 0;

    /*0x000000000100320100000000*/
    unsigned char raw_data[] = {0x0,/*COMMAND_REPORT*/\
                                0x0, 0x0, 0x0, 0x01,/* id */\
                                0x0, 0x32, /* prop_int16 */\
                                0x01, /* prop_bool */ \
                                0x0, 0x0, 0x0, 0x0 /* prop_float */};
    id ++;
    raw_data[4] = id & 0xff;
    raw_data[3] = (id>>8) & 0xff;
    raw_data[2] = (id>>16) & 0xff;
    raw_data[1] = (id>>24) & 0xff;

    res = IOT_Linkkit_Report(EXAMPLE_MASTER_DEVID, ITM_MSG_POST_RAW_DATA,
                             raw_data, sizeof(raw_data));
    EXAMPLE_TRACE("Post Raw Data Message ID: %d", res);
}

定期上报,修改linkkit_main：

   int linkkit_main(void *paras)
   {
   ...
   while (1) {
        IOT_Linkkit_Yield(EXAMPLE_YIELD_TIMEOUT_MS);

        /* Post Proprety Example */

        if ((cnt % 20) == 0) {
            user_post_raw_data();
        }
        cnt++;

        if (auto_quit == 1 && cnt > 3600) {
            break;
        }
    }
    ...
    }

增加云端属性设置捕获回调函数：

static int user_down_raw_data_arrived_event_handler(const int devid, const unsigned char *payload,
        const int payload_len)
{
    int res;
    unsigned char reply_data[] = {0x3,/*set reply*/\
            0x0, 0x0, 0x0, 0x01,/* id */\
            0xc8 /* code */};
    EXAMPLE_TRACE("Down Raw Message, Devid: %d, Payload Length: %d", devid, payload_len);
    if(payload != NULL) {
       switch(payload[0]) {
            case 0x01: /* property set */
            {
                if(payload_len >= 12) {
                    int32_t id = ((int32_t)payload[1] << 24) + ((int32_t)payload[2] << 16) + ((int32_t)payload[3] << 8) + (payload[4]);
                    int16_t prop_int16 = ((int16_t)payload[5] << 8) + ((int16_t)payload[6]);
                    bool prop_bool = (bool)payload[7];
                    float prop_float = (float)(((uint32_t)payload[1] << 24) + ((uint32_t)payload[2] << 16) + ((uint32_t)payload[3] << 8) + (payload[4]));
                    EXAMPLE_TRACE("Get data: id = %d, prop_int16 = %d , prop_bool = %d, = prop_float = %f",id, prop_int16, prop_bool, prop_float);
                    res = IOT_Linkkit_Report(EXAMPLE_MASTER_DEVID, ITM_MSG_POST_RAW_DATA,
                                             reply_data, sizeof(reply_data));
                }
            }
            break;
            case 0x02: /* report reply*/
            {
                if(payload_len >= 6) {
                    int32_t id = ((int32_t)payload[1] << 24) + ((int32_t)payload[2] << 16) + ((int32_t)payload[3] << 8) + (payload[4]);
                    uint8_t code = payload[7];
                    EXAMPLE_TRACE("Get reply : id = %d, code = %d ",id, code);
                }
            }
            break;
            case 0xff:
            {
                    if(payload_len >= 6) {
                    int32_t id = ((int32_t)payload[1] << 24) + ((int32_t)payload[2] << 16) + ((int32_t)payload[3] << 8) + (payload[4]);
                    uint8_t code = payload[7];
                    EXAMPLE_TRACE("Get unknown data : id = %d, code = %d ",id, code);
                }
            }
            break;            
            default:
            break;
        }
    }
    return 0;
}

设置回调函数，在linkkit_main中：

int linkkit_main(void *paras)
{
...
    IOT_RegisterCallback(ITE_RAWDATA_ARRIVED, user_down_raw_data_arrived_event_handler);
...
}

2.3、演示

编写固件并烧入到HaaS100中，参考HaaS100快速上手。

烧入完成后，继续保持usb线连接电脑，使用串口工具打开对应串口（波特兰1500000）。

给设备配网（your_ssid和your_password修改为你自己路由器或者手机热点的名字和密码）：

netmgr -t wifi -c your_ssid your_password

连云成功，看到如下打印：

[Jan 01 00:30:49.960]<I>MQTT Downstream Topic: '/sys/a18gwxhp1rU/hex_device_01/thing/model/up_raw_reply'
[Jan 01 00:30:49.960]<I>MQTT Downstream Payload:
[Jan 01 00:30:49.961]<I>DM thing/model/up_raw_reply
[Jan 01 00:30:50.066]<I>DM Receive Message Type: 40
[Jan 01 00:30:50.066]<I>DM Receive Message: {"devid":0,"payload":"02000001CDC8"}
user_down_raw_data_arrived_event_handler.88: Down Raw Message, Devid: 0, Payload Length: 6

网页端日志调试，看到如下日志：

查看数据转换详情：

3、总结

如果你的设备资源紧张，是否可以考虑使用hex数据与物联网平台通信呢？甚至当你的产品已经上线发售后，你做了costdown之后，将设备从json格式改成hex格式，只需通过设置一个格式转换脚本就可以保持云端逻辑兼容。

4、开发者技术支持

如需更多技术支持，可加入钉钉开发者群，或者关注微信公众号

更多技术与解决方案介绍，请访问阿里云AIoT首页https://iot.aliyun.com/