EMQX webhook 实现转发mqtt消息数据到web服务器，服务器保存数据到mysql数据库
前言： 之前写过一篇关于EMQX数据持久化到MySQL数据库，但由于这个功能需要EMQX
企业版才能实现，而企业版的费用对于我这种学生党而言实在难以负担。于是，我在EMQX官方发现另一种方法也可以实现保存数据。官网对于webhook的示例
预备知识：
http协议与格式
web服务器：web项目基本结构
java
tomcat的安装：window系统安装tomcat，linux系统安装tomcat
开发环境：eclipse官网下载
思路：设备的数据上传到emqx服务器，我们需要一个web服务器来接收EMQX服务器post过来数据，然后再将数据保存到数据库。
文章结构如下：
- 搭建简易的web服务器
- 部署web服务器到主机上运行
- 在EMQX控制台中配置规则引擎，筛选出特定数据通过web hook方式发给web服务器
首先再你的主机安装tomcat和java jdk，这是搭建web服务器必须的环境。
具体的安装方法网上很多，找到适合自己的。这里只介绍搭建web服务器。
已经搭建好环境的同学请跳过此步骤
假设你已经完成以上的环境部署，还需要安装eclipse，再安装程序中选择安装eclipse ee，这是专门为web开发而设计的开发软件。
打开你的eclipse，新建工程，选择Dynamic Web Project
给项目取个名称，target runtime选择你主机安装的tomcat的版本，如果你是在云主机安装tomcat，建议在本地电脑也安装同一版本的tomcat，方便调试
接下来就一路next，最后这个页面记得勾选generate 。。。。。
web.xml是配置web服务器的文件，java resources是放java文件的
在这个lib文件夹下添加需要用到的库文件，然后把库文件真正导入项目
库文件百度网盘
链接：https://pan.baidu.com/s/1mK4Yyp6_DqBjxiW-pr0BhA
提取码：l3rh
mysql-connector-java-5.1.28.jar:
链接：https://pan.baidu.com/s/1XPcJdrnDlmyXkKP5psF95Q
提取码：nq3d
右击项目，选择properties，选择java build path ，点击add jars 找到你的项目lib里的库文件，全部添加进去，最后apply and close，导入库文件完成！
接下来编写一个Java class，myhttpservlet，它继承自HttpServlet ，先贴代码，具体逻辑看代码注释
HttpServlet 是一个实现http协议的最重要的java类
可以参考这篇博客httpservlet详解
package myweb;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.PrintWriter;
import java.io.Reader;
import java.io.StringWriter;
import java.io.Writer;
import javax.servlet.ServletException;
import javax.servlet.ServletRequest;
import javax.servlet.ServletResponse;
import javax.servlet.http.HttpServlet;
import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;
import org.apache.tomcat.util.http.fileupload.IOUtils;
import com.mysql.jdbc.StringUtils;
import com.oracle.webservices.internal.api.message.ContentType;
import com.sun.xml.internal.bind.CycleRecoverable.Context;
import com.sun.xml.internal.ws.wsdl.writer.document.Service;
import net.sf.json.JSONArray;
import net.sf.json.JSONObject;
public class FirstServlet extends HttpServlet {
//用来读取post过来的json的缓存区的数据长度
private static final int BUFFER_SIZE = 1024 * 8;
//一些emqx post过来的数据
private String app_id,device_id,remark,time,state,type;
/**
* 不知道是什么，反正是必须的
*/
private static final long serialVersionUID = 1L;
//用来处理get消息
@Override
protected void doGet(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {
//doPost(request,response);
//get请求用来获取数据库的数据
}
//用来处理post消息
@Override
protected void doPost(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {
//获取post过来的输入流
InputStream in=request.getInputStream();
//创建一个缓存读取器来暂时存贮输入流里的数据
BufferedReader reader = new BufferedReader(new InputStreamReader(in));
//body是json字符串，要解析字符串，拿到对应的值插入数据库
//读取缓存读取器里的body数据并转为字符串格式，这里的body数据为json字符串格式
String body = read(reader);
//从json字符串里获取json对象
JSONObject J=JSONObject.fromObject(body);
//通过键值对的形式，获取json里的值并赋值给变量
app_id= J.getString("app_id");
device_id=J.getString("device_id");
time=J.getString("mytime");
state=J.getString("state");
type=J.getString("device_type");
remark=J.getString("remark");
//把变量的值保存到数据库
DBUutil.update(app_id,device_id,remark,time,state,type);
}
public static String read(Reader reader) throws IOException
{
StringWriter writer = new StringWriter();
try
{
write(reader, writer);
return writer.getBuffer().toString();
}
finally{ writer.close(); }
}
public static long write(Reader reader, Writer writer) throws IOException
{
return write(reader, writer, BUFFER_SIZE);
}
//把缓存器的json数据写入缓存区
public static long write(Reader reader, Writer writer, int bufferSize) throws IOException
{
int read;
long total = 0;
char[] buf = new char[BUFFER_SIZE];
while( ( read = reader.read(buf) ) != -1 )
{
writer.write(buf, 0, read);
total += read;
}
return total;
}
}
再新建一个java class，叫dbutil，这个类的作用是对数据库进行操作，这里只写了对数据库进行插入数据的操作，其他操作如更新，删除，查询都可实现
package myweb;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.util.ArrayList;
import java.util.Iterator;
import java.util.List;
import com.mysql.jdbc.Connection;
import com.mysql.jdbc.log.Log;
public class DBUutil {
static List<ESP8266> ESPlist=new ArrayList<>();//����豸������
private static ESP8266 Device=new ESP8266();//��ʼ������
private static String driver = "com.mysql.jdbc.Driver";// MySql驱动
private static String user = "app";// MySQL的用户名和密码
private static String password = "123456";
//连接数据库的方法
private static Connection getConn(String dbName){
Connection connection;
connection = null;
try{
Class.forName(driver);//加载驱动，需要驱动才能对数据库进行操作
String ip = "118.31.20.121";//数据库的ip地址ַ
//连接数据库，驱动+ip地址+端口号+用户名+密码，端口号默认是3306
connection = (Connection) DriverManager.getConnection("jdbc:mysql://" + ip + ":3306/" + dbName,
user, password);
}catch (Exception e){
e.printStackTrace();
}
//返回一个connection对象
return connection;
}
//这个是添加设备到数据库，不用看
public static void bind_id(String app_id,String device_id){
Connection connection=getConn("MQTTDATA");
String sql="INSERT INTO user_bind_devices (app_id,device_id) VALUES (?,?)";
if (connection!=null){
try {
PreparedStatement ps=connection.prepareStatement(sql);
if (ps!=null){
ps.setString(1,app_id);
ps.setString(2,device_id);
//执行语句,注意！！！如果你的SQL 语句是诸如update,insert的更新语句，应该用statement的execute()方法
// select用的是statement的executeQuery()
ps.execute();
connection.close();
ps.close();
}
} catch (SQLException e) {
e.printStackTrace();
}
}
}
//这个是把数据保存到MQTTDATA库的 current表格
//我需要插入app_id，device_id。。。。。。
public static void update(String app_id,String device_id,String remark,String time,String state,String device_type) {
//先跟MySQL数据库里的MQTTDATA库建立连接
Connection connection=getConn("MQTTDATA");
//定义一个语句，这个语句的功能是对current表格的app_id,device_id,remark,mytime,state,device_type列分别插入我们的参数的值
//这里的？可以看成一个傀儡，用ps.setString()方法可以将？替换成我们的参数的值
String sql="INSERT INTO current (app_id,device_id,remark,mytime,state,device_type) VALUES (?,?,?,?,?,?)";
if (connection!=null) {
try {
//准备我们的mysql操作语句
PreparedStatement ps=connection.prepareStatement(sql);
//把第一个？替换成参数里的app_id,第二个？替换成device_id........
if(ps!=null) {
ps.setString(1, app_id);
ps.setString(2, device_id);
ps.setString(3, remark);
ps.setString(4, time);
ps.setString(5, state);
ps.setString(6, device_type);
ps.execute();
connection.close();
ps.close();
}
} catch (SQLException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}
}
前面说了web.xml是web服务器的配置文件，这里我们需要在web.xml里对myhttpservlet进行配置
在web.xml添加内容如下。这里需要注意一下，app，名称可以随便取，主要是为了程序员方便查找。
myweb.myhttpservlet前面是你的项目名称 .后面是我们刚刚写的myhttpservlet类。
是把名称为app的httpservlet类映射到url的一个路径，/first的意思就是当你在浏览器输入: http://你的web服务器ip地址:端口号/first 就会执行myhttpservlet类里的内容。
<?xml version="1.0" encoding="UTF-8"?>
<web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://xmlns.jcp.org/xml/ns/javaee" xsi:schemaLocation="http://xmlns.jcp.org/xml/ns/javaee http://xmlns.jcp.org/xml/ns/javaee/web-app_3_1.xsd" id="WebApp_ID" version="3.1">
<display-name>myweb1</display-name>
<welcome-file-list>
<welcome-file>index.html</welcome-file>
<welcome-file>index.htm</welcome-file>
<welcome-file>index.jsp</welcome-file>
<welcome-file>default.html</welcome-file>
<welcome-file>default.htm</welcome-file>
<welcome-file>default.jsp</welcome-file>
</welcome-file-list>
<servlet>
<servlet-name>app</servlet-name>
<servlet-class>myweb.myhttpservlet</servlet-class>
</servlet>
<servlet-mapping>
<servlet-name>app</servlet-name>
<url-pattern>/first</url-pattern>
</servlet-mapping>
</web-app>
至此，我们一个简陋的web服务器差不多搭建好了，这时候我们就需要把web程序部署到主机的tomcat上。
本地部署：右击项目，选择export 》war file browse保存到你想保存的位置，系统会生成一个.war文件，我们把这个文件放进 apache-tomcat-8.5.45(你的tomcat文件夹)下的webapps文件夹下。
远程云主机部署：用xftp将war文件放入同样的路径下，然后重新启动tomcat。
这样，tomcat在运行时会自动解压war文件生成web程序并开始执行
web服务器部分到此完成了，接下来就来配置EMQX服务器，让服务器发送我们要保存的数据给web服务器
登录emqx远程控制台，在规则引擎新建规则，规则引擎会对符合条件的mqtt消息进行处理，具体的处理操作由我们去定义
这句语句的意思是选出发送到主题为csdn 的mqtt消息（我们需要将mqtt消息格式设置为json格式）的内容里的remark，app_id等键对应的值，把这些值分别赋值给变量remark，app_id等，后面我们用post的方法把数据发送给web服务器时，数据的格式也是json格式{“remark”:“杀手”,“app_id”:“37264726374”}
我们还可以进行测试，测试输出的json数据是不是我们需要的内容
接下来是添加动作，就是具体的把数据发送到web服务器的操作，如果mqtt消息符合规则的条件，就会触发动作。点击添加，动作选择发送数据到web服务，点击新建资源，类型选择webhook，请求方法是post，
请求url 就是你的web服务器ip，端口号（tomcat默认端口为8888，这里我改成8090），加上前面我们web.xml里设置的/first
post消息就会触发调用myhttpservlet类里的dopost方法。
测试连接可用后，点击新建，最后完成规则的创建
最后，我们需要进行测试，进入websocket，连接，发布消息到指定主题
然后到你的数据库查看是否存贮到数据。
有疑问的同学可以留言评论。
