伪异步I/O网络编程模型

为了解决同步阻塞I/O面临的一个链路需要一个线程处理的问题，后来有人对它的线程模型进行了优化—后端通过一个线程池来处理多个客户端等请求接入，形成客户端个数M；线程池最大线程数N的比例关系，其中M可以远远大于N。通过线程池可以灵活地调配线程资源，设置线程的最大值，防止由于海量并发接入导致线程耗尽。采用线程池和任务队列可以实现一种叫做伪异步的I/O通信框架，它的模型图如图示。

当有新的客户端接入时，将客户端的Socket封装成一个Task（该任务实现java.lang.Runnable接口）投递到后端的线程池中进行处理，JDK的线程池维护一个消息队列和N个活跃线程，对消息队列中的任务进行处理。由于线程池可以设置消息队列的大小和最大线程数，因此，它的资源占用是可控的，无论多少个客户端并发访问，都不会导致资源的耗尽和宕机，相比于传统的一连接一线程模型，是一种改良。接下来展示该模型下的模型客户端和服务器端的实现。

（1）服务器端

package cn.edu.hust.app.pio;

import java.io.IOException;
import java.net.ServerSocket;
import java.net.Socket;

/**
 * 
 * @author chenqiang
 * 服务器端
 */
public class TimeServer {

	public static void main(String[] args) {
		int port = 8080;
		if (args != null && args.length > 0) {
			try {
				port = Integer.valueOf(args[0]);
			}catch (Exception e) {
				// TODO: handle exception
			}
		}
		
		ServerSocket server = null;
		try {
			server = new ServerSocket(port);
			System.out.println("Th time server is starting in port: " + port);
			Socket socket = null;
			TimeServerHandlerExecutePool singleExecutor = new TimeServerHandlerExecutePool(50, 10000); //线程池创建
			while (true) {
				socket = server.accept();
				singleExecutor.execute(new TimeServerHandle(socket)); //由线程池来执行服务线程
			}
		} catch (IOException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		} finally {
			if (server != null) {
				System.out.println("The time server close");
				try {
					server.close();
				} catch (IOException e) {
					// TODO Auto-generated catch block
					e.printStackTrace();
				}
				server = null;
			}
		}
	}
}

package cn.edu.hust.app.pio;

import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.io.PrintWriter;
import java.net.Socket;
import java.util.Date;

/**
 * 
 * @author chenqiang
 * 服务线程
 */
public class TimeServerHandle implements Runnable{

	private Socket socket;
	
	
	
	public TimeServerHandle(Socket socket) {
		super();
		this.socket = socket;
	}

	@Override
	public void run() {
		// TODO Auto-generated method stub
		BufferedReader in = null;
		PrintWriter out = null;
		try {
			in = new BufferedReader(new InputStreamReader(this.socket.getInputStream()));
			out = new PrintWriter(this.socket.getOutputStream(), true);
			String currentTime = null;
			String body = null;
			while (true) {
				body = in.readLine();
				if (body == null) {
					break;
				}
				System.out.println("The time server receive order: " + body);
				currentTime = "QUERY TIME ORDER".equalsIgnoreCase(body) ? new Date(System.currentTimeMillis()).toString() : "BAD ORDER";
				out.println(currentTime);
			}
		}catch (Exception e) {
			// TODO: handle exception
			if (in != null) {
				try {
					in.close();
				}catch (Exception e1) {
					// TODO: handle exception
					e.printStackTrace();
				}
			}
			
			if (out != null) {
				out.close();
				out = null;
			}
			
			if(this.socket != null) {
				try {
					this.socket.close();
				}catch (Exception e2) {
					// TODO: handle exception
					e.printStackTrace();
				}
				this.socket = null;
			}
		}
		
	}

}

package cn.edu.hust.app.pio;

import java.util.concurrent.ArrayBlockingQueue;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.ThreadPoolExecutor;
import java.util.concurrent.TimeUnit;

/**
 * 
 * @author chenqiang
 * 线程池
 */
public class TimeServerHandlerExecutePool {

	private ExecutorService executor;

	public TimeServerHandlerExecutePool(int maxPoolSize, int queueSize) {
		executor = new ThreadPoolExecutor(Runtime.getRuntime().availableProcessors(), maxPoolSize, 120L, 
				TimeUnit.SECONDS, new ArrayBlockingQueue<Runnable>(queueSize));
	}
	
	public void execute(Runnable task) {
		executor.execute(task);
	}
	
}

（2）客户端

package cn.edu.hust.app.pio;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.PrintWriter;
import java.net.Socket;

/**
 * 
 * @author chenqiang
 *
 */
public class TimeClient {

	public static void main(String[] args) {
		int port = 8080;
		if(args != null && args.length > 0) {
			try {
				port = Integer.valueOf(args[0]);
			}catch (Exception e) {
				// TODO: handle exception
			}
		}
		
		Socket socket = null;
		BufferedReader in = null;
		PrintWriter out = null;
		
		try {
			socket = new Socket("127.0.0.1", port);
			in = new BufferedReader(new InputStreamReader(socket.getInputStream()));
			out = new PrintWriter(socket.getOutputStream(), true);
			out.println("QUERY TIME ORDER");
			System.out.println("Send order 2 server succeed.");
			String resp = in.readLine();
			System.out.println("Now is: " + resp);
		}catch (Exception e) {
			// TODO: handle exception
		}finally {
			if (out != null) {
				out.close();
				out = null;
			}
			
			if (in != null) {
				try {
					in.close();
				} catch (IOException e) {
					// TODO Auto-generated catch block
					e.printStackTrace();
				}
			}
			in = null;
			
			if (socket != null) {
				try {
					socket.close();
				} catch (IOException e) {
					// TODO Auto-generated catch block
					e.printStackTrace();
				}
			}
			socket = null;
		}
	}
}

伪异步I/O通信框架采用了线程池实现，因此避免了为每个请求创建一个独立线程造成的线程资源耗尽问题。但是由于它底层的通信依然采用同步阻塞模型，因此无法从根本上解决问题。

伪异步I/O的问题根源是读写操作均为同步阻塞的，这样一来阻塞的时间取决于双方I/O线程的处理速度和网络I/O的传输速度。本质上，我们无法保证生产环节的网络状况和对端的应用程序能足够快，如果我们的应用程序依赖对方的处理速度，它的可靠性就非常差。

伪异步I/O实际上仅仅是对之前I/O线程模型的一个简单优化，它无法从根本上解决同步I/O导致的通信线程阻塞问题。下面就简单分析下通信双方返回应答时间过长会引起的级联故障：

（1）服务端处理缓慢，返回应答消息耗费60s，平时只需要10ms

（2）采用伪异步I/O的线程正在读取故障服务节点的响应，由于读取输入流是阻塞的，它将会被同步阻塞60s

（3）假如所有的可用线程都被故障服务器阻塞，那后续所有的I/O消息都将在队列中排队

（4）由于线程池采用阻塞队列实现，当队列积满之后，后续入队的操作将被阻塞

（5）由于前端只有一个Acceptor线程接收客户端接入，它被阻塞在线程池的同步阻塞队列之后，新的客户端请求消息将被拒绝，客户端会发生大量的连接超时

（6）由于几乎所有的连接都超时，调用者会认为系统已经崩溃，无法接受新的请求消息

伪异步I/O网络编程模型

猜你喜欢