一、OSI模型
二、网络通信要素
2.1、IP地址
2.2、端口号
2.3、传输协议
三、socket编程
socket即是一种特殊的文件,一些socket函数就是对其进行的操作(读/写IO、打开、关闭)。
Socket 是任何一种计算机网络通讯中最基础的内容。例如当你在浏览器地址栏中输入 http://www.cnblogs.com/ 时,你会打开一个套接字,然后连接到 http://www.cnblogs.com/ 并读取响应的页面然后显示出来。而其他一些聊天客户端如 gtalk 和 skype 也是类似。任何网络通讯都是通过 Socket 来完成的。Python 官方关于 Socket 的函数请看 http://docs.python.org/library/socket.html
socket和file的区别:
1、file模块是针对某个指定文件进行【打开】【读写】【关闭】
2、socket模块是针对 服务器端 和 客户端Socket 进行【打开】【读写】【关闭】
Python 提供了两个基本的 socket 模块。
第一个是 Socket,它提供了标准的 BSD Sockets API。
第二个是 SocketServer, 它提供了服务器中心类,可以简化网络服务器的开发。
3.1、Socket 类型
套接字格式:
socket(family,type[,protocal]) 使用给定的地址族、套接字类型、协议编号(默认为0)来创建套接字。
socket类型 |
描述 |
socket.AF_UNIX |
只能够用于单一的Unix系统进程间通信 |
socket.AF_INET |
服务器之间网络通信 |
socket.AF_INET6 |
IPv6 |
socket.SOCK_STREAM |
流式socket , for TCP |
socket.SOCK_DGRAM |
数据报式socket , for UDP |
socket.SOCK_RAW |
原始套接字,普通的套接字无法处理ICMP、IGMP等网络报文,而SOCK_RAW可以;其次,SOCK_RAW也可以处理特殊的IPv4报文;此外,利用原始套接字,可以通过IP_HDRINCL套接字选项由用户构造IP头。 |
socket.SOCK_SEQPACKET |
可靠的连续数据包服务 |
创建TCP Socket: |
|
创建UDP Socket: |
s=socket.socket(socket.AF_INET,socket.SOCK_DGRAM) |
3.2、Socket 函数
注意点:
1)TCP发送数据时,已建立好TCP连接,所以不需要指定地址。UDP是面向无连接的,每次发送要指定是发给谁。
2)服务端与客户端不能直接发送列表,元组,字典。需要字符串化repr(data)。
socket函数 |
描述 |
|
服务端socket函数 |
||
s.bind(address) |
将套接字绑定到地址, 在AF_INET下,以元组(host,port)的形式表示地址. |
|
s.listen(backlog) |
开始监听TCP传入连接。backlog指定在拒绝连接之前,操作系统可以挂起的最大连接数量。该值至少为1,大部分应用程序设为5就可以了。 |
|
s.accept() |
接受TCP连接并返回(conn,address),其中conn是新的套接字对象,可以用来接收和发送数据。address是连接客户端的地址。 |
|
客户端socket函数 |
||
s.connect(address) |
连接到address处的套接字。一般address的格式为元组(hostname,port),如果连接出错,返回socket.error错误。 |
|
s.connect_ex(adddress) |
功能与connect(address)相同,但是成功返回0,失败返回errno的值。 |
|
公共socket函数 |
||
s.recv(bufsize[,flag]) |
接受TCP套接字的数据。数据以字符串形式返回,bufsize指定要接收的最大数据量。flag提供有关消息的其他信息,通常可以忽略。 |
|
s.send(string[,flag]) |
发送TCP数据。将string中的数据发送到连接的套接字。返回值是要发送的字节数量,该数量可能小于string的字节大小。 |
|
s.sendall(string[,flag]) |
完整发送TCP数据。将string中的数据发送到连接的套接字,但在返回之前会尝试发送所有数据。成功返回None,失败则抛出异常。 |
|
s.recvfrom(bufsize[.flag]) |
接受UDP套接字的数据。与recv()类似,但返回值是(data,address)。其中data是包含接收数据的字符串,address是发送数据的套接字地址。 |
|
s.sendto(string[,flag],address) |
发送UDP数据。将数据发送到套接字,address是形式为(ipaddr,port)的元组,指定远程地址。返回值是发送的字节数。 |
|
s.close() |
关闭套接字。 |
|
s.getpeername() |
返回连接套接字的远程地址。返回值通常是元组(ipaddr,port)。 |
|
s.getsockname() |
返回套接字自己的地址。通常是一个元组(ipaddr,port) |
|
s.setsockopt(level,optname,value) |
设置给定套接字选项的值。 |
|
s.getsockopt(level,optname[.buflen]) |
返回套接字选项的值。 |
|
s.settimeout(timeout) |
设置套接字操作的超时期,timeout是一个浮点数,单位是秒。值为None表示没有超时期。一般,超时期应该在刚创建套接字时设置,因为它们可能用于连接的操作(如connect()) |
|
s.gettimeout() |
返回当前超时期的值,单位是秒,如果没有设置超时期,则返回None。 |
|
s.fileno() |
返回套接字的文件描述符。 |
|
s.setblocking(flag) |
如果flag为0,则将套接字设为非阻塞模式,否则将套接字设为阻塞模式(默认值)。非阻塞模式下,如果调用recv()没有发现任何数据,或send()调用无法立即发送数据,那么将引起socket.error异常。 |
|
s.makefile() |
创建一个与该套接字相关连的文件 |
四、socket编程思路
TCP服务端:
1 创建套接字,绑定套接字到本地IP与端口
# socket.socket(socket.AF_INET,socket.SOCK_STREAM) , s.bind()
2 开始监听连接 #s.listen()
3 进入循环,不断接受客户端的连接请求 #s.accept()
4 然后接收传来的数据,并发送给对方数据 #s.recv() , s.sendall()
5 传输完毕后,关闭套接字 #s.close()
TCP客户端:
1 创建套接字,连接远端地址
# socket.socket(socket.AF_INET,socket.SOCK_STREAM) , s.connect()
2 连接后发送数据和接收数据 # s.sendall(), s.recv()
3 传输完毕后,关闭套接字 #s.close()
故事1:一次会话
######服务端##########
import socket
address = ('127.0.0.1', 8000)
sk = socket.socket()
sk.bind(address)
sk.listen(3)
print('server waiting...')
conn, addr = sk.accept()
client_data = conn.recv(1024)
print(str(client_data, "utf8"))
inp = input('>>>')
conn.send(bytes(inp, 'utf8'))
sk.close()
#######客户端##############
import socket
sk = socket.socket()
print(sk)
address = ('127.0.0.1', 8000)
sk.connect(address)
inp = input('>>>')
sk.send(bytes(inp, 'utf8'))
data = sk.recv(1024)
print(str(data, 'utf8'))
sk.close()
故事2:持久会话
##############服务端##############
import socket
address = ('127.0.0.1', 8000)
sk = socket.socket()
sk.bind(address)
sk.listen(3)
print('server waiting...')
conn, addr = sk.accept()
while 1:
client_data = conn.recv(1024)
print(str(client_data, "utf8"))
inp = input('>>>')
conn.send(bytes(inp, 'utf8'))
sk.close()
#############客户端##############
import socket
sk = socket.socket()
print(sk)
address = ('127.0.0.1', 8000)
sk.connect(address)
while True:
inp = input('>>>')
sk.send(bytes(inp, 'utf8'))
data = sk.recv(1024)
print(str(data, 'utf8'))
sk.close()
故事3:持久会话,然后再结束
##############服务端##############
import socket
address = ('127.0.0.1', 8000)
sk = socket.socket()
sk.bind(address)
sk.listen(3)
print('server waiting...')
conn, addr = sk.accept()
while 1:
client_data = conn.recv(1024)
if not client_data: break
print('.........', str(client_data, "utf8"))
inp = input('>>>')
conn.send(bytes(inp, 'utf8'))
sk.close()
import socket
sk = socket.socket()
print(sk)
address = ('127.0.0.1', 8000)
sk.connect(address)
while True:
inp = input('>>>')
if inp == 'exit':
break
sk.send(bytes(inp, 'utf8'))
data = sk.recv(1024)
print(str(data, 'utf8'))
sk.close()
故事4:持久会话,然后再结束,客户端只发空,然后会出现什么情况
##############服务端##############
import socket
address = ('127.0.0.1', 8000)
sk = socket.socket()
sk.bind(address)
sk.listen(3)
print('server waiting...')
conn, addr = sk.accept()
while 1:
client_data = conn.recv(1024)
if not client_data: break
print('.........', str(client_data, "utf8"))
inp = input('>>>')
conn.send(bytes(inp, 'utf8'))
sk.close()
import socket
sk = socket.socket()
print(sk)
address = ('127.0.0.1', 8000)
sk.connect(address)
while True:
inp = input('>>>')
if inp == 'exit':
break
sk.send(bytes(inp, 'utf8'))
data = sk.recv(1024)
print(str(data, 'utf8'))
sk.close()
这样如果客户端发的数据就是空数据的话岂不是也意外退出,那不就bug啦?
其实不用担心,如果客户端send了一个空数据后客户端继续向下执行,而server端的recv方法会继续阻塞,直到接收到一个非空数据才会继续向下执行。
故事5:持久会话,然后再结束,服务多个客户端
##############服务端##############
import socket
address = ('127.0.0.1', 8000)
sk = socket.socket()
sk.bind(address)
sk.listen(3)
print('server waiting...')
while 1:
conn, addr = sk.accept()
while 1:
client_data = conn.recv(1024)
print('.........', str(client_data, "utf8"))
if not client_data:break
inp = input('>>>')
conn.send(bytes(inp, 'utf8'))
sk.close()
#############客户端##############
import socket
sk = socket.socket()
print(sk)
address = ('127.0.0.1', 8000)
sk.connect(address)
while True:
inp = input('>>>')
if inp == 'exit':
break
sk.send(bytes(inp, 'utf8'))
data = sk.recv(1024)
print(str(data, 'utf8'))
sk.close()
另外一种方法:
##############服务端##############
import socket
address = ('127.0.0.1', 8000)
sk = socket.socket()
sk.bind(address)
sk.listen(3)
print('server waiting...')
conn, addr = sk.accept()
while 1:
client_data = conn.recv(1024)
print('.........', str(client_data, "utf8"))
if not client_data:
conn,addr = sk.accept()
continue
inp = input('>>>')
conn.send(bytes(inp, 'utf8'))
sk.close()
#############客户端##############
import socket
sk = socket.socket()
print(sk)
address = ('127.0.0.1', 8000)
sk.connect(address)
while True:
inp = input('>>>')
if inp == 'exit':
break
sk.send(bytes(inp, 'utf8'))
data = sk.recv(1024)
print(str(data, 'utf8'))
sk.close()
故事6:持久会话,然后再结束,服务多个客户端,如果按住红色stop_button按钮的退出处理
##############服务端##############
import socket
address = ('127.0.0.1', 8000)
sk = socket.socket()
sk.bind(address)
sk.listen(3)
print('server waiting...')
while 1:
conn, addr = sk.accept()
print(addr)
while 1:
try:
client_data = conn.recv(1024)
except Exception:
break
print('.........', str(client_data, "utf8"))
if not client_data:break
inp = input('>>>')
conn.send(bytes(inp, 'utf8'))
sk.close()
#############客户端##############
import socket
sk = socket.socket()
print(sk)
address = ('127.0.0.1', 8000)
sk.connect(address)
while True:
inp = input('>>>')
if inp == 'exit':
break
sk.send(bytes(inp, 'utf8'))
data = sk.recv(1024)
print(str(data, 'utf8'))
sk.close()
五、远程执行
#############客户端##############
import socket
sk = socket.socket()
print(sk)
address = ('127.0.0.1', 8000)
sk.connect(address)
while True:
inp = input('>>>')
if inp == 'exit':
break
sk.send(bytes(inp, 'utf8'))
result_len = int(str(sk.recv(1024)), 'utf8')
print(result_len)
data = bytes()
while len(data) != result_len:
recv = sk.recv(1024)
data += recv
print(str(data, 'gbk'))
sk.close()
##############服务端##############
import subprocess
# subprocess.Popen()
import socket
address = ('127.0.0.1', 8000)
sk = socket.socket()
sk.bind(address)
sk.listen(3)
print('server waiting...')
while 1:
conn, addr = sk.accept()
print(addr)
while 1:
try:
client_data = conn.recv(1024)
except Exception:
break
print('.........', str(client_data, "utf8"))
if not client_data:break
obj = subprocess.Popen(str(client_data,'utf8'), shell=True, stdout=subprocess.PIPE)
cmd_result = obj.stdout.read()
result_len = bytes(str(len(cmd_result)), 'utf8')
print('>>>>>>>', result_len)
conn.sendall(result_len)
conn.sendall(cmd_result)
sk.close()
conclusion:
sendall会把数据直接全部发送到客户端,客户端将所有的数据都放到缓冲区,每次recv多少字节取决于recv内的参数,理论不应该超过8k。
所以,并不能一次recv()无限大数据,所以这里我们应该通过循环去接收。
六、解决大数据传送和粘包问题
##############服务端##############
import subprocess
# subprocess.Popen()
import socket
address = ('127.0.0.1', 8000)
sk = socket.socket()
sk.bind(address)
sk.listen(3)
print('server waiting...')
while 1:
conn, addr = sk.accept()
print(addr)
while 1:
try:
client_data = conn.recv(1024)
except Exception:
break
print('.........', str(client_data, "utf8"))
if not client_data:break
obj = subprocess.Popen(str(client_data, 'utf8'), shell=True, stdout=subprocess.PIPE)
cmd_result = obj.stdout.read()
result_len = bytes(str(len(cmd_result)), 'utf8')
print('>>>>>>>', result_len)
conn.sendall(result_len) #粘包现象
conn.recv(1024)#解决粘包
# import time
# time.sleep(1)
conn.sendall(cmd_result)
sk.close()
#############客户端##############
import socket
sk = socket.socket()
print(sk)
address = ('127.0.0.1', 8000)
sk.connect(address)
while True:
inp = input('>>>')
if inp == 'exit':
break
sk.send(bytes(inp, 'utf8'))
result_len = int(str(sk.recv(1024)), 'utf8')
sk.sendall('111')
print(result_len)
data = bytes()
while len(data) != result_len:
recv = sk.recv(1024)
data += recv
print(str(data, 'gbk'))
sk.close()
七、文件传送
post_serve
import subprocess
import os
# subprocess.Popen()
import socket
address = ('127.0.0.1', 8000)
sk = socket.socket()
sk.bind(address)
sk.listen(3)
print('server waiting...')
BASE_DIR = os.path.dirname(os.path.abspath(__file__))
while 1:
conn, addr = sk.accept()
# print(addr)
while 1:
data = conn.recv(1024)
cmd, filename, filesize = str(data, 'utf8').split('|')
path = os.path.join(BASE_DIR, 'ma', filename)
filesize = int(filesize)
f = open(path, 'ab')
has_receive = 0
while has_receive != filesize:
data = conn.recv(1024)
f.write(data)
has_receive += len(data)
f.close()
post_client
import socket
import os
sk = socket.socket()
print(sk)
address = ('127.0.0.1', 8000)
sk.connect(address)
BASE_DIR = os.path.dirname(os.path.abspath(__file__))
while True:
inp = input('>>>').strip() # post\11.png
cmd,path = inp.split('|')
path = os.path.join(BASE_DIR, path)
filename = os.path.basename(path)
filesize = os.stat(path).st_size
file_info = 'post|%s|%s' % (filename, filesize)
sk.sendall(bytes(file_info, 'utf8'))
f = open(path, 'rb')
has_sent = 0
while has_sent != filesize:
data = f.read(1024)
sk.sendall(data)
has_sent += len(data)
f.close()
print('上传成功')
八、serve端实现并发聊天
简单例子
##############服务端##############
import socketserver
class MyServer(socketserver.BaseRequestHandler):
def handle(self):
print("服务端启动...")
while True:
conn = self.request
print(self.client_address)
while True:
client_data=conn.recv(1024)
print(str(client_data,"utf8"))
print("waiting...")
conn.sendall(client_data)
conn.close()
if __name__ == '__main__':
server = socketserver.ThreadingTCPServer(('127.0.0.1', 8091), MyServer)
server.serve_forever()
#############客户端##############
import socket
ip_port = ('127.0.0.1', 8091)
sk = socket.socket()
sk.connect(ip_port)
print("客户端启动:")
while True:
inp = input('>>>')
sk.sendall(bytes(inp,"utf8"))
if inp == 'exit':
break
server_response=sk.recv(1024)
print(str(server_response,"utf8"))
sk.close()
聊天并发实例
import socketserver
class MyServer(socketserver.BaseRequestHandler):
def handle(self):
print("服务端启动...")
while True:
conn = self.request
print(self.client_address)
while True:
client_data=conn.recv(1024)
print(str(client_data,"utf8"))
print("waiting...")
server_response=input(">>>")
conn.sendall(bytes(server_response,"utf8"))
# conn.sendall(client_data)
conn.close()
# print self.request,self.client_address,self.server
if __name__ == '__main__':
server = socketserver.ThreadingTCPServer(('127.0.0.1', 8098), MyServer)
server.serve_forever()
import socket
ip_port = ('127.0.0.1', 8098)
sk = socket.socket()
sk.connect(ip_port)
print ("客户端启动:")
while True:
inp = input('>>>')
sk.sendall(bytes(inp,"utf8"))
server_response=sk.recv(1024)
print (str(server_response,"utf8"))
if inp == 'exit':
break
sk.close()
九、socketserver模块
它包含了种五种server类,BaseServer(不直接对外服务)。TCPServer使用TCP协议,UDPServer使用UDP协议,还有两个不常使用的,即UnixStreamServer和UnixDatagramServer,这两个类仅仅在unix环境下有用(AF_unix)。
创建一个socketserver 至少分以下几步
- First, you must create a request handler class by subclassing the
BaseRequestHandler
class and overriding itshandle()
method; this method will process incoming requests. - Second, you must instantiate one of the server classes, passing it the server’s address and the request handler class.
- Then call the
handle_request()
orserve_forever()
method of the server object to process one or many requests. - Finally, call
server_close()
to close the socket.
让你的socketserver并发起来, 必须选择使用以下一个多并发的类
1 2 3 4 5 6 7 |
|