用proxmox做服务器虚拟化已经很长一段时间了，不过全玩的是单服务器，最多也就弄三台整个集群，因为没有共享存储，无法实现高可用（雇主舍不得投入，还欠俺很多工钱呢）。近期给人出了一个方案，计划用proxmox高可用的方案，虚拟出n多虚拟机，然后把业务系统部署上去。方案讨论了很多次，发现共享存储的方式，费钱又费磁盘。考虑性能的话，得用15000转的sas盘，但这种规格sas盘的容量最大是600G，而且单盘价格很高。用容量的sata盘吧，解决了容量问题，但性能又会成为瓶颈。回来对方说，有人用ceph做存储，挂接之，再创建做服务器虚拟化。
以前做过分布式存储moosefs、hadoop dfs等，都有一个软肋，即存在控制节点（或者叫命名节点一类），控制节点是关键，一死全死。最近查看moosefs官网，新版的商业版本，整出两个master来，死掉一个，其他节点选举剩下的那个节点做master。这样整出来，光存储就是好大一堆服务器了。当然，有钱的可以买商业存储，解决性能和可用性问题。既然有人推荐，那就去了解一下ceph，嘿嘿，是去中心化的架构，这一点有优势了。
虽然有人用ceph做存储，但与服务器虚拟化是单独使用，我的意图是能不能整合到proxmox里？官网一看，好家伙，proxmox5.x 集成了ceph啊，天意！
本来就有很长时间的proxmox使用和维护经验，花点时间看看官网英文文档，大概就明白怎么一个情况。弄台式机来虚拟三个节点的proxmox，谁知配置不行，卡的要死无法往下进行测试。正好北京有人要做虚拟化，让我过去做个咨询，哈哈，有了物理机，测试有着落了。
建议的方案是，用四台物理服务器，配置完全相同，划分两个网段，一个是网段用于存储，另一个用于虚拟机等。存储分配上，ssd安装proxmox，大概200G的ssd。剩下的盘位，插3块以上的10000转的sas大容量盘（单盘1.2T-1.8T）。我只在电话里大致说了一下建议，等我到现场的时候，他们已经配置得差不多了。在ha那步卡住了，我给点拨了一下，暴力关机，运行其上的虚拟机状态显示正常，本打算用手工方式迁移到其他节点，没想到片刻自动漂移了，大喜过望！
看到管理界面有那个spice协议，实验了一把。关闭某个虚拟机，编辑其硬件属性，显示器一项改成spice，然后启动此虚拟机，真的可以呢！
遗憾的是，只能通过浏览器，点控制台下拉菜单spice才可以。
而我希望用virt-viewer客户端访问，这样如果能成功，就可以采购云终端盒子进行连接。把服务器虚拟化与桌面虚拟化集成在一个proxmox上边，远胜于其它商业解决方案。
查看宿主服务器的进程及网络，只发现spice代理进程spiceproxy。
监听tcp 3128端口，试着telnet 该端口，可以连接。如果虚拟机显示器选定了spice，启动后，附带启动一个61000端口的服务，进程名为kvm。再启动一个选择spice显示的虚拟机，宿主机就再起一个tcp 60001的端口。监听地址是127.0.0.1，进程名还是那个kvm。由此可以判断，以浏览器操作管理界面的下拉菜单spice，代理程序把这个请求传递给127.0.0.1:61000端口,于是可以弹出窗口。