SKIL/工作流程/部署与生产

部署与生产

你的安装,部署模型和实验都是“一键式”的。使用SKIL的集群感知系统,模型可以通过整个集群或单个机器上的API进行部署和访问,具体取决于你的设置。
部署在SKIL中有一个特殊的空间,可以通过单击左侧导航中的“部署(Deployments)”来访问该空间。部署独立于工作间运行,以确保生产环境中没有意外中断或错误。

创建部署
导航到部署屏幕后,单击右角的“新建部署(New Deployment)”按钮。这将打开一个提示,可以在其中输入新部署组的名称。

你可能希望根据操作方式逻辑地分离部署。例如,你可能有多个产品团队使用相同的SKIL实例,或者正在使用一组与特定功能相关的模型。因此,你可以创建“部署A-产品推荐者”和“部署B-欺诈检测器”。

创建部署后,你将看到一个屏幕,允许你上传深入学习模型、KNN模型和数据转换。

向部署添加转换和模型有两个选项:

  • 用户界面文件上传
  • HTTP POST 请求到API

另外还有一个方便的工作间部署功能,将在下一节中介绍。

也可以从工作间进行部署

如果你已经从SKIL中的工作间训练并选择了一个模型,下一节将描述如何部署已经存储在SKIL中的模型。
直接从用户界面部署新模型或转换时,单击“导入(Import)”按钮。例如,当单击“导入”以获取深度学习模型时,将看到以下屏幕:

为模型命名并选择具有存储权重的本地文件。此外,如果你不确定文件类型或是否兼容,请阅读导入模型页面。


如果你的模型特别大,那么你需要提供一些JVM参数。JVM参数与Oracle Java或OpenJDK运行时中使用的典型的JVM参数相同。例如,如果要使用具有数百万参数的模型,如VGG-16,则需要提供参数-xmx15g。


如果你正在通过编程将模型部署到SKIL,可能是作为自定义管道的一部分,那么你将向/deployment/:deploymentid/model发出一个HTTP POST请求,其中请求的主体是你希望上传的模型文件。


如果你的SKIL节点是集群的一部分,并且你希望该模型在多个节点上可用,请将scale设置为等于并发节点数的值。

 

从工作间部署

假设你已经训练了你的模型,并进行了实验以确定最佳候选,那么你可以直接从特定工作区的“模型(Models)”选项卡部署。

你可以部署任何工作区间模型

无论你是否选择了最佳模型,部署选项都适用于你训练过的任何模型。
单击模型“详细信息(Details)”窗格右上角的“部署(Deploy)”按钮启动部署向导。向导将引导你完成为模型设置API端点的步骤,这些端点可由外部用户和服务使用。如果尚未创建部署,向导将帮助你设置部署。

完成后,你将被重定向到模型的部署屏幕,在那里你可以进行进一步的修改,包括REST端点的名称。
多节点集群
如果你计划使用集群中的SKIL,请确保你已成功设置了ZooKeeper,满足多服务器要求,并选择了适当的架构,如Docker集群。

猜你喜欢

转载自blog.csdn.net/bewithme/article/details/89326093