2020之最,最实用的Machine Learning工具有哪些

感谢参考原文-http://bjbsair.com/2020-04-01/tech-info/18228.html

全文共2754字,预计学习时长11分钟

2020之最:最实用的机器学习工具有哪些?

图源:unsplash

就如同制作米其林菜肴,拥有井井有条的厨房固然重要,但可选择的东西太多也着实让人烦恼,建立良好的机器学习(ML)应用程序也是如此。

当然啦,如果你有其他更好的选择,也欢迎在评论区告诉小芯。

常见问题

“如何构建优秀的机器学习应用程序?”

与数据科学家、正在寻求转型的专业人员以及团队经理沟通的过程中,这个问题以各种形式多次出现。

交付专业数据科学项目涉及很多方面,实际上它在厨房做饭很相似:有原料(数据)、食谱(设计)、烹饪过程(独到的方法)、最后是实际的厨房(工具)。

势不可挡的可能性

这是最好的时代。如果在谷歌中搜索“机器学习工具”或咨询顾问,可能会得到以下信息:

2020之最:最实用的机器学习工具有哪些?

2019数据&人工智能全景 | 图源:GIPHY

你能得到太多的工具,组合的可能性是无限的,这势不可挡,却也令人迷茫。你需要去缩小范围。但要注意的是,完美的安装依旧不存在,而这取决于用户的需求和限制条件。简而言之,最适合的才是最好的。

· 免费

· 工程大于研究

· 易于学习和安装

· 只要能完成工作就好

· 久经考验的(应用程度&工具成熟度)

· 在创业或大型企业被应用于大型或小型项目

2020之最:最实用的机器学习工具有哪些?

图源:unsplash

冰箱: 数据库

PostgreSQL

这是一个免费的开源关系数据库管理系统(RDBMS),拥有可扩展性和技术标准合规性。它旨在处理各种工作负载,包括单台机器、数据仓库或拥有多个并发用户的Web服务。

2020之最:最实用的机器学习工具有哪些?

图源:medium.com

备选方案: MySQL、SAS、IBM、DB2、Oracle、MongoDB、Cloudera、GCP、 AWS、Azure

厨房台面: 部署Pipeline工具

(https://towardsdatascience.com/build-full-stack-ml-12-hours-50c310fedd51)

2020之最:最实用的机器学习工具有哪些?

Pytest

架构使编写小型测试变得容易,但需扩展之后,才支持针对应用程序和库的复杂功能测试。它节省了手动测试的大量时间,如果每次更改代码都需要测试某些东西,Pytest的自动化将会帮助到你。

备选方案: Unittest

Github

它提供了Git的分布式版本控制和源代码管理(SCM)功能,当然还包括自带的功能。它为每个项目提供访问控制和多种协作功能,例如功能请求、错误跟踪、任务管理和wikis。

备选方案: BitBucket, GitLab,DVC

PyCharm 社区版

这是一个在计算机编程中使用的集成开发环境(IDE),专门用于Python语言。它是由捷克JetBrains公司开发的,提供代码分析、图形调试器、集成的单元测试器与版本控制系统(VCS)集成,并支持使用Django进行Web开发以及使用Anaconda进行数据科学研发。

备选方案: Atom, Sublime

Heroku (仅当用户需要网络托管时)

2020之最:最实用的机器学习工具有哪些?

图源:heroku.com

平台即服务(PaaS),使开发人员可以完全对应用程序进行云构建,云运行和云操作。与CircleCI和Github集成后也可以启用自动部署。

备选方案: Google App Engine, AWS Elastic Compute Cloud, others

Streamlit (仅在用户需要交互式UI时)

备选方案: Flask, Django, Tableau

CircleCi

CircleCI是一个持续集成和部署工具。当你将自己的项目提交到Github时,这一工具能使用远程docker创建一个自动化的测试工作流。任何未通过PyTest设置测试用例而提交的项目都会被Circle CI拒绝。这样可以确保代码质量,这点在于大团队合作时尤其重要。

备选方案: Travis CI, Jenkins,Github Action

the iPad: 探索工具

Streamlit (又见面了~)

别再留恋Jupyter Notebook了!

· 绞尽脑汁进行调试,但最终意识到自己忘记了从头开始运行代码;Streamlit可以解决这个问题。

· 总是需要等一会儿才能重新运行数据pipeline;Steamlit缓存可解决此问题。

· 不得不将代码从Jupyter重写或转换为可执行文件,还要在重新测试上花费时间;Streamlit提供了一个解决问题的快捷方式。

2020之最:最实用的机器学习工具有哪些?

IDE+ Streamlit的实时更新 | 图源:towardsdatascience

备选方案: Jupyter Notebook、Anaconda、Spyder from、Microsoft Excel (认真脸!)

刀子: 机器学习架构

你应该根据食物和切割方式选择合适的刀具,比如通用刀和专用刀。

当心!尽管寿司专用刀更加亮丽,但使用专用刀将寿司切成块状将花费很长时间。要选择正确的工具来完成工作。

Sklearn (常见的机器学习使用案例)

这是在Python中进行通用机器学习的首选框架,有它就足够了。

2020之最:最实用的机器学习工具有哪些?

图源:scikit-learn.org

备选方案: none、period.

Open AI Gym (强化学习使用案例)

这是一个开发和比较强化学习算法的工具包,它提供API和可视环境。许多社区都在争先为该领域构建工具,不过可用的完整安装包还不多。

备选方案:许多小型项目,但多数的维护工作都不如Gym。

PyTorch (深度学习使用案例)

这是一个基于Torch库的开源机器学习库。深度学习是此库重点,它主要用于计算机视觉和自然语言处理等应用。Torch主要由Facebook的人工智能研究实验室(FAIR)开发。最近,许多著名的人工智能研究机构,例如Open AI,都使用PyTorch作为其标准工具。

备选方案: Tensorflow、 Keras、Fast.ai

火炉: 实验管理

Atlas

这是一个免费工具,可让数据科学家使用一些摘要进行实验,将结果显示在基于Web的仪表板上。

2020之最:最实用的机器学习工具有哪些?

Atlas 程序 | 图源:atlas.dessa.com

备选方案: ML Flow、Weights & Biases、Data Robot、SageMaker、Comet、Domino

一项小调查:寻找合适工具时最困扰大家的是什么?快去评论区里讲讲你的看法吧~

另一种观点

没有完美的安装,一切都取决于你的需求和限制条件。下图展示了另一种想法,也是关于何种工具可用以及它们如何一起工作。

2020之最:最实用的机器学习工具有哪些?

谢尔盖·卡拉耶夫在2019年全栈深度学习中的演讲

迷你挑战

2020之最:最实用的机器学习工具有哪些?

图源:unsplash

想要了解这些工具,最好的方法是找一个项目开始操作。你可以将这些工具合并到当前项目中,也可以进行一个12小时机器学习挑战。

感谢参考原文-http://bjbsair.com/2020-04-01/tech-info/18228.html

全文共2754字,预计学习时长11分钟

2020之最:最实用的机器学习工具有哪些?

图源:unsplash

就如同制作米其林菜肴,拥有井井有条的厨房固然重要,但可选择的东西太多也着实让人烦恼,建立良好的机器学习(ML)应用程序也是如此。

当然啦,如果你有其他更好的选择,也欢迎在评论区告诉小芯。

常见问题

“如何构建优秀的机器学习应用程序?”

与数据科学家、正在寻求转型的专业人员以及团队经理沟通的过程中,这个问题以各种形式多次出现。

交付专业数据科学项目涉及很多方面,实际上它在厨房做饭很相似:有原料(数据)、食谱(设计)、烹饪过程(独到的方法)、最后是实际的厨房(工具)。

势不可挡的可能性

这是最好的时代。如果在谷歌中搜索“机器学习工具”或咨询顾问,可能会得到以下信息:

2020之最:最实用的机器学习工具有哪些?

2019数据&人工智能全景 | 图源:GIPHY

你能得到太多的工具,组合的可能性是无限的,这势不可挡,却也令人迷茫。你需要去缩小范围。但要注意的是,完美的安装依旧不存在,而这取决于用户的需求和限制条件。简而言之,最适合的才是最好的。

· 免费

· 工程大于研究

· 易于学习和安装

· 只要能完成工作就好

· 久经考验的(应用程度&工具成熟度)

· 在创业或大型企业被应用于大型或小型项目

2020之最:最实用的机器学习工具有哪些?

图源:unsplash

冰箱: 数据库

PostgreSQL

这是一个免费的开源关系数据库管理系统(RDBMS),拥有可扩展性和技术标准合规性。它旨在处理各种工作负载,包括单台机器、数据仓库或拥有多个并发用户的Web服务。

2020之最:最实用的机器学习工具有哪些?

图源:medium.com

备选方案: MySQL、SAS、IBM、DB2、Oracle、MongoDB、Cloudera、GCP、 AWS、Azure

厨房台面: 部署Pipeline工具

(https://towardsdatascience.com/build-full-stack-ml-12-hours-50c310fedd51)

2020之最:最实用的机器学习工具有哪些?

Pytest

架构使编写小型测试变得容易,但需扩展之后,才支持针对应用程序和库的复杂功能测试。它节省了手动测试的大量时间,如果每次更改代码都需要测试某些东西,Pytest的自动化将会帮助到你。

备选方案: Unittest

Github

它提供了Git的分布式版本控制和源代码管理(SCM)功能,当然还包括自带的功能。它为每个项目提供访问控制和多种协作功能,例如功能请求、错误跟踪、任务管理和wikis。

备选方案: BitBucket, GitLab,DVC

PyCharm 社区版

这是一个在计算机编程中使用的集成开发环境(IDE),专门用于Python语言。它是由捷克JetBrains公司开发的,提供代码分析、图形调试器、集成的单元测试器与版本控制系统(VCS)集成,并支持使用Django进行Web开发以及使用Anaconda进行数据科学研发。

备选方案: Atom, Sublime

Heroku (仅当用户需要网络托管时)

2020之最:最实用的机器学习工具有哪些?

图源:heroku.com

平台即服务(PaaS),使开发人员可以完全对应用程序进行云构建,云运行和云操作。与CircleCI和Github集成后也可以启用自动部署。

备选方案: Google App Engine, AWS Elastic Compute Cloud, others

Streamlit (仅在用户需要交互式UI时)

备选方案: Flask, Django, Tableau

CircleCi

CircleCI是一个持续集成和部署工具。当你将自己的项目提交到Github时,这一工具能使用远程docker创建一个自动化的测试工作流。任何未通过PyTest设置测试用例而提交的项目都会被Circle CI拒绝。这样可以确保代码质量,这点在于大团队合作时尤其重要。

备选方案: Travis CI, Jenkins,Github Action

the iPad: 探索工具

Streamlit (又见面了~)

别再留恋Jupyter Notebook了!

· 绞尽脑汁进行调试,但最终意识到自己忘记了从头开始运行代码;Streamlit可以解决这个问题。

· 总是需要等一会儿才能重新运行数据pipeline;Steamlit缓存可解决此问题。

· 不得不将代码从Jupyter重写或转换为可执行文件,还要在重新测试上花费时间;Streamlit提供了一个解决问题的快捷方式。

2020之最:最实用的机器学习工具有哪些?

IDE+ Streamlit的实时更新 | 图源:towardsdatascience

备选方案: Jupyter Notebook、Anaconda、Spyder from、Microsoft Excel (认真脸!)

刀子: 机器学习架构

你应该根据食物和切割方式选择合适的刀具,比如通用刀和专用刀。

当心!尽管寿司专用刀更加亮丽,但使用专用刀将寿司切成块状将花费很长时间。要选择正确的工具来完成工作。

Sklearn (常见的机器学习使用案例)

这是在Python中进行通用机器学习的首选框架,有它就足够了。

2020之最:最实用的机器学习工具有哪些?

图源:scikit-learn.org

备选方案: none、period.

Open AI Gym (强化学习使用案例)

这是一个开发和比较强化学习算法的工具包,它提供API和可视环境。许多社区都在争先为该领域构建工具,不过可用的完整安装包还不多。

备选方案:许多小型项目,但多数的维护工作都不如Gym。

PyTorch (深度学习使用案例)

这是一个基于Torch库的开源机器学习库。深度学习是此库重点,它主要用于计算机视觉和自然语言处理等应用。Torch主要由Facebook的人工智能研究实验室(FAIR)开发。最近,许多著名的人工智能研究机构,例如Open AI,都使用PyTorch作为其标准工具。

备选方案: Tensorflow、 Keras、Fast.ai

火炉: 实验管理

Atlas

这是一个免费工具,可让数据科学家使用一些摘要进行实验,将结果显示在基于Web的仪表板上。

2020之最:最实用的机器学习工具有哪些?

Atlas 程序 | 图源:atlas.dessa.com

备选方案: ML Flow、Weights & Biases、Data Robot、SageMaker、Comet、Domino

一项小调查:寻找合适工具时最困扰大家的是什么?快去评论区里讲讲你的看法吧~

另一种观点

没有完美的安装,一切都取决于你的需求和限制条件。下图展示了另一种想法,也是关于何种工具可用以及它们如何一起工作。

2020之最:最实用的机器学习工具有哪些?

谢尔盖·卡拉耶夫在2019年全栈深度学习中的演讲

迷你挑战

2020之最:最实用的机器学习工具有哪些?

图源:unsplash

想要了解这些工具,最好的方法是找一个项目开始操作。你可以将这些工具合并到当前项目中,也可以进行一个12小时机器学习挑战。

发布了0 篇原创文章 · 获赞 0 · 访问量 2032

猜你喜欢

转载自blog.csdn.net/zxjoke/article/details/105260196