南安网站设计,外贸app网站开发,做电视的视频网站,网站制作需要学什么语言来源#xff1a;全球人工智能 概要#xff1a;在过去的这些年#xff0c;为了构建基础设施#xff0c;数据社区专注于聚集和收集数据#xff0c;并使用数据来改进决策。 为了成为一个机器学习公司#xff0c;你需要工具和流程去克服数据、工程和模型方面的挑战。 在过去… 来源全球人工智能 概要在过去的这些年为了构建基础设施数据社区专注于聚集和收集数据并使用数据来改进决策。 为了成为一个机器学习公司你需要工具和流程去克服数据、工程和模型方面的挑战。 在过去的这些年为了构建基础设施数据社区专注于聚集和收集数据并使用数据来改进决策。我们现在可以看到对先进的分析和机器学习的兴趣在许多行业的垂直方领域上激增。 在这篇文章中我分享了我去年9月在纽约Strata Data 公司发布的一篇演讲中的幻灯片和笔记为大家提供一些对增强公司机器学习能力的建议。这些信息来自于在许多不同的问题领域中应用机器学习的前沿的实践者、研究人员和企业家的对话。 与其他技术或方法一样一个成功的机器学习项目从确定正确的用例开始。例如机器学习推荐和减少客户流失的应用有很多但对于应用程序来说一个有用的分类有如下几点: 1.提高决策的应用程序 2.改进商业运营的应用程序 3.产生收入的应用程序 4.可以帮助预测或防止欺诈或风险的应用程序 为了成为一个“机器学习公司”当你开始构建模型时首先你要熟悉你将要面对的关键障碍是什么。如果你咨询主要的从业者通常会有三件事: 1.数据:现在大多数应用都依赖于监督学习所以一切都从质量良好的标记(训练)数据集开始。 2.工程:你如何使用一个原型并生产它?在部署到生产环境之后如何监视模型? 3.模型:虽然现代的机器学习库使你更容易将模型与你的数据匹配但仍然存在一些挑战 在这篇文章的剩余部分我将讲解如何面对这些挑战。 在构建用于训练机器学习模型的标记数据集时使用已访问的数据非常重要。随着新的数据源不断地出现在网络上对大多数公司来说数据集成是一项正在进行的工作——你目前对数据基础设施的投资甚至可以让你获得足够的数据来启动。你还可以使用公开的(开放的)数据或你可以从第三方提供商购买的数据来丰富现有的数据集。 好消息是机器学习社区意识到训练数据是一个主要的瓶颈。所以研究人员一直致力于那些让你从较少的训练数据(弱监督)开始或者允许你将一个问题中得到的知识用于另一个环境转移学习的研究。 随着数据越来越重要有一些初创公司和公司在探索数据交换。数据交换使组织可以在保护隐私和机密的同时共享一些数据。同时也有一些类似的研究致力于开发安全的机器学习算法。在消费者金融领域存在应用欺诈检测例如如果隐私和安全能够得到保证那么在机密数据上共享学习可能是有价值的。 今年早些时候我们观察到公司开始在构建机器学习模型和监控他们的行为方面创造了一个新的角色。但是机器学习工程师的新角色真的是必要的吗? 对于越来越多的公司来说答案是:是的这样的专家很需要。如果你创建了一个你需要知道的关于生产和监控模型的清单那么你将得到一组广泛的工具和技术。 机器学习的研究正在飞速发展。公平地说大多数公司都无法跟上研究人员发布的所有新技术和新工具。想象以下的实验:在接下来的五年里进展会停滞不前(非常不可能自我幽默一下)。我认为有足够的工具可以让公司在很长一段时间里保持忙碌。 深度学习一种已经成功应用于计算机视觉和语言问题的技术。大多数公司仍处于将深度学习应用于熟悉的数据类型(文本、时间序列、结构化数据)或使用它来替换现有模型(包括它们当前推荐系统)的早期阶段。我希望在接下来的几年里能看到许多有趣的涉及到深层神经网络(DNN)的案例研究。 随着关于深度学习的所有激动人心的一面我们有时会忘记有很多有趣的不依赖于神经网络的新数据应用。 随着模型被推向先进设备我对最近在协作学习方面的工作感到兴奋。展望人工智能在线学习和持续学习的工具将是必不可少的。 数据社区开始认识到除了优化定量或业务指标之外还需要更多的模型。模型是否强大到能抵御对抗性攻击在某些应用程序模型中必须是可解释和可理解的。 公平:你了解你的训练数据的分布情况吗?如果你不了解请注意过去的忽视可能会导致未来的忽视。 透明度:随着机器学习变得越来越流行用户对那些被最优化的计量机构的了解和发言权越来越感兴趣。 尽管近年来这一领域取得了很大进展但研究人员和理论家们仍不清楚这一点。我们仍然处在一个“试错”的时代。深度学习可能减少了对人工特征工程的需求但是仍然有很多决策倾向于建立一个DNN(包括网络架构和许多超参数的选择)。 我们可以把模型构建看作是探索机器学习算法的空间。企业需要能够以一种有原则和高效的方式进行探索。这意味着维护可重复的管道从实验中节省元数据协作工具并利用最近的研究成果。 那么公司在做什么来让这种探索成为可能呢?大多数机器学习都需要标记(训练)数据因此任何平台都从输入数据存储系统的强大数据管道开始数据科学家和机器学习工程师可以访问这个数据存储系统。对于所有公司来说数据集成是一项重要的、持续的练习。 公司还允许数据科学家共享特征和生成这些特征的数据管道。让你了解特性的相对重要性:让公司告诉你他们使用的是什么算法通常会容易得多;而要让他们描述什么对他们的模型是最重要的则困难得多。 领先的公司让他们的数据科学家使用几个机器学习库。强迫你的数据科学家使用一两个“开发中的”库是很疯狂的。他们需要能够进行实验这可能意味着让他们使用各种各样的库。 有些公司为生产机器学习模型提供工具并在部署后监控它们。公司还在使用开源技术构建自己的部署和监控工具。如果你正在寻找一个用于模型部署和监控的开源工具Clipper是加州大学伯克利分校的崛起实验室的一个新项目它现在可以让你轻松地部署使用几个流行的机器学习库编写的模型。更重要的是Clipper团队很快就添加了模型监控。(几家公司将在2018年3月的Strata Data San Jose描述他们如何实现模型部署和监控)。 要成为一个“机器学习公司”你需要工具和流程来克服数据、工程和模型方面的挑战。公司刚刚开始在他们的产品中使用和部署机器学习。工具仍在不断完善最佳实践才刚刚开始出现。
