贞丰县建设局网站,电子商务网站建设的认识的心得,网站流水怎么做,常德网数据是训练任何机器学习模型的关键。但是#xff0c;对于研究人工智能的企业和团队而言#xff0c;数据仍是实现成功的最大障碍之一。首先#xff0c;您需要大量数据来创建高性能模型。更重要的是#xff0c;您需要标注准确的数据。虽然许多团队一开始都是手动标注数据集对于研究人工智能的企业和团队而言数据仍是实现成功的最大障碍之一。首先您需要大量数据来创建高性能模型。更重要的是您需要标注准确的数据。虽然许多团队一开始都是手动标注数据集但更多团队已逐渐实现数据标注的部分自动化比如采用主动学习方法Active Learning以提高效率。
如果想要了解主动学习您首先需要了解监督机器学习和无监督机器学习之间的区别。监督学习认为我们需要为机器提供标注正确的数据让机器从这些示例中学习如何正确标注数据。无监督学习则认为要为机器提供未标注的、混乱的数据。机器可以自主识别数据的模式和结构。每种方法各有千秋本文主要讨论主动学习所属的监督学习范畴。 主动学习方法
主动学习属于我们所说的“半监督学习”。完全监督学习方法会为模型提供完整的标注数据集而半监督主动学习方法则仅为模型提供数据集的标注子集认为在训练过程中并非所有数据都是必需的、有价值的。主动学习过程涉及数据集中哪些数据需要优先标注。从本质上讲模型可以主动选择想要学习的数据。
工作原理
在主动学习中有三种典型场景。知名度最高的一种场景称为基于池的采样Pool-based Sampling它遵循以下五个步骤
人员在此过程中称为Oracle标注数据集的一小部分并将标注数据提供给模型。模型称为主动学习者处理这些数据并以一定的置信度预测未标注数据点的类别。假设初始预测低于所需精度和置信度则会使用采样技术确定下一个需要标注的数据子集。人员标注选定的数据子集并将标注的数据子集发送回模型进行处理。该过程将继续直至模型的预测达到所需的置信度和精度水平。
另一个主动学习场景即基于流的选择采样Stream-based Selective Sampling。在此场景中模型会接收到一个未标注的数据点并且必须立即决定是否要标注该数据点。
在主动学习的第三种方法——成员查询合成Membership Query Synthesis场景中模型构建自身的标注示例。 主动学习的采样方法
采样方法也称为查询策略是主动学习方法成功的关键。不佳的采样方法会导致不良的模型预测从而在主动学习周期中进行更多的迭代。两种最常见的采样方法即不确定性采样Uncertainty Sampling和委员会投票选择Query-By-Committee。
不确定性采样 Uncertainty Sampling
顾名思义不确定性采样优先标注模型最不确定的数据点。不确定性采样运用以下几种技术
最低置信度该算法可以将预测从最低置信度到最高置信度排序。选择标注那些置信度最低的数据。最小分类间隔算法会比较各数据点的最高概率类预测和次高概率类预测。优先标注分类间隔最紧密的数据点因为模型最不确定这些数据的类别。熵方法机器会通过一个方程确定类别预测中具有最高不确定性也称为熵的数据点。这些数据点会被优先标注。
委员会投票选择 Query-By-Committee
该方法使用多个基于同一数据集进行训练的模型共同确定需要标注的其他数据点。模型间分歧最大的地方是要选择标注哪些数据点。
其他常见的采样方法还有预期影响和密度加权尽管这些方法的使用频率不比上述几种方法。在任何情况下所使用的采样方法都是影响模型达到标准性能之速度的重要决定因素。
您需要试验多种不同的方法以达到最佳性能因为没有一种方法对每个用例都最为有效。 何时选择主动学习方法
对一些组织而言手动标注完整的数据集如在监督学习方法下需要花费高额成本和时间这就是为什么一些团队正在转向半监督和无监督ML方法。在以下部分或所有情况下最好采用主动学习方法
AI解决方案需要迅速进入市场并且手动标注数据可能会对项目构成风险。没有足够的资金聘请数据科学家或SME手动标注所有数据。没有足够的人员手动标注所有数据。具有大量未标注的数据。
与传统的监督学习相比主动学习的成本更低速度更快但您仍需考虑构建有效模型所需的计算成本和迭代。如果操作正确主动学习方法所构建的模型能够达到与传统方法所构建的模型同等的质量和精度。
对数据科学团队而言主动学习技术起着关键作用。因为所选择的采样方法可以决定主动学习方法的整体有效性。在某些情况下您可以寻求外援例如和第三方数据供应商建立合作伙伴关系创建高效的主动学习流程。 AI主动学习的未来
主动学习是AI的未来吗目前来看主动学习方法可以代替完全监督学习方法。另外主动学习方法可以用于超大型数据集协助数据科学团队更智能、更高效地标注数据。数据是卓越AI的重要基础但如果操作不当数据也会成为AI的最大障碍。因此高效的主动学习方法在当下备受青睐。
研究人员正在努力设计主动学习采样方法以不断改进先前方法并希望我们能够推广那些表现最好的方法。虽然还需要进一步研究例如仍然难以提前确定主动学习方法是否适用于某一特定数据集但主动学习仍是人机协同过程中的有效方法。
