分类是最常见的AI任务类型，它实际上是根据事物的性质或特征对其进行分类的行为或过程。
分类任务的示例包括：
- 归档（将文档分组到预定义的组）
- 自定义服务（将客户查询分派到不同的工作流程）
- 客户分析（对用户偏好进行分类，例如美食，音乐流派）
- 疾病诊断（根据症状分析病情）
如果只有两个可能的类别需要预测，这种任务称为二分类。
二分类特别适用于：
- 网络欺诈检测（识别虚假搜索和真实搜索点击）
- 检测生产线中的缺陷产品（产品是否存在缺陷）
- 将邮件按照垃圾邮件或非垃圾邮件进行排序
- 点击率预测（特定用户点击特定广告的可能性）
数据
分类问题的数据集需要两个条件：
- 任何与分类相关的特征，影响到分类的变量越多，分类效果越好。
- 需要分类的标签列。
指标
目前我们支持两种指标类型，根据任务需求，你可以为你的模型选择以下其中之一：
- 精度：衡量被评估案例的正确预测率。
- Logloss – 根据预测与实际标签的差异来考虑预测的不确定性。
因其最易被解释，精度是最常用的指标。如果训练数据具有接近真实的分布，那么使用精度作为指标是最佳选择。如果训练数据的分布不代表真实，logloss则能辅助修正模型以进行更精准的预测。如果必须评估模型与真实世界的接近度，logloss是更好的指标。
Chatbot 评估
平台会将上传的建模数据集分为两个部分：一部分用于训练，另一部分用于评估。因此，可以在不引入单独数据集的情况下检测模型质量，平台将仅使用测试数据来评估不同模型的表现。
对二进制分类模型有用的两个指标为：
精确率/召回率
精确率/召回率评估将模型精度与其召回进行比较，评估显示如图：
图中，红线是更优质的模型。因其随着召回的增加保留了更好的精确率。更优质的模型总是对应召回曲线有更好精确率的模型。
使用该功能的EVA指令为：“@eva precision/recall for (model ID)”
详细精确率和召回率
精确率和召回率使用以下概念确定：true / false positives和negatives：
True Positive (tp): ：模型预测为正样本而实际也是正样本。
False Positive (fp):模型预测为正样本但实际为负样本。
True Negative (tn): 模型预测为负样本而实际也是负样本。
False Negative (fn): 模型预测为负样本但实际为正样本。
基于以上定义，精确率和召回率由如下公式计算：
精度（也称为真实预测值）是模型所预测的正样本中确实是正样本的比例。
召回（也称为敏感度）是模型确定预测的正样本占数据中所有正样本的比例。
因为精确率和召回率是反向相关的，它们通常用于确定模型的质量。 随着精度的提高，召回率会下降，反之亦然。 这只是因为随着模型变得更加精确（选择更准确），它通常会给出更少的正值（以便没有错），如果模型具有更大的召回率，那么它会给出更多的正值，但这些将不可避免地包含更多的误报正值。
精确率和召回率之间的权衡
关键在于有一个在高水平召回时精确的模型，找到所需精度和召回之间的权衡，将会有助于选择最佳模型。
例如：
如果总共100个样本中有50个正样本，一个模型召回10个，其中9个是正确的正样本，精确度为90％，但它错过了41个其他正样本，因为它只召回了100个中的10个。 或者，另一个模型召回了100个正样本中的60个，这是一个很好的召回，但是60个中只有20个是真正的正样本，这意味着精确度只有33％，太低而无法使用，在这两个极端之间需要平衡。 最好的模型是可以召回大量可能的正样本同时保证召回的正样本有很高比例是正确的。
ROC
ROC(接收器操作特性）使用正确正值率和误报率来确定模型的质量,如图所示:
在该图中，黄色曲线是比粉红色曲线更好的模型，因为它具有比错误正值更多的正确正值。 最佳模型是在错误正值率增加时保持高正确正值率的模型。
使用该功能的EVA指令为:“@eva ROC for (model ID)”
ROC 详情
在ROC曲线中，将正确正值率绘制为假正值率的函数。
实际上，将对模型进行测试，以查看模型报告为正值的真实频率是多少，以及模型报告为正值的错误频率是多少。
如果模型的曲线落在图表的左侧，则它是一个高质量的模型，因为它具有比误报更多的正确正值。 如果它落在图表的右侧，则它具有比正确正值更多的误报，从而不应该使用。