基于用户特征的众包审核任务分配系统【bob体育综合】

图 1 系统总体架构图1. 项目意义测试领域中，众包测试技术和自动化测试工具的使用，缩短传统测试的测试周期，节约测试成本。众包测试平台可在短时间内召集大量测试人员完成众包测试任务，但测试人员存在不确定性，导致平台收集的测试陈诉质量良莠不齐，众包测试平台面临庞大的测试陈诉审核压力和汇总难题。自动化测试工具涉及源码毛病扫描、Web 功效测试、App 功效测试等多个测试领域，但自动化测试工具尚不成熟，存在误报、无法识别等问题，需要专业测试人员对自动化工具生成的测试陈诉举行审核。

综上，众包测试平台和自动化测试工具生成的测试陈诉具备质量不确定、数量多等特点，为低成本高效率地审核大量测试陈诉，工业界提出将众包技术应用于测试陈诉审核，众包审核平台应运而生。当前大多众包审核平台以人工干预方式分配众包审核任务，分配时只关注审核任务自己，缺少对众包审核用户及其行为的关注，但众包审核用户对测试陈诉的审核质量影响庞大。

人工干预的分配机制无法灵活应对众包审核任务的动态变化，导致待审核任务完成度低。与此同时，通过网络召集的众包审核用户，审核能力乱七八糟，无法保障待审核任务的审核质量。为替代人工干预任务分配方式，灵活分配众包审核任务，保障审核效果质量，本系统将众包审核任务分配的影响工具从众包审核任务扩展到众包审核用户及其行为特征，提出了基于用户特征的众包审核任务分配系统。

2. 项目内容本系统依托于慕测众包审核平台。在众包审核情况下，面临差别信誉、差别能力、差别兴趣的众包审核用户，快速而准确的为其分配众包审核任务是难题的。

因此系统通太过析众包审核平台数据，凭据差别审核任务类型，提取用户信誉特征，能力特征和行为特征，建设众包审核用户特征矩阵。为搭建众包审核用户学习训练场景，系统提供静态任务分配方式，向同一众包审核任务下的用户分配相同数量的待审核测试陈诉。为适应动态变化的众包审核任务，系统提供动态任务分配方式，当用户请求待审核测试陈诉时，系统综合分析当前任务分配及审核情况和用户兴趣，为用户分配一份待审核测试陈诉。

审核任务竣事后，系统分析审核效果，为提高审核效果可靠性，将用户能力特征值加权至用户审核效果，生成最终审核效果，然后盘算用户绩效，并凭据用户特征更新算法更新用户特征。综上，系统主要分为以下四个模块，用户特征分析模块，静态任务分配模块，动态任务分配模块及审核效果分析模块。图 2 系统模块功效图用户特征分析模块，此阶段，系统为用户建设特征矩阵。由于差别审核任务类型下，众包审核用户特征存在差异，为保证用户特征数据的可靠性，系统凭据差别审核任务类型为众包审核用户建设特征矩阵。

用户特征包罗信誉，能力和行为。用户信誉特征表现用户执行任务可能性，由用户报名审核任务后是否执行判断，若用户报名并执行任务，将用户信誉标志为 good，否则标志为 bad。用户能力特征权衡用户审核能力，由用户任务完成率和用户审核效果准确率综合盘算获得。

用户行为特征凸显用户兴趣，由用户在系统中的操作数据分析获得，系统将用户已审核的测试陈诉标志为 finish，拒绝审核的测试陈诉标志为 jump。每次审核任务竣事后，系统凭据用户信誉更新算法及用户能力更新算法更新用户特征。

静态任务分配模块，此阶段，系统提供众包审核静态任务分配方式。静态众包审核任务开始前，系统从外部服务中获取众包审核任务信息，包罗单份测试陈诉审核时间 singleTime 和期望用户审核时间 totalWorkload。

盘算期望用户审核测试陈诉的数量，并凭据此数量将待审核测试陈诉划分为若干个待审核任务列表。用户请求众包审核任务时，系统查询最近已分配的待审核任务列表，按审核任务列表序号依次为用户分配待审核测试陈诉列表，即用户只需请求一次审核任务，即可获取待审核任务列表。动态任务分配模块，此阶段，系统提供众包审核动态任务分配方式。

动态众包审核任务开始前，系统从外部服务中获取众包审核任务信息。用户请求众包审核任务时，系统首先查询当前未分配给用户的待审核测试陈诉，凭据这些待审核测试陈诉的分配及审核次数，盘算测试陈诉热度，生成测试陈诉热度升序列表，优先分配审核热度低的任务，保障待审核测试陈诉被充实审核。与此同时，系统分析用户行为，建设用户兴趣矩阵，若用户审核测试陈诉，则认为用户对该测试陈诉感兴趣，标志为 1，若用户拒绝审核测试陈诉，则认为用户对该测试陈诉不感兴趣，标志为 0。凭据表现用户兴趣的 0，1 矩阵，使用 Jaccard 相似度盘算测试陈诉间相似度，通过协同过滤算法为用户生成测试陈诉推荐降序列表，向用户推荐感兴趣的测试陈诉。

将两列表加权后盘算获得最终分配给用户的测试陈诉。审核效果分析模块，此阶段，系统生成最终审核效果及用户绩效并更新用户特征。众包审核任务竣事后，首先，系统收集用户审核效果，从用户特征矩阵中获取该众包审核任务类型下用户的能力特征值，将用户能力特征值加权至用户审核效果，生成最终审核效果，给予拥有高能力的用户高权重，提高最终审核效果的可靠性。

然后，将用户审核效果与最终审核效果对比，获得用户审核效果准确率，并凭据用户任务分配及完成情况获得用户任务完成率，盘算用户绩效，用户绩效资助怀抱用户在众包审核任务中的孝敬。最后，分析系统数据，更新用户特征矩阵。

3. 项目效益为验证本系统有效解决了人工干预任务分配、待审核测试陈诉审核不充实、审核效果质量低等问题，设计基于用户特征的众包审核任务分配案例，案例选取开源的 Java 源码扫描工具，对 GitHub 上开源 App 举行源码扫描，生成了 41 份测试陈诉。将这 41 份测试陈诉作为众包审核任务，在众包审核平台公布，众包审核用户需判断测试陈诉是否为毛病。

任务开始前，系统召集 20 名众包审核用户报名该审核任务，任务开始后，使用动态任务分配方式为用户分配待审核测试陈诉。任务竣事后，将最终审核效果对比专家审核效果，盘算审核效果准确率。图 3 案例效果统计图​ 开发本系统主要有两个目的，即替代传统人工干预的众包审核任务分配和提高众包审核效果质量。

基于这两个目的，将评估本案例在动态任务分配方式下，待审核测试陈诉的分配笼罩率、完成笼罩率、待审核测试陈诉平均审核次数及审核效果准确率。案例效果讲明，系统召集 20 名众包审核用户，最终有 12 名用户在任务起止时间内执行众包审核任务，即有 60%的用户执行了此审核任务。

在任务开始 9 分钟后，测试陈诉分配笼罩率到达 100%。在任务开始 10 分钟后，测试陈诉审核笼罩率到达 100%。待审核测试陈诉平均被审核 8 次。

审核效果准确率到达 95.12%。综上，使用本系统举行众包审核任务分配，可有效替代人工干预众包审核任务分配方式，提高任务分配效率，增加任务分配灵活度，适应众包审核任务的动态变化，确保待审核测试陈诉被充实审核，获取高可靠的最终审核效果，因此本系统具备高有效性。4. 致谢本文由南京大学软件学院智能软件工程实验室 2018 级硕士李林昱撰写谢谢国家自然科学基金项目：基于可明白信息融合的人机协同移动应用测试研究（61802171），国家重点研发计划：信息产物及科技服务集成化众测服务平台研发与应用 (2018YFB1403400)的支持。

本文来源：bob体育综合-www.lzlxy.com