船舶平台监控系统软件测试要求(T-CICC 02003—2019).pdf

《船舶平台监控系统软件测试要求(T-CICC 02003—2019).pdf》由会员分享，可在线阅读，更多相关《船舶平台监控系统软件测试要求(T-CICC 02003—2019).pdf（12页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、ICS 35.080 L70/84 中 国 指 挥 与 控 制 学 会 团 体 标 准 T/CICC 02003-2019 船舶平台监控系统软件测试要求 Testing requirements for Ship platform Supervisory Control system Software 2020-1-19 发布 2020-1-30 实施 中国指挥与控制学会 发 布 T/CICC 02003-2019 I 目 次 前言.II 1 范围.1 2 规范性引用文件.1 3 术语和定义.1 4 一般测试要求.1 5 详细要求.4 T/CICC 02003-2019 II 前 言 本标准按

2、照GB/T 1.1-2009标准化工作导则 第1部分：标准的结构和编写的规则起草。本标准由中国指挥与控制学会提出并归口。本标准起草单位：中国船舶重工集团公司第七一六研究所、中国船舶重工集团公司第七二二研究所、工业和信息化部电子第五研究所。本标准主要起草人：滕士波、许寿全、孙志安、赵伟、惠小霞、范萍、苏赛、王强、尚京威、王进宁。T/CICC 02003-2019 1 船舶平台监控系统软件测试要求 1 范围 本标准规定了船舶平台监控系统软件测试的一般要求和详细要求。本标准适用于对船舶平台监控系统软件进行的系统级自测试或验收测试。2 规范性引用文件 下列文件对于本文件的应用是必不可少的。凡是注日期的

3、引用文件，仅所注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T 11457 信息技术 软件工程术语 3 术语和定义 GB/T 11457界定的以及下列术语及定义适用于本标准。3.1 船舶平台监控系统软件 ship platform supervisory control system software 用于船舶数据采集与监视控制以及过程控制类的软件。3.2 数据采集与监视控制 data acquisition and supervisory control 通过计算机采集信号数据，对自动化设备或过程进行监视、控制和管理。3.3 基于过程控制

4、的对象连接与嵌入技术 object linking and embeding for process control 由一整套接口、属性和方法的标准集构成（简称 OPC），用于过程控制和制造业自动化系统。3.4 测点 observation point 直接或间接设置在被监测对象上能反映其变化特征的观测点。4 一般要求 4.1 测试目的 船舶平台监控系统软件测试要求测评目的如下：a）验证船舶平台监控系统软件的设计与实现是否满足软件研制任务书或合同以及软件需求规格说明等规定的要求；b）验证被测软件的最大数据处理能力、异常处理能力；c）通过测试，发现船舶平台监控系统软件中的缺陷和错误，提高软件可靠

5、性；T/CICC 02003-2019 2 d）为软件开发过程中的各种验证、确认以及是否可以接收或使用等决策提供依据；e）为软件鉴定、定型及技术状态确认和软件产品验收与交付提供依据。4.2 进入条件 进入软件测试的基本条件如下：a）测试文档的要求应满足 4.5.2 的规定；b）测试前被测试软件通过自测试或技术状态检查，测试委托方应提供自测试报告或技术状态检查报告；c）规定的测试环境和测试工具；d）测试方和测试委托方应完成对测试准备情况的评审或确认，并就所有歧义达成共识；e）对需要特别明确的测试进入条件，应由测试方和测试委托方协商一致后提出。4.3 测试通过准则 测试通过准则用以判定软件是否通过

6、测试，要求如下：a）完成了测评大纲规定的所有测试项目；b）被测软件与软件需求规格说明一致，符合软件设计；c）软件文档齐全，正确，软件与文档一致；d）针对测试中发现的问题在约定的时间期限内修改正确，未引入新的缺陷，并通过回归测试；e）对无法在约定时间期限内修改，且不影响软件主要功能、性能的问题，承研单位应给出处理意见；f）特别要求的测试通过准则由测试方和测试委托方协商提出，纳入合同的相应条款中，并在测评大纲中做出明确的规定和描述。4.4 基本测试内容 船舶平台监控系统软件基本测试内容用以判定被测船舶平台监控系统软件的基本技术能力，本标准根据船舶平台监控系统软件的特点，给出测试要求，在测试时，应根

7、据软件具体情况，选取或增加测试内容。船舶平台监控系统软件基本测试内容要求如下:a）数据处理 测试软件对数据的接收、响应、存储等处理的正确性，一般包括数据采集及现场控制、自动报警、数据存储与查询，以及对异常情况的处理。主要针对功能测试。数据采集及现场控制：采集及控制传感器数据及状态信息的能力；自动报警：对超界数据具有自动报警的能力；数据存储与查询：对接收的数据具有存储及查询的能力；异常处理：针对执行过程中发生的异常情况（一般包括数据处理异常、通信异常、界面操作异T/CICC 02003-2019 3 常等）提供相应的异常处理机制，用于捕捉异常信息并加以处理。b）数据传输质量 体现在并发处理、响应

8、时间、容量三个方面。主要针对性能测试和容量测试。并发处理：一定时间内能够并发处理的测点数量；响应时间：从发送监控命令到接收到状态响应的往返时间；容量：对并发执行的请求提供性能保障的最大请求测点的数量。c）数据平台交互 数据平台交互具体体现在船舶平台监控系统软件之间的交互性、兼容性。互操作性：不同类型平台开发的船舶平台监控系统软件应能够协同工作，共同实现系统功能；兼容性：软件版本向下兼容的能力，以及数据信息交互能力。d）数据通信 协议一致性：通信报文与通信协议的一致性，用于接口测试；标准符合性：满足标准通讯规范的能力，用于标准符合性测试。4.5 被测软件要求 4.5.1 技术状态要求 对被测软件

9、技术要求如下：a）软件研制部门自行开展系统测试时，被测软件应是相应阶段的最终版本并已纳入配置管理中；b）被测软件提交验收测试或提交到测试方进行测评之前，应通过软件研发部门的自测试技术状态确认，并提供相应报告。被测软件已纳入配置管理中。4.5.2 所需文档及程序要求 a）测试所需文档参见表 1。表 1 测试时所需文档 测试输入文档测试输入文档 所需文档所需文档 软件研制任务书 软件需求规格说明(含接口需求规格说明)软件设计文档(含接口设计及数据库设计说明文档)接口协议 用户手册和/或操作手册 自测试报告和相关的测试问题报告单 注：表示必备文档，表示根据实际情况所产生的文档。b）在验收测试或提交软

10、件测试方进行测评时，软件研制部门需提交软件源程序。T/CICC 02003-2019 4 4.5.3 环境搭建要求 测评环境搭建时应根据被测软件特性，选择或建立满足测试需求的测试环境，选定或开发适宜的测试工具。a）使用真实/仿真设备和工具构建被测软件外围测试环境，实现被测软件与外部设备的数据通信，以及完成相应的功能、性能等测试；b）根据被测软件的通信协议选择对应的接口测试工具和被测软件相结合，实现接口的正确性测试和异常数据的容错测试；c）通过真实/仿真环境实现人工干预的异常功能流程的测评，实现构建最小差异的测评环境；d）提供的测试设备处于“准用”状态。4.6 测试偏离处理 软件测试过程中，当发

11、生偏离时，应按如下要求进行处理：a）当测试过程中发生偏离规定和程序或出现分歧时，测试方应按照规定的程序进行及时的分析，并采取有效的措施，防止事故的蔓延和扩大；b）当测试过程中发生偏离规定和程序或出现分歧时，测试方技术负责人或测试组长应组织有关人员分析发生偏离规定和程序或测试分歧的原因和责任，制定整改措施，填写偏离规定和程序或测试分歧纠正措施报告；c）当偏离规定和程序或测试分歧纠正影响测试工作质量时，应按规定的程序及时地书面反馈给测试委托方；d）必要时，应对偏离规定和程序或测试分歧的纠正措施进行评审；e）由于测试设备、测量设备及配试设备出现偏离时，导致测试报告结果的正确性发生偏离时，应及时以书面

12、形式通知委托方将原报告收回并进行作废处理，经修正后应重新通过评审后发送给委托方，在新的测试报告中应注明被替代的原有报告的编号。5 详细要求 5.1 软件的测试要求 根据每个软件的控制类别和系统风险指标确定每个软件的安全性等级。软件安全性等级从高到低为A、B、C、D 四个等级。A 级：人员死亡，或系统报废，或基本任务失败，或环境灾难；B 级：人员严重伤害，或系统严重损坏，或基本任务主要部分未完成，或环境严重破坏；C 级：人员轻度伤害，或系统轻度损坏，或对完成任务有轻度影响，或环境轻度破坏；D 级：对人员的伤害和系统的损坏轻于轻度，或虽然执行任务有障碍但是能够完成，或对环境的破坏可忽略。T/CIC

13、C 02003-2019 5 不同等级软件的测试类型要求参见表 2。表 2 不同等级软件的测试类型要求 测试类型测试类型 软件等级软件等级 A A B B C C D D 文档审查 功能测试 性能测试 接口测试 余量测试 边界测试 人机界面测试 强度测试 安全性测试 恢复性测试 安装性测试 容量测试 标准符合性测试 兼容性测试 注 1：必须进行的测试，建议进行的测试，不要求进行的测试。注 2：根据被测软件实际情况，对本指导性技术文件要求必须进行的测试类型进行裁减，应给出说明。测试策略及裁剪说明：如由于被测软件为嵌入式软件，软件产品集成在硬件设备中提交用户，用户没有安装需求，故不做安装性测试。由

14、于被测软件没有人机交互界面，故不做人机交互界面测试。5.2 进入条件 除 4.2 条之外，系统测试还应具备下列进入条件：a）软件系统的所有配置项已通过测试；b）对于需要固化运行的软件配置项应提供固件；c）被测试软件系统为本阶段最终版本，已纳入软件配置管理，取自受控库。5.3 测试要求 根据船舶平台监控系统特点，其测试要求如下：a）本标准根据船舶平台监控系统软件的特点，给出船舶平台监控系统软件的技术要求及其功能、性能测试要求，在测试时，应根据软件具体情况，选取或增加测试内容；b）应按系统/子系统设计说明的规定，逐项测试系统的功能、性能等特性；c）系统的每个特性应至少被一个正常测试用例和一个被认可

15、的异常测试用例所覆盖；d）测试用例的输入应至少包括有效等价类值、无效等价类值和边界数据值；e）应测试系统的输出及其格式；T/CICC 02003-2019 6 f）应测试配置项之间及配置项与硬件之间的所有接口；g）应在边界状态、异常状态或在人为设定的状态的运行条件下，测试系统的功能和性能；h）应测试系统的安全性和数据访问的安全保密性；i）应测试系统的全部存储量、输入/输出通道的吞吐能力和处理时间的余量；g）应按系统或子系统设计文档的要求，对系统的功能、性能进行强度测试；k）应测试人机交互界面提供的操作和显示界面，包括用非常规操作、误操作、快速操作测试界面的可靠性；l）应测试设计中用于提高系统安

16、全性和可靠性的方案，如结构、算法、容错、冗余、中断处理等；m）对安全性关键的系统，应对其进行安全性分析，明确每一个危险状态和导致危险状态的可能原因，并对其进行针对性的测试；n）对有恢复或重置功能需求的系统，应测试其恢复或重置功能和平均恢复时间，并且对每一类导致恢复或重置的情况进行测试；o）对软件系统的安装性进行测试；p）对不同的实际问题应外加相应的专项测试。5.3.1 文档审查 依据文档审查单，对照文档编制所依据的标准，采用人工审查方法对被测软件文档的齐套性、完整性、正确性、一致性进行逐项检查。a）齐套性审查主要是审查被测软件文档是否满足相关标准规定的文档种类要求；b）完整性审查时主要审查文档

17、的格式、内容是否满足文档编制所依据的标准规定的要求，是否包含对软件接收输入数据类型和边界值的描述或说明，对不可能提供的边界值情况是否说明极值；c）准确性审查时主要从文档的标识、软件设计描述、文档内容等是否准确进行审查；d）一致性审查时主要从文档内容前后、文档与程序、文档与文档之间的内容是否一致进行审查。5.3.2 功能测试 根据船舶平台监控系统软件特点，结合被测系统或软件研制任务书、软件需求规格说明中所规定的各项功能进行测试，验证系统各软件配置项是否达到所规定的要求，能否协调正确工作，一般包括：a）数据采集及现场控制的能力：采集与显示设备及传感器的运行/停止、正常/故障等状态的处理能力；采集与

18、显示设备及传感器的数据信息的能力；支持数据的图形及报表显示的能力；收发并处理控制指令的能力。b）软件采集及监测数据超出范围时自动报警的能力；c）数据存储与查询的能力：实时将更新的测点数据及状态存入文件/数据库，如报警数据；T/CICC 02003-2019 7 将符合查询条件的数据检索出来，没有查询结果时能够进行提示；数据备份和恢复的能力；删除过期数据释放存储空间的能力。d）对软件控制流程和信息流程的正确性、合理性等进行验证：软件与数据库信息交互测试，尤其是在大数据量时信息的处理及显示测试。e）涉及到多个台位，每个台位涉及到多个工作状态的，针对各种状态组合做到全覆盖，防止软件处理有遗漏；f）系

19、统中软/硬件的因素是否影响了软件的功能。5.3.3 性能测试 根据船舶平台监控系统软件特点，结合被测软件(系统)研制任务书等顶层文档上的性能指标进行逐项测试，逐项进行分析，对时间处理能力、存储能力、并发数据处理等方面进行测试，验证是否满足要求。a）能够处理满足性能指标要求的大数据、并发数据的信息；b）处理报警、显示的时间；c）最大的数据量所占用的存储空间；d）软件支持的最大测点数据类型；e）在空间存储近满时是否给出处理。5.3.4 接口测试 船舶平台监控系统软件采用标准化的通信协议，可支持：CAN 协议、TCP/IP 协议、串口协议；具体的通讯协议如：CAN2.0、MODBUS、PROFIBU

20、S、OPC 等。其测试内容一般包括：a）其通信报文与通信协议的一致性；b）收发通信数据，在接收数据后正确处理的能力；c）异常报文进行处理的能力。5.3.5 余量测试 测试软件配置项的全部存储量、处理时间等的余量。根据被测软件需求规格说明的余量要求进行测试。若无明确要求时，一般至少保留 20%的余量。5.3.6 人机界面测试 人机界面测试是对所有人机交互界面提供的操作和显示界面进行的测试，以检验是否满足用户的要求。船舶平台监控系统软件的人机交互界面一般采用以图标、棒图、动态数字、实时曲线、交互式文本框、报表等形式来进行采集信息的显示，其测试内容一般包括：a）界面简洁、画面清晰美观、大小适中、布局

21、合理、操作灵活，具有较好的人机互动功能；b）界面结构体系设计合理；T/CICC 02003-2019 8 c）操作和显示界面与软件需求规格说明中要求的一致性和符合性；d）软件配置项的人机界面在非常规操作、误操作、快速操作下的可靠性；e）测试对错误命令或非法数据输入的检测能力与提示情况；f）测试对错误操作流程的检测与提示；g）对照用户手册或操作手册逐条进行操作和观察。5.3.7 边界测试 在输入/处理的边界值时软件是否能够正确处理，运行状态正常。软件配置项在输入域/输出域、状态转换、功能界限、性能界限、容量界限等的边界或端点情况下的运行状态。5.3.8 强度测试 强制软件配置项运行在不正常到发生

22、故障的情况下（设计的极限状态到超出极限），检验软件配置项可以运行到何种程度的测试。一般需进行：a）处理数据报警与系统报警能力的强度；b）同时处理状态变更的能力；c）长时间满负荷运行强度下软件处理能力；d）最大存储能力的强度。5.3.9 安全性测试 对以实时报警、数据库存储历史记录以及网络传输数据的系统，重点测试数据安全性防护能力：a）人工执行日志文件修改、删除操作，测试对日志的防护能力；b）测试系统保护措施及设计时的保护能力；c）对重要数据抗非法访问能力的测试；d）测试数据库对抗恶意访问、非法访问的能力；e）测试软件对非常规操作、异常数据等的处理。5.3.10 恢复性测试 对有恢复功能的软件配

23、置项，应验证其恢复或重置能力。一般需进行：a）在主机发生故障时，从机能否自动接管控制，保护正在运行的作业和软件配置项状态的测试；b）在软件配置项恢复后，能否从最后记录下来的无错误状态开始继续执行。5.3.11 安装性测试 a）验证安装/卸载过程与文档描述的一致性；b）验证安装完成后软件的运行情况；c）验证卸载完成后，软件安装程序对目标系统和目标系统软件是否有影响；d）多次循环执行软件安装卸载操作，验证多次安装卸载对软件功能及目标系统软件功能是否有影T/CICC 02003-2019 9 响；e）验证在安装过程中中断安装的处理。5.3.12 容量测试 容量测试主要测试在正常情况下软件所具备的最高

24、能力，一般需：a）存储容量：包括对数据库存储容量、硬盘存储容量、记录数据存储容量。b）处理容量：对并发执行的请求（包括并发用户数、并发数据等）提供性能保障的最大数量。5.3.13 标准符合性测试 验证软件与标准或规范的一致性测试。一般需验证软件与标准通讯规范（如 CAN 协议、TCP/IP 协议、串口协议等）的一致性测试。5.3.14 兼容性测试 兼容性测试主要是验证被测软件在不同版本之间的兼容性。一般需：a）测试软件向下兼容能力 软件新版本保留它早期版本的功能的情况；软件新版本是否能够适应早期版本的运行环境。b）测试软件交错兼容能力 验证软件在规定条件下，共同存在相关功能的不同产品间满足规定要求的能力；验证软件在规定条件下，共同存在相关数据的不同产品间满足数据格式转换有关要求的能力。