药临床试验与生物统计学南京.ppt

上传人:wuy****n92 文档编号:66700663 上传时间:2022-12-19 格式:PPT 页数:82 大小:675KB
返回 下载 相关 举报
药临床试验与生物统计学南京.ppt_第1页
第1页 / 共82页
药临床试验与生物统计学南京.ppt_第2页
第2页 / 共82页
点击查看更多>>
资源描述

《药临床试验与生物统计学南京.ppt》由会员分享,可在线阅读,更多相关《药临床试验与生物统计学南京.ppt(82页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。

1、新药临床试验与生物统计学新药临床试验与生物统计学南京医科大学 于浩 Outlinen生物统计学在临床试验中的必要性生物统计学在临床试验中的必要性n临床试验生物统计的三个基本要求临床试验生物统计的三个基本要求n临床试验统计学的基本考虑临床试验统计学的基本考虑q整个临床试验的基本考虑整个临床试验的基本考虑q试验设计中的基本考虑试验设计中的基本考虑q试验进行中的基本考虑试验进行中的基本考虑n数据管理数据管理n统计分析统计分析一、必要性n应用统计学原理对试验相关的因素做出合理的、有效的安排。n最大限度地控制试验误差、提高试验质量以及对试验结果进行科学合理的分析n在保证试验结果科学、可信的同时,尽可能做

2、到高效、快速、经济一、必要性n生物统计学作为一种方法学,应当贯穿在新药临床试验方案的设计、数据的收集与整理以及统计分析整个过程中。n正确运用统计分析方法必须基于良好的设计和科学的研究过程,企图在试验后应用统计分析方法去弥补设计中的缺陷是不可能的二、生物统计的三个基本要求1 生物统计学专业人员 必须为有资格的生物统计学专业人员参加临床试验,所谓有资格系指经过培训、具有经验,足以贯彻生物统计指导原则,且负责试验的统计工作,生物统计学专业人员必须自始至终地参与整个临床试验工作。2 统计方法 要求使用国内外公认的统计分析方法。3 统计软件包 国内外公认的统计软件包。二、生物统计的三个基本要求1参与试验

3、方案的制定和修订;2参与病例报告表(CRF)的设计;3指导多中心双盲临床试验的标准化操作;4负责数据管理与质量控制;5负责制定统计分析计划;6完成临床试验资料的统计分析;7提供试验结果的统计分析报告和解释;8协助主要研究者完成临床试验总结报告。生物统计学专业人员的主要工作任务n中华人民共和国药品管理法n药品临床试验管理规范n新药临床试验的生物统计学指导原则 n 其它相关规定三、基本考虑整个临床试验n 探索性试验和确证性试验q临床试验的早期(II期),探索性试验q临床试验的后期,确证性试验 三、基本考虑整个临床试验n观察指标q主要指标和次要指标q复合指标 q全局评价指标 q替代指标 q测量指标转

4、换为分类指标 三、基本考虑整个临床试验n偏倚的控制q 随机化n随机分组n随机试验顺序q 盲法 n安慰剂n双模拟技术 n胶囊技术 安慰剂技术n试验药品试验药品n安慰剂安慰剂placebo technique双盲双模拟技术n试验药品n阳性对照药品double-dummy techniquedouble-dummy technique试验药品阳性对照药品试验药品安慰剂阳性对照药品安慰剂double-dummy technique试验组:试验药对照药的安慰剂对照组:阳性对照药品试验药安慰剂设盲的水平(level of blinding)n双盲:double-blind trial(optimal ap

5、proach)n单盲:single-blind trial n非盲:open-label trial三、基本考虑试验设计中n 试验设计的类型q平行组设计 q交叉设计 q析因设计 q成组序贯设计 临床试验的统计学基本原则n对照 (control)n随机 (randomization)n重复 (replication)n盲法对照的作用对照的形式对照组设置的要求随机化的作用随机的含义分层随机、分段随机重复的作用重复的次数双盲单盲对照组的作用处理组 处理因素+非处理因素 处理效应+非处理效应对照组 (无)非处理因素 (无)非处理效应比较结果 处理因素 处理效应n排除“非处理因素”的影响,从而衬托出“处

6、理因素”的作用。对照的形式n平行对照平行对照(parallel setups)n交叉对照交叉对照(crossover setups)平行对照的形式(1)n简单平行对照简单平行对照n试验组n对照组n多组平行对照多组平行对照n安慰剂组n试验组n阳性对照组平行对照的形式(2)n多剂量平行对照多剂量平行对照n试验组高剂量(20mg tid)n试验组中剂量(10mg tid)n试验组低剂量(5mg tid)n安慰剂对照组(0mg tid)n联合用药平行对照联合用药平行对照(两种药物两种药物)n安慰剂组 (O)nA药组 (A)nB药组 (B)nA+B组 (A+B)交叉对照的形式n2 2交叉对照交叉对照n先

7、用A药,再用B药n先用B药,再用A药n33交叉对照交叉对照nAB CnBC AnC AB对照组设置的要求n对等对等q除研究因素外,对照组具备与研究组对等的一切因素。除研究因素外,对照组具备与研究组对等的一切因素。n同步同步q对照组与研究组设立之后,在整个研究进程中始终处对照组与研究组设立之后,在整个研究进程中始终处于同一空间和同一时间。于同一空间和同一时间。n专设专设q任何一个对照组都是为相应的研究组专门设立的。不任何一个对照组都是为相应的研究组专门设立的。不得借用文献上的记载或以往研究的、其它研究的资料得借用文献上的记载或以往研究的、其它研究的资料作为本研究之对照组。作为本研究之对照组。随机

8、的含义(random)n研究对象参加试验的机会是相同的研究对象参加试验的机会是相同的 确保样本有代表性确保样本有代表性n研究对象分配到各组的机会相等研究对象分配到各组的机会相等 确保各比较组均衡一致确保各比较组均衡一致n研究对象先后接受试验的机会是相同的研究对象先后接受试验的机会是相同的 平衡试验顺序的影响平衡试验顺序的影响 客观性客观性随机与随意n随机:随机:random 机会均等,机会均等,客观性客观性n随意:随意:as will 随主观意愿,主观性随主观意愿,主观性n随机化分组,不仅能控制已知的混杂因素随机化分组,不仅能控制已知的混杂因素(非研非研究因素究因素),而且还能控制未知的混杂因

9、素。,而且还能控制未知的混杂因素。n可采用可采用分层分层(stratified)、分段分段(block)随机化随机化方法方法n中心竞争入组随机系统中心竞争入组随机系统进入随机分组系统首页nhttp:/:8088/登录系统n测试账号:测试账号:q监察员(监察员(CRA):):apntCRA01 密码:密码:4070z7q研究者(研究者(Investigator):apntInv01 密码:密码:13gm5f重复的作用n避免偶然性,提高试验的可靠性!避免偶然性,提高试验的可靠性!q整个试验的重复整个试验的重复n试验本身的可靠性q用多个研究对象重复用多个研究对象重复(样本含量样本含量)n避免将个别现

10、象误认为普遍现象q同一研究对象的重复同一研究对象的重复(重复观察重复观察)n提高测量精度n平行组设计平行组设计(parallel group design)n交叉设计交叉设计(crossover design)n析因设计析因设计(factorial design)n成组序贯设计成组序贯设计(Group Sequential Designs)Trial Design Considerations 平行组对照设计分析思路(1)试验组:疗前试验组:疗前 疗后疗后 =差值差值 同质性比较同质性比较 组间比较组间比较 对照组:疗前对照组:疗前 疗后疗后 =差值差值平行组对照设计分析思路(2)(多时间点观

11、察多时间点观察多时间点观察多时间点观察)试验组:疗前试验组:疗前 疗后疗后1月月 疗后疗后2月月 疗后疗后3月月 0 差值差值1 差值差值2 差值差值3 同质性同质性 组间组间 比比 较较 比较比较对照组:疗前对照组:疗前 疗后疗后1月月 疗后疗后2月月 疗后疗后3月月 0 差值差值1 差值差值2 差值差值322交叉设计示意(crossover design)准备阶段准备阶段 时期时期1 1 清洗期清洗期 时期时期2 2(run in)(run in)处理处理A A (wash out)(wash out)处理处理B B准备阶段准备阶段 时期时期1 1 清洗期清洗期 时期时期2 2(run i

12、n)(run in)处理处理B B (wash out)(wash out)处理处理A A 三、基本考虑试验设计中n多中心试验多中心试验q多中心试验系指由一个单位的主要研究者总负责,多个单位的研究者合作,按同一个试验方案同时进行的临床试验。q多中心试验必须在统一的组织领导下,遵循一个共同制定的试验方案完成整个试验。q在双盲多中心临床试验中,盲底是一次产生的,中心数较少按中心分层随机;当中心数较多且每个中心的病例数较少时,可统一进行随机,不按中心分层。三、基本考虑试验设计中n比较的类型(比较的类型(Type of comparison)q优效性检验:Trials to show superior

13、ityq等效性检验:Trials to show equivalence q非劣效性检验:Trials to show or noninferiorityq剂量反应关系检验:Trials to show dose-response relationship 优效性检验优效性检验目的:显示试验药优于对照药n优于安慰剂优于安慰剂qdemonstrating superiority to placebon优于某阳性对照药优于某阳性对照药qshowing superiority to an active control treatmentn显示剂量反应关系显示剂量反应关系qdemonstrating

14、a dose-response relationship优效性检验优效性检验的假设:优效性检验的假设:nH0:T=S 或或 H0:T S=0nH1:T S n =0.05(双侧双侧)等效性检验n临床等效临床等效qClinical equivalencen生物等效生物等效qBioequivalence 等效性检验 等效性检验的目的:等效性检验的目的:确认两种或多种治疗的效果确认两种或多种治疗的效果差别大小在临床上并无重要意义,即试验药与阳差别大小在临床上并无重要意义,即试验药与阳性对照药在治疗上相当。性对照药在治疗上相当。等效性检验的假设:等效性检验的假设:nH H0(1)0(1):T T S

15、S5%5%H H1(1)1(1):T T S S5%5%nH H0(2)0(2):T T S S5%5%H H1(2)1(2):T T S S 5%5%n 0.05 0.05 双单侧检验双单侧检验临床等效(Clinical Equivalence)-L L T T S S U U L L T T /S S U U-L L T T R R U U L L T T/R R U U 参数参数(均数或率均数或率)的差的差值或比或比值是否接近。是否接近。临床等效(Clinical Equivalence)不等效不等效(Nonequivalent)等效等效(Equivalent)不等效不等效(nonequ

16、ivalent)-0 T S确认两种或多种治疗的效果差别大小在临床上并无重要意义,即试验药与阳性对照药在治疗上相当。非劣效性检验非劣效性检验的目的:显示试验药治疗效果在临床上不劣于阳性对照药。非劣效性检验的假设:H0:TS5%H1:TS5%0.05(单侧)劣效劣效(inferior)非劣效非劣效(noninferior)-0T S临床非劣效(Clinical Noninferiority)目的显示试验药治疗效果在临床上不劣于阳性对照药。等效性和非劣效性检验时,需预先确定一个等效界值(上限和下限)或非劣效界值(下限),这个界值应不超过临床上能接受的最大差别范围,并且应当小于阳性对照的优效性试验所

17、观察到的差异。等效或非劣效界值的确定由主要研究者从临床上认可,而不依赖于生物统计学家。三、基本考虑试验设计中n样本量 q每个临床试验的样本量应符合统计学要求。q药品注册管理办法第四章第二十七条n药物临床试验的受试例数应当根据临床研究的目的,符合统计学的要求和本办法规定的最低临床研究病例数要求。罕见病、特殊病种及其他情况,要求减少临床研究病例数或者免做临床试验的,必须经国家药品监督管理局审查批准。样本含量的确定与以下因素有关:设计的类型主要变量的性质(数值变量或分类变量)临床上认为有意义的差值检验统计量、检验假设、型和型错误等。样本含量(sample size)注册办法中样本含量的要求(I)n临

18、床试验的最低病例数(试验组)要求:v期:2030例,v期:100例,v期:300例,v期:2000例。注册办法中样本含量的要求(II)q生物利用度:1824例;q已获境外上市许可的药品,应当进行人体药代动力学研究和至少100对随机临床试验。多个适应症的,每个主要适应症的病例数不少于60对。注册办法中样本含量的要求(III)q中药材代用品的功能替代研究,应当从国家药品标准中选取能够充分反映被代用药材功效特征的中药制剂作为对照药进行比较研究,每个功效或适应症需经过两种以上中药制剂进行验证,每种制剂临床验证的病例数不得少于100对。注册办法中样本含量的要求(IV)q改变给药途径、改变剂型或者工艺有质

19、的改变的制剂,临床试验的病例数不少于100对 (只作生物等效性试验的可不作临床试验)q生物等效性:1824例注册办法中样本含量的要求(V)n申请已有国家标准的注射剂、中药、天然药物制剂注册,应当进行临床试验,病例数不少于100对。注册办法中样本含量的要求(VI)n速释、缓释、控释制剂应当进行单次和多次给药的人体药代动力学的对比研究,和至少100对的临床试验。注册办法中样本含量的要求(VII)避孕药q期临床试验2030例;q期:100对6个月经周期;q期:1000例12个月经周期;q期临床试验应当充分考虑该类药品的可变因素,完成足够样本量的研究工作。优效性检验例n试验组有效率:试验组有效率:P1

20、=0.60,n安慰剂组有效率:安慰剂组有效率:P2=0.35,取双侧检验。取双侧检验。n样本大小估计如下:样本大小估计如下:等效性检验例n参照药有效率为0.7,试验药有效率为0.7,=0.07(大约为p的10)n双侧检验=0.05n=0.20 N1=N2=734n=0.10 N1=N2=927三、基本考虑试验进行中n期中分析n试验方案的修改期中分析次数与检验水准统计分析次数统计分析次数实际检验水准实际检验水准1 0.0502 0.0293 0.0224 0.0185 0.01660.014280.0120四、数据管理 q研究者应根据受试者的原始观察记录,保证将数据正确、完整、清晰、及时地载入病

21、例报告表。q监查员须确认所有病例报告表填写正确完整,与原始资料一致 q再交由两名操作人员独立地输入数据库中,并用软件对两份输入结果进行比较 q盲态审核q数据库锁定 临床试验数据管理流程图研究者填写CRF监查员数据核查监查员收集CRFDM编写录入程序两个录入员双份独立录入两者有差异?录入员独立更新数据DM编制SAS核查程序产生数据疑问DM初步浏览疑问表需要发疑问?疑问表发监查员研究者答疑修改数据YN数据比对再次比对返回疑问表数据更新数据质量评价报告数据锁定数据传递统计分析YN数据管理项目启动制定数据管理计划临床试验在线数据管理流程图研究者在线录入DM编写逻辑核查条目实时核查产生数据疑问浏览疑问表

22、需要发疑问?在线发送数据疑问研究者答疑修改数据数据质量评价报告数据锁定数据导出统计分析YN项目启动制定数据管理计划EDC系统项目配置数据修改更新确认试验结束?YN监查员DM五、统计分析n统计分析计划书统计分析计划书n统计分析集统计分析集n缺失值及离群值缺失值及离群值n数据变换数据变换n统计分析方法统计分析方法n安全性评价安全性评价五、统计分析(一)统计分析计划书(一)统计分析计划书 q统计分析计划书由试验统计学专业人员起草,并与统计分析计划书由试验统计学专业人员起草,并与主要研究者商定,其内容应比试验方案中所规定的主要研究者商定,其内容应比试验方案中所规定的要求更为具体。要求更为具体。q统计分

23、析计划书应形成于试验方案和病例报告表确统计分析计划书应形成于试验方案和病例报告表确定之后。在临床试验进行过程中,可以修改、补充定之后。在临床试验进行过程中,可以修改、补充和完善。但是在第一次揭盲之前必须以文件形式予和完善。但是在第一次揭盲之前必须以文件形式予以确认,此后不能再作变动。以确认,此后不能再作变动。五、统计分析(一)统计分析计划书(一)统计分析计划书 q统计分析计划书的内容:统计分析计划书的内容:n试验目的,设计方法n统计分析集的定义与选择n主要指标的定义、次要指标的定义n统计分析方法n临床试验的一般描述n基线的比较n疗效的评价n安全性的评价五、统计分析(二二)统计分析集统计分析集q

24、用于统计的分析集需在试验方案的统计部分中明确定义,并在盲态审核时确认每位受试者所属的分析集。q在定义分析数据集时,需遵循以下两个原则:n使偏倚达到最小;n控制I类错误的增加。统计分析集n意向性分析(简称意向性分析(简称ITT)的基本原则)的基本原则q主要分析应包括所有随机化的受试者。即需主要分析应包括所有随机化的受试者。即需要完整地随访所有随机化对象的研究结果,要完整地随访所有随机化对象的研究结果,但实际操作中往往难以达到。但实际操作中往往难以达到。统计分析集n全分析集(简称全分析集(简称FAS)q是指尽可能接近符合意向性分析原则的理想的受试者集。该数据集是从所有随机化的受试者中,以最少的和合

25、理的方法剔除受试者后得出的。q在选择全分析集进行统计分析时,对主要指标缺失值的估计,可以采用最接近的一次观察值进行结转(last observation carry forward,LOCF)。统计分析集n受试者的受试者的“符合方案集符合方案集”(简称(简称PPS),),亦称为亦称为“可评价病例可评价病例”样本。样本。q它是全分析集的一个子集,这些受试者对方案更具依从性,依从性包括以下一些考虑,如所接受的治疗、主要指标测量的可行性以及未对试验方案有大的违反等。q将受试者排除在符合方案集之外的理由应在盲态审核时阐明,并在揭盲之前用文件写明。统计分析集n在确证性试验的药物有效性评价时,宜同时用全分

26、析集和符合方案集进行统计分析。当以上两种数据集的分析结论一致时,可以增强试验结果的可信性。当不一致时,应对其差异进行清楚的讨论和解释。如果符合方案集中被排除的受试者比例太大,则会影响试验的有效性分析。n在很多的临床试验中,全分析集方法是保守的,但更接近药物上市后的疗效。应用符合方案集可以显示试验药物按规定的方案使用的效果,但可能较以后实践中的疗效偏大。统计分析集n对安全性评价的数据集对安全性评价的数据集q应包括所有随机化后至少接受一次治疗的受试者。统计分析计划(三)缺失值及离群值(三)缺失值及离群值 n缺失值是临床试验中的一个潜在的偏倚来源,因缺失值是临床试验中的一个潜在的偏倚来源,因此,病例

27、报告表中原则上不应有缺失值,尤其是此,病例报告表中原则上不应有缺失值,尤其是重要指标(如主要的疗效和安全性指标)必须填重要指标(如主要的疗效和安全性指标)必须填写清楚。写清楚。q对病例报告表中的基本数据,如性别、出生日期、对病例报告表中的基本数据,如性别、出生日期、入组日期和各种观察日期等不得缺失。入组日期和各种观察日期等不得缺失。q试验中观察的阴性结果、测得的结果为零和未能测试验中观察的阴性结果、测得的结果为零和未能测出者,均应有相应的符号表示,不能空缺,以便与出者,均应有相应的符号表示,不能空缺,以便与缺失值相区分。缺失值相区分。统计分析计划n离群值问题的处理离群值问题的处理q应当从医学和

28、统计学专业两方面去判断,尤其应当从医学专业知识判断。离群值的处理应在盲态检查时进行,如果试验方案未预先指定处理方法,则应在实际资料分析时,进行包括和不包括离群值的两种结果比较,研究它们对结果是否不一致以及不一致的直接原因。统计分析计划(四)数据变换(四)数据变换q分析之前对关键变量是否要进行变换,最好根据以前的分析之前对关键变量是否要进行变换,最好根据以前的研究中类似资料的性质,在试验设计时即做出决定。研究中类似资料的性质,在试验设计时即做出决定。q拟采用的变换(如对数、平方根等)及其依据需在试验拟采用的变换(如对数、平方根等)及其依据需在试验方案中说明,数据变换是为了确保资料满足统计分析方方

29、案中说明,数据变换是为了确保资料满足统计分析方法所基于的假设,变换方法的选择原则应是法所基于的假设,变换方法的选择原则应是公认常用公认常用的。的。一些特定变量的常用变换方法已在某些特定的临床领域一些特定变量的常用变换方法已在某些特定的临床领域得到成功地应用得到成功地应用。统计分析计划(五)统计分析方法(五)统计分析方法1.描述性统计分析描述性统计分析 o人口学资料、基线资料和安全性资料人口学资料、基线资料和安全性资料2.可信区间和假设检验可信区间和假设检验 o可信区间和假设检验是对主要指标及次要指标进可信区间和假设检验是对主要指标及次要指标进行评价和估计的必不可少的手段。行评价和估计的必不可少

30、的手段。o单侧、双侧,理由。单侧、双侧,理由。3.协变量分析协变量分析 o年龄、性别、基线、中心、病型年龄、性别、基线、中心、病型73疗效分析时的注意事项立题立题优效?等效?非劣效?优效?等效?非劣效?安全性?有效性?安全性?有效性?资料资料定量?定性?等级?定量?定性?等级?生存资料?生存资料?设计设计平行、交叉、析因平行、交叉、析因序贯、序贯、Adaptive混杂混杂基线、中心、年龄、性别基线、中心、年龄、性别亚型、病程亚型、病程分析分析一般分析、控制一个混杂因素一般分析、控制一个混杂因素控制多个混杂因素(多因素分析方法)控制多个混杂因素(多因素分析方法)统计分析计划(六)安全性评价(六)

31、安全性评价 n描述性分析为主描述性分析为主n全面、细致全面、细致统计分析报告n统计分析报告中需包括:q临床试验的目的、研究设计、随机化、盲法及盲态审核过程、主要指标和次要指标的定义、统计分析集的规定等。q涉及的统计模型,选用的统计分析软件、统计描述的内容、对检验水准的规定、以及进行假设检验和建立可信区间的统计学方法。q数据变换的理由和依据。统计分析表格式样n各中心完成病例及脱落情况各中心完成病例及脱落情况 单单 位位计划病例数计划病例数实际入组实际入组病例数病例数脱落数脱落数1周周2周周3周周试验组试验组 对照组对照组 试验组试验组 对照组对照组 试验组试验组 对照组对照组 试验组试验组 对照

32、组对照组 试验组试验组 对照组对照组01浙江二院浙江二院242402华山医院华山医院242403华西附院华西附院242404友谊医院友谊医院242405武汉同济武汉同济2424统计分析表格式样FAS、PPS与SS 单单 位位FAS病例数病例数()PPS病例数病例数()SS病例数病例数()对照组对照组试验组试验组对照组对照组试验组试验组对照组对照组试验组试验组01浙江二院浙江二院02华山医院华山医院03华西附院华西附院04友谊医院友谊医院05武汉同济武汉同济合计合计统计分析表格式样两组性别比较组组 别别男男女女合计合计对照组对照组试验组试验组合合 计计两组比较的Fisher确切概率 P=统计分析

33、表格式样时时 间间组别组别近愈近愈显效显效好转好转无效无效合计合计Wilcoxon确切概率确切概率疗后疗后1周周对照组对照组(%)试验组试验组(%)疗后疗后2周周对照组对照组(%)试验组试验组(%)疗后疗后3周周对照组对照组(%)试验组试验组(%)疗后各时点ESS疗效等级的比较(FAS)统计分析表格式样实验室观察指标治疗前后的变化指标指标组别组别缺失缺失疗前正常疗前正常疗前异常疗前异常合计合计疗后正常疗后正常 疗后异常疗后异常 疗后正常疗后正常 疗后异常疗后异常红血球红血球 对照组对照组 试验组试验组血色素血色素 对照组对照组 试验组试验组白细胞白细胞 对照组对照组试验组试验组81统计分析时的注意事项n评价数据的质量评价数据的质量n正确定义不同数据集正确定义不同数据集n必须进行疗前可比性分析必须进行疗前可比性分析n有效性分析必须具有针对性有效性分析必须具有针对性n安全性分析必须具体细致安全性分析必须具体细致n为下一阶段临床试验提供依据为下一阶段临床试验提供依据n报告前后要一致报告前后要一致n采用可视程序语句,便于核对和审校采用可视程序语句,便于核对和审校n同时用假设检验和可信区间表达结果同时用假设检验和可信区间表达结果82

展开阅读全文
相关资源
相关搜索

当前位置:首页 > 教育专区 > 大学资料

本站为文档C TO C交易模式,本站只提供存储空间、用户上传的文档直接被用户下载,本站只是中间服务平台,本站所有文档下载所得的收益归上传人(含作者)所有。本站仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私,请立即通知得利文库网,我们立即给予删除!客服QQ:136780468 微信:18945177775 电话:18904686070

工信部备案号:黑ICP备15003705号-8 |  经营许可证:黑B2-20190332号 |   黑公网安备:91230400333293403D

© 2020-2023 www.deliwenku.com 得利文库. All Rights Reserved 黑龙江转换宝科技有限公司 

黑龙江省互联网违法和不良信息举报
举报电话:0468-3380021 邮箱:hgswwxb@163.com