相对评价_增值评价与课堂观察评价的融合_美国教师评价的新趋势_胡咏梅.doc

上传人:a**** 文档编号:5650 上传时间:2017-10-20 格式:DOC 页数:12 大小:375.22KB
返回 下载 相关 举报
相对评价_增值评价与课堂观察评价的融合_美国教师评价的新趋势_胡咏梅.doc_第1页
第1页 / 共12页
相对评价_增值评价与课堂观察评价的融合_美国教师评价的新趋势_胡咏梅.doc_第2页
第2页 / 共12页
点击查看更多>>
资源描述

《相对评价_增值评价与课堂观察评价的融合_美国教师评价的新趋势_胡咏梅.doc》由会员分享,可在线阅读,更多相关《相对评价_增值评价与课堂观察评价的融合_美国教师评价的新趋势_胡咏梅.doc(12页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。

1、2014 年第 8 期 比 较 教 育 研 究 No 8. 2014 (总 第 295 期 ) Comparative Education Review General No 295 相对评价、增值评价与课堂观察评价的融合 美国教师评价的新趋势 胡咏梅 ,施世珊 2 (北京师范大学教育学部 中国基础教育监测协同创新中心,北京 ; 美国密苏里大学经济系,哥伦比亚,密苏里 ) 摘要 目前我国中小学中实施的将考试成绩与教师业绩挂钩、以学校的中高考成绩、学校 升学率等作为评价教 师、学校效能的方法,给教师施加了巨大压力,不利于教师专业发展,也不 利于教师身心健康。本文首先梳理了美国教师评价演变历程,其

2、次分析了美国田纳西州教师教 学有效性的全面评价模式,并指出这种评价模式对我国教师评价改革的几点启示。 关键词 美国;教师;增值评价;发展性评价;教学有效性评价 中图分类号: 文献标识码: 文章编号: ) -0044-07 在我国,教育评价作为改进教育管理和教学 实践的工具,一直被教育行政部门倡导和推行,在 广大中小学校也得以普遍使用。然而,目前我国基 础教育阶段的教育评价主要以学生的学业成绩为 评价目标,教育行政部门和学校仅重视学生的中 高考成绩、升学率等。这种评价违背了教育评价监 测和诊断学校教育质量,帮助教师改进教学的最 初目标,并导致了教育不公平现象的产生。 为了 更加科学、准 确地评价

3、学校和教师的效能,教育评 价领域迫切需要新的评价方法。本文试图借鉴美 国田纳西州的教师评价模式,以期有助于我国教 师评价的改革。 一 、 美国教师评 价模式的演变 (一)增值评价模式的兴起与争论 自 世纪 年代以来,以科尔曼报告为 起点,学校效能的增值评价研究在美英等国逐渐 发展起来。 世纪 年代,困扰美国的基础教育 质量危机再一次将公众目光聚焦到学生学业成绩 之上。为应对越来越严重的质量危机,美国国会颁 布了 项国家教育目标。为 响应这些目标,美国各 州掀起教育改革的浪潮。田纳西州也相应发起了教 育立法运动。 年,该州政府签署了教育改进 法案( ,),并将增值 评价系统列为该法案中教育问责体

4、系的一部分。 田纳西州增值评价系统( ,以下简称 )是由威廉 桑 德斯( )教授及其团队首先创立 的,也是目前世界上最为完善、使用最为广泛的增 值评价系统之一。该增 值评价主要通过追踪学生 在一段时间内学业上的变化,考察学校或教师对 学生学业成绩影响的净效应,进而实现对学校或 教师效能较为科学、客观的评价。 与以往基于平 均成绩的横截面评价相比,增值评价最突出的优 本文系国家自然科学基金项目()和教育部 年度 “新世纪优秀人才支持计划 ”项目的研究成果。 作者简介: 胡咏梅,女,安徽六安人,北京师范大学教育学部教授,管理学博士; 施世珊,女,浙江金华人,美国密苏里大学经济系博士研究 生。 1

5、44 No 8 2014 比 较 教 育 研 究 2014 年第 8 期 General No 295 Comparative Education Review ( 总第 295 期 ) 势在于保证了评估学校系统、教师对学生成绩影 响的公平性。利用增值评价结果作为对教师年度 绩效考评的依据,有助于达成对教师评价的公平 性,有利于激发生源质量较差的学校促进学生进 步的动力。 但是,增值评价模式也遭到了不少学者的质 疑。 首先,增值分数不能完全反映学生能力,仅 是测量学生学业成绩进步的指标。其次,增值评价 模型很可能遗漏重要的无法衡量的变量,比如学 生个人能力。更为重要的是,如果仅以两年 的数据

6、来计算增值( ),由于学生不是随机分派 到教学班所引起的增值评价的误差率会较高,所 以,增值分的高低不能作为评价教师教学有效性的 唯一依据,增值评价也不能作为解决传统教育评价 体系问题的 “万能药 ”。它的出现不是对其他评价 方法的彻底否定,而是一种有益的补充。在评价学 校和教师的效能时,不能将增值评价的结果作为唯 一的依据,而应和其他的评价方法一起使用。 (二)发展性教师评价模式 世纪 年代以后的美国,各州逐渐推行了 以发展性评价为主的教师评价制度。这一评价模 式的目的不 仅要评估教师的教学水平,更重要的 是要诊断教学问题,为改进教学、促进教师的专业 成长服务。评价的重心是在教师的参与和主体

7、性 上,在评价 双方的对话和 沟通上,在教学 过程的 多方面信息收集上。相比以学生成绩为基础的增 值性评价,后者更有利于教师的发展,减少评价的 风险。 年,田纳西州开始推行发展性教师评价 制度。这种以发展为导向的评价模式不仅鼓励教 师创新,激励他们共同合作,开展教研活动,而且 重视教学策略、学术内容标准和教师课堂教学的责 任。教师在计划、教学策略、评定和评价、教学环 境、专业发展 、交流 个领域接受评价,每个领域 都有相应的指向教学行为水平的指标体系。 这种评价模式的缺陷与其优点一样突出:第 一、由于以 定性评价为主 ,很 多程序需要 教师本 人去 做定性评价,撰写大量的文字,过程繁琐,给 教

8、师增添了繁重的评价负担。第二、不同群体设立 不同的评价标准要求,因而难以对全校教师给出 统一的评定等级 ,更 不便于对全学 区、全州教师 进行比较。因此,也就不能以此评价结果为依据, 制定相应的激励教师、学校、学区的政策;同时,也 不便于鉴别 出高质量的学校、高效能的教师,从而 为家长择校提供有价值的信息。第三、这种评价模 式虽然能有效地促进教师专业发展,使教师个体 真正得到选择自身发展的权利,但该模式突出的 问题是没有对学校进行问责,公众无法了解学校 教育质量状况。 (三)增值评价与发展性评价的融合 教师 教学有效性的全面评价模式 世纪以来,美国学界对教师评价核心内容 的讨论涉及两个方面:一

9、方面是公众对教师的问 责;另一方面是来自教师对提高职业水平的发展 需求。前者倡导教师评价的绩效标准,并对学生的 学业成就进行具体量化的测验;而后者则 强调教师 评价为提高教师的教学质量决策提供支持,强调 具体的情境因素而往往否定具体的标准。 ” 美国 国家教学专业标准委员会尝试努力调和绩效标准 与职业发展需要这两个对立的目标,认为 “教学是 教育的核心。国家能够促进学校发展的最重要行 动是增强教学 ”。 因此,该委员会促使各州采取了 一系列增强教学和促进学校发展的策略,并且开 发了多种模式的教师评价系统。 例如,路易斯安那州建立了第一个以学习者 为中心的课堂评价体系 教与学考评体系( ,以下简

10、称 )。教与学考评体系模式将 评价重心放在课程评价和教学评价上。因此,与仅 仅关注教师教学行为以及教师课堂表现的发展性 教师评价相比,教与学考评体系模式在提高教师 教学水平和学生学习能力及成绩等方面具有更大 潜力。 随着时间的推移,田纳西州的增殖评价系统 发展得越来越完善,并使该州在 年获得了 “迈 向巅峰 ” ,) 项目的高达 亿 多美元的巨额资助。美国教育消费者基金会主席 斯通() 在 评价田纳西州 “领跑巅峰 ”( ,以下简称 )项目方案时指出,该方 案抓 住了教育 的精 髓 提高 学生的 知识和 技 能,将学生学业的进步作为教育的首要目标。增殖 评价系统作为分析和帮助学生知识技能提高的

11、评 45 2014 年第 8 期 比 较 教 育 研 究 No 8. 2014 (总 第 295 期 ) Comparative Education Review General No 295 价工具,在 “领跑巅峰 ”项目中具有非常重要的地 位,并受到了政策制定者的青睐。 “领 跑巅峰 ”项目 中提出 的新的教 师评估模 式 教学有效性的全面评价( ,以下简称 )是一种将增值 评价、发展性评价以及相对评价相融合的评估模 式。增值评价延续了增殖评价系统评价方法,发 展性评价是以前述教师专业发展评价模式为基础, 相对评价是指传统的以学生某一时点学业平均成 绩为依据的教师教学绩效评价。这种教师评估

12、模 式既关注教师课堂教学责任,也关注教师职业发 展和学校质量的提升。下面详细介绍该模式的运 行程序与评估方法。 二 、 教 师教 学有 效性 的全 面评 价模式 培养卓越教师和学校领导者是美国田纳西州 “迈 向巅峰 ”美国教育 改革项目的核心 任务。在 学 年初,田纳 西教育厅( ,)开始实施 “田纳西 教师发展提速项目 ” ,以下简称 ),从此一种新的教 师年度绩效考评体系在田纳西州中小学校全面推 行。这一教师于发展项目的核心价值体现在以下 四个方面:() 为学校改进教与学提供持续性的 建设性意见;)支持教师发挥教学特长,从而提 高教师教学水平,提高学生学业成绩;)通过评 估鉴别出最有效的教

13、师、最有效的管理方式,并号 召其他学校学习借鉴,从而提升全州 各校的教学 水平和管理水平 ;) 将学生成绩与课堂观察信 息相结合,对教师的教学有效性做出全面评估。 这种新的教师评估模式规定教师年度绩效评 估得分由三部分评估项目得分加权获得:其一是来 自两个时点学生成绩进步测评的增值评价得分, 该项权重为 ;其二是来自某一时点由该州教育 委员会认可的 考试项目(如 、 等)学生成绩与给定标准相比较的得分, 如平均成 绩、年级排名、成绩合格率等,该项权重为 ;其 三是来自由校长、副校长、教育专家以及部分教师 组成的评委给出的课堂观察定性评估得分,该项 权重最大,为 。 这种评估结果不仅会影响到 4

14、6 已有教师的职称晋升和续聘,而且将直接影响新 聘教师能否获得永久职位。 (一)学生成绩进步评估 在教师有效性的定量评估中,以学生成绩进 步为基础的增值评价所占比值较大,它是对 年 月田纳西州通过的教育改进法案中确立的 田纳西教师增值评价模式的延续。增值评价模式 假设学生逐年测 验成绩的变化能够准确反映学生 的学业进步,而非单纯地用某个时间点的学业成 绩来评判,这一方法克服了使用横截面数据对地 区、学校和教师评价的缺陷。 增值评价模式所指的学校增值分数,是 年级 学生的数学、阅读、科学、社会学这 门核心 课程成绩 的平均累积增 值占州进步 常模的百 分 比。这个增值分数代表的是近 年的平均数值

15、,比 如 年的报告卡,最近 年指的就是 、 和 年;平均累积增值是衡量教师和学校是否 有效提高学生学业成绩的最主要指标。州进步常 模则成为 评价田纳西州教育者绩效责任的尺度。 教师个体的增值分数是利用所教授的学生成绩的 增值计算所得的相对等级分数( 个等级)。 年级的教师的增值评价模式分数是取决于数学、 阅读 、科学、社会 学这 门课程 的 考试 成 绩。 年级的高中教师的增值评价模式分数是 取决于课程期末考试成绩和 考试成绩。对于 没有自己增值评价模式分数的教师,比如历史和音 乐教师,他们的增值评价模式分数, 学 年用的是学校的增值分数。如何公平地衡量这些教 师的教学绩效还在进一步研 究中。

16、 (二)学生成绩评估 除了利用学生成绩进步来评估教师教学有效 性,教师教学有效性的全面评价模式还吸收了传 统的学生成绩相对评价的方法,这种评估方法弥 补了增值评价不考虑学生学习起点的不足。因为 对于不同起点的学生群体来说 ,起点高 的群体获 得成绩进步的难度是明显高于起点低的群体获得 同样的进步程度。州教育委员会( )认定几类考试成绩可以 作为此项评估 的成 绩,如 成绩、全 国或 州统 考成 绩、 成绩、 成绩等。校长、副校长等 No 8 2014 比 较 教 育 研 究 2014 年第 8 期 General No 295 Comparative Education Review ( 总第

17、 295 期 ) 评估专家与被评教师协商选择哪种考试成绩作为 参评成绩,并共同填写成绩评估表( ),评定等级为 。 (三)课堂观察评价 这种新的教师评价模式将教师专业发展评价 置于最重要的地位,不仅赋予的权重最大,而且其 评估程序也最为复杂。该评价模式要求教师在教学 计划、教学环境、教学过程三个方面接受评估专家 的课堂观察评价。这三个方面都有相应的指标体 系(参见下页课堂教学观察记录表), 评价采用专 家评价和教师自评相结合的方式,评分等级为。 评估专家根据多次课堂观察情况,并在评估 会议上与教师一 起讨论确定教师 的 “优势领域 ” ( )和 “需要提升的领域 ” )。在教学计划、教学环境、

18、教学过 程三个方面的任何一个领域如有一个指标没有达 到预期,都会导致那个领域被确定为 “需要提升的 领域 ”,评估专家将会在评估反馈表中给出详细的 描述和如何改进的专业性建议。教师本人也可以 在该表 “ 教师反馈 ” )一栏 针对评估专家的改进建议给予回应,提出不同看 法或给出具体的行动计划。 在整个评价过程中,评价人员通过课堂观察、 信息记录、教师反思、与教师面谈等方式搜集关于 教师课堂教学水平的信息。而且,被评教师的课堂 观察评价得分是在年末评估会上评估专家与之讨 论协商后最终确定的。 基于以上对教师教学有效性的全面评价模式 的介绍,可以发现该模式具有以下三个特点:第一、 以事实数据为基础

19、,评估方法和技术科学、有效。 该模式定量评估部分基于大规模的信度、效度高 的标准化考试成绩, 既重视学业成绩的进步分数, 也注重学业成绩的相对等级评定,弥补了增值评 价对不同起点学生进步难 度不同的不足,而且评 价标准客观,评价方法、技术科学,保证了评价结 果的公平、公正。该模式定性评估的程序严格,数 据采集可靠。教师本人也参与课堂观察评估的全 过程,与 评估专 家协商 “优势 领域 ”、 可提 升领 域 ”,并在最终评定结论方面达成一致,从而保证 了评价结果的公正性。第二、评价结果可以为教师 专业发展、学生提高学业成绩提供有价值的信息。 例如,增殖评价系统可以帮助教师了解学 生 以前 的成绩

20、,有助于教师根据学生的学习基础制定更 加适合本班学生的教学计划,从而提高教学效能。 由评估专家主导的课堂观察评价更是聚焦在如何 提升教师课堂教学水平,如何帮助教师获得专业 发展等方面。第三、评价结果为回复问责和激励教 师专业发展提供了可靠依据。至今美国公众对学 校教育质量的问责从未停止过。问责意味着需要 利用学生 学习结果的数 据来评价教师 的教学 效 果,即以标准化的考试成绩结果来说明教师对提 高教育质量的作用;而倡导教师专业发展的评价 模式则更强调评价对提高教师教学技能的意义, 否定 “标 准化 ”。 如何调和这两种评价模式之间的 对立,是美国教育政策制定者面临的难题。田纳西 州这种新的教

21、师教学有效性的全面评价模式真正 做到了两种评价模式的融合,因而能够为回复问责 和激励教师专业发展提供可靠信息和决策参考。 三 、 对我国教师评价改革的启示 我国的实际情况表明,将考试成绩与教师业 绩挂钩、以学校的中高考成绩、学校升学率等作为 评价教师、学校效能的方法,给从事一线教学的教 师施加了巨大的压力,他们要付出大量的时间和 精力,也逼迫学生完成不堪重负的学业任务,所带 来的直接后果就是师生均处于心理的高负荷, 甚 至是身体的亚健康状态。这不仅不利于师生身心 健康,更是扭曲了课程与教学之间的关系,教师与 学生之间的关系,使考试成绩、升学率成为控制教 师和学生的手段。借鉴田纳西州新的教师教学

22、有 效性的全面评价模式,我们可从以下几个方面推 进我国教师评价的改革。 (一)将定量评估与定性评价相结合,注重发 挥评价的诊断 、 改进功能 教师评价应综合定量评估和定性评价,将学 生成绩的静态数据与学生成绩进步的动态指标赋 予不同权重,作为定量评估教师教学有效性的依 据。定量评估注重以大规模统考成绩作为教师教 威廉 桑德斯( )在田纳西州增殖评价系统报告中提及,自从 年增殖评价系统在 田纳西州实施以来, 田纳西州是美国少数几个在国家教育进步评估中学生成绩得到增长的州之一。 47 2014 年第 8 期 比 较 教 育 研 究 No 8. 2014 (总 第 295 期 ) Comparati

23、ve Education Review 教师课堂教学观察记录表 ( 分量表) General No 295 ( 48 教学计划 () 评分标准 ( 观察者评估 ) 教师自评 ( ) 教学计划 () 基于州课程标准设立教学目标,组织教学内容和活动,教学计划 符合所有学生的年龄层,学习基础和兴趣,并提供机会照顾到每 一个学生的需求 学生作业 ( ) 作业要求 学生:分析信息 ,而不 是复制。归纳 总结并提出论 据。联系学到的知识和自己的实际生活 教学评价 ( 根据州课程标准设立评价标准,并采用多种测评方法和手段,以 确定学生对内容的掌握程度 教学环境 ( 评分标准 ( 观察者评估 ) 教师自评 (

24、 ) 教学期望 () 给每个学生设立适度高的学习期望,鼓励学生从错误中学习,并 给多数学生提供获得学习成就感的机会 学生行为管理( ) 采取有效策略和方式,规范学生课堂行为,保持课堂秩序 学习环境 ( 创设令学生感到愉悦的学习环境,各种学习资源便于获取,也有 空间展示学生学习作品, 教室的布置可以开展个体学习或小组 学习 尊重的文化 () 师生相互尊重,教师也会接受学生的意见和建议 教学过程 () 评分标准 ( 观察者评估 ) 教师自评 ( ) 教学目的和目标 ) 确立适当的教学目的和目标,并明确地传递给学生 激励学生 () 教学内容对 于学生来说是有实际意义的 ,并提供机会让学生主 动探究,

25、激发学生的好奇心和学习兴趣,也对学生的突出表现给 予奖励 呈现教学内容( 首先明确 教学目的,然后采用示例、说明、分析等 方式解释 新的 概念和原理,并且结束前有课程总结。教学语言精确,逻辑性强 教学节奏和进度( ) 迅速进入新课,结构清晰、合理,并能够根据学生课堂反应情况, 及时调整教学节奏和进度 教学活动和资料的组织 ( ) 高效率地组织教学活动,激发学生思考,持续地使学生的注意力 集中,合理使用和配置教学资料 提问( ) 高水平的 提问,问 题与实现教学目标 有关,保 证不同性别 学生、 不同能力学生的回答问题的机会均等 教学反馈 ( ) 对学生发言或活动及时给予专业性的指 导和评价,对

26、学生作业 给予批改和评价,并根据学生表现和作业情况调整教学计划 分组学习 ( ) 根据 教学内容需要,安排分小组学习,使学生明确在小组学习中 的角色、责任和任务 教学知识( ) 全面掌握教学所需知识,经常实行各种 针对不同学科的教学策 略来加强学生对知识的掌握,经常强调重点知识,并以此引导出 更深层的想法,教有限的内容以便给学生发展理解的空间 No 8 2014 比 较 教 育 研 究 2014 年第 8 期 General No 295 Comparative Education Review ( 总第 295 期 ) 对学生的了解( ) 思维能力() 问题解决能力 ( ) 了解每个学生学习

27、的难点,能够实施 “因材施教 ” 在教学中注重提高学生两种或两种以上能力:分析问题的能力、 实践能力、创新能力以及研究能力 在教学中至少培养学生以下能力中的三种:做摘要、归类、总结、 预测、观察和实验 、改进方案、识别相关 不相关的信息 、提出 观 点、创造或设计 注:表中给出的评分标准是满分( 分)标准 , 分、 分标准要略少或程度略弱。例如,问题解决能力的 分标准是在教学 中培养 学生两种此方面的能力即可, 分标准是教师没有在教学中开展与这些能力培养相关的活动。 学绩效的评估数据,而定性评价则以关注教师课 堂教学过程为重心,多次采集课堂观察评价指标 数据,并将评估专家评价与教师自评相结合,

28、多维 度、多视角地考察教师课堂教学水平及其变化,评 价结果由专家与教师协商认定。同时,应注重发 挥评价的诊断、改进功能,帮助教师制定改进教学 薄弱环节、促进专业发展的具体行动计划。 (二)关注课堂教学过程评价 ,以提高 “教 ”与 “学 ”为最终目标 我国基础教育课程改革纲要(试行)指出: 要 “建立促进教师不断提高的评价体系,强调教师 对自己教学行为的分析与反思,建立以教师自评 为主,校长 、教 师、学生、家长共同参 与的评价制 度,使教师从多种渠道获取信息, 不断提高教学水 平。 ”所以新课改要求教师评价要关注教师课堂教 学过程,评价主体多 元化,教师课堂教 学过程评 价既需要同行专家的专

29、业指导性评价,也需要从 学生 课堂教学活动直接参与者、受益者的角 度评价教学效果和教师的教学责任。美国田纳西 州教学有效性全面 评价模式也是将课堂观察评价 置于最重要的地位,并赋予在教师评价指标体系 中的最大权重。这种以课堂教学观察评价为重点 的教师教学有效性评价有利于达成提高教师教学 水平与学生学习能力的双重目标。 (三)开展国家和省层级的学生学业统考,为 增值评价提供基础数据,促进教师评价的公平性 田纳西州等增值评价系统中的增值是每个学 生连续几年的平均增值与相同年级相同学科国家 或州进步常模相比所得的结果,这是反映学校和 教师促进学生学业进步有效性的指标,而国家常 模则是评价各州教育绩效

30、责任的基准。因此,要真 正实施增值评价 ,我国需要开展国家和省层级的 各年级各学科的学业统考,设立国家或省层级的 进步常模,为对教师教学绩效进行客观评价提供 基础数据,建立追踪测试的数据库系统,并将各年 度的追踪测试分数做等值处理,从而保证对教师 绩效评价的公正性。 参考文献: 周 燕,边玉芳美国 的解读及其对我国教育 评价的启示 全球教育展望,): 辛涛等 增 值性评 价的 回顾与 前瞻中国 教育学 刊,):, , , (): ,(): , ,? ,(): , :, ,(): , () ? ,(): 徐丹,牛月蕾 教育增值评价先行者 美 国田纳西州 教育增值评价模式解析教育科学,): 张蕾

31、美国田纳西州教师评价和专业发展的框架及借鉴 意义 世界教育信息,): 孙炳海,申继亮美国教师评价的发展历程与 评价 模型研究述评比较教育研究,): 49 2014 年第 8 期 比 较 教 育 研 究 No 8. 2014 (总 第 295 期 ) Comparative Education Review General No 295 项聪美国教师评价的发展历程与最新改革动向外 国教育研究,): : ( ) : () : ( ) : , 孙炳海,申继亮美国教师评价的发展历程与评价模型 研究述评比较教育研究,): A New Trend in Teacher Evaluation: Combin

32、ation of Achievement Measure, Growth Measure and Observation Measure HU Yong-mei, SHI Shi-shan Abstract: , , , Key words: ; (); ; 本文责编:晓 洁 ! (上 接第 页 ) Contents and Features of the Federal State Educational Standard in Training Direction of Teacher Education of Third Generation in Russia : bachelor standard LI Yan-hui Abstract: , , , , , Key words: ; ;

展开阅读全文
相关资源
相关搜索

当前位置:首页 > 研究报告 > 论证报告

本站为文档C TO C交易模式,本站只提供存储空间、用户上传的文档直接被用户下载,本站只是中间服务平台,本站所有文档下载所得的收益归上传人(含作者)所有。本站仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私,请立即通知得利文库网,我们立即给予删除!客服QQ:136780468 微信:18945177775 电话:18904686070

工信部备案号:黑ICP备15003705号-8 |  经营许可证:黑B2-20190332号 |   黑公网安备:91230400333293403D

© 2020-2023 www.deliwenku.com 得利文库. All Rights Reserved 黑龙江转换宝科技有限公司 

黑龙江省互联网违法和不良信息举报
举报电话:0468-3380021 邮箱:hgswwxb@163.com