员工培训评估与反馈专题培训.ppt

上传人:可**** 文档编号:95479110 上传时间:2023-08-24 格式:PPT 页数:44 大小:2.53MB
返回 下载 相关 举报
员工培训评估与反馈专题培训.ppt_第1页
第1页 / 共44页
员工培训评估与反馈专题培训.ppt_第2页
第2页 / 共44页
点击查看更多>>
资源描述

《员工培训评估与反馈专题培训.ppt》由会员分享,可在线阅读,更多相关《员工培训评估与反馈专题培训.ppt(44页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。

1、培训评估与反馈专题培训培训评估的作用1234目目 录录探讨:如何开展培训评估培训评估的具体操作方法培训评估的方式一、培训评估的作用一、培训评估的作用标准答案:可以对培训效果进行正确合理的判断,以便了解某一项目是否达到原定的目标。(培训要有目标)受训人知识技术能力的提高或行为表现的改变是否直接来自培训的本身。(培训要有作用)可以检查出培训的费用效益,评估培训活动的支出与收入的效益如何,有助于使资金得到更加合理的配置。(培训费用的投入是必要的)可以较客观地评价培训者的工作。(培训人员的工作是有价值的)(内外部监督、监查的影响)可以为管理者决策提供所需的信息。(事故率、生产率、员工离职率、次品率、员

2、工士气以及客户满意度)一、培训评估的作用一、培训评估的作用1.从结果上看:明确培训是否能起到真正作用?课程对参加者的态度、意识、知识、技能是否有产生影响?对学员工作中的难题是否有启发?是否有帮忙到工作的开展,甚至生意业绩的提升?无论对培训的组织部门、业务部门经理还是企业决策层都应该在每次培训项目后关注以上问题。否则,就会产生盲目投资的行为,为了培训而培训,不利于企业良性发展;也不利于培训负责人组织下一个培训项目的立项和审批。目前已有部分优秀、负责人的培训机构(如“优识公司”)提出讲“培训”做成“培养”,这其实就是培训的目的最好的诠释。一、培训评估的作用一、培训评估的作用2.从实施过程上进行分析

3、 作为培训负责部门应全面掌握并控制培训的质量,对不合格的培训,应该及时找到失误的地方进行纠正。同时总结工作中成功的亮点,本着不断改进培训质量的原则,把培训工作越办越好。一、培训评估的作用一、培训评估的作用延伸作用:1)判断培训师的授课水平:是否再次聘用?是否需要通过培训提高培训技能?2)培训课件的适用性:培训课件的内容是否适合培训对象?是否需要增加、删除或者修改培训课件?3)培训组织水平:培训方式是否合适?培训时间安排是否适宜?培训组织是否周全?培训环境是否需要改善?(教室布置、音响、投影等)一、培训评估的作用一、培训评估的作用延伸作用:4)培训人员是否掌握培训内容:课堂氛围?课堂纪律?课堂反

4、响?5)培训人员是否使用了培训所学的知识、技能:通过培训,培训人员的行为是否得到改善?应用知识的能力是否提高?是否通过使用所学的内容改进了工作?6)企业的效益是否因此提高:工作效率是否提高?不符合项是否减少?现场产品的一次合格率是否提高?现场安全整改项是否减少?文档验收合格率是否提高?二、培训评估的方式二、培训评估的方式(一)柯氏评估模型(四级评估模型)(二)Kaufman(考夫曼)五层次评估(三)Phillips五级投资回报率(RIO)模型(四)CSE分阶段评估模式(五)CIRO四项目评估(六)CIPP评估模型(一)柯氏评估模型(一)柯氏评估模型 柯克帕特里克培训效果评估模型是由唐.柯克帕特

5、里克(Donald L.Kirkpatrick)于1976年提出的评估模型,故称为柯氏评估模型,也叫四级评估模型。目前,柯氏评估模型是最为人们熟知,应用最为广泛的培训评估模型之一。1、柯氏评估模型的主要内容 柯克帕特里克将培训效果分为4个递进的层次:反应层、学习层、行为层、效果层,并且提出在这四个层次上对培训效果进行评估。该模型的主要内容是:(一)柯氏评估模型(一)柯氏评估模型反应层(reaction)评估学员对培训项目满意吗?四大部分:项目、课程、教师、设施 反应层评估是指受训人员对培训项目的印象如何,包括对讲师和培训科目、设施、方法、内容、自己收获的大小等方面的看法。反应层评估主要是在培训

6、项目结束时,通过问卷调查来收集受训人员对于培训项目的效果和有用性的反应。这个层次的评估可以作为改进培训内容、培训方式、教学进度等方面的建议或综合评估的参考,但不能作为评估的结果。(一)柯氏评估模型(一)柯氏评估模型学习层(learning)评估 学员学到东西吗?学习获得程度两大部分:学习成果、学习质量 学习层评估是目前最常见、也是最常用到的一种评价方式。它是测量受训人员对原理、技能、态度等培训内容的理解和掌握程度。学习层评估可以采用笔试、实地操作和工作模拟等方法来考查。培训组织者可以通过书面考试、操作测试等方法来了解受训人员在培训前后,知识以及技能的掌握方面有多大程度的提高。(一)柯氏评估模型

7、(一)柯氏评估模型行为层(behavior)评估 对学员工作产生什么影响?两大部分:行为变化、知识运用 行为层的评估指在培训结束后的一段时间里,由受 训人员的上级、同事、下属或者客户观察他们的行为在培训前后是否发生变化,是否在工作中运用了培训中学到的知识。这个层次的评估可以包括受训人员的主观感觉、下属和同事对其培训前后行为变化的对比,以及受训人员本人的自评。这通常需要借助于一系列的评估表来考察受训人员培训后在实际工作中行为的变化,以判断所学知识、技能对实际工作的影响。行为层是考查培训效果的最重要的指标。(一)柯氏评估模型(一)柯氏评估模型 效果层(result)评估 对公司经营产生什么影响?培

8、训对组织绩效的影响 效果层的评估即判断培训是否能给企业的经营成果带来具体而直接的贡献,这一层次的评估上升到了组织的高度。效果层评估可以通过一系列指标来衡量,如事故率、生产率、员工离职率、次品率、员工士气以及客户满意度等。通过对这些指标的分析,管理层能够了解培训所带来的收益。(二)(二)KaufmanKaufman(考夫曼)五层次评估(考夫曼)五层次评估培训资源评估柯氏4R评估考夫曼(Kaufman)扩展了柯克帕特里克的四层次模型,他认为培训能否成功,培训前的各种资源的获得至关重要,因而应该在模型中加上这一层次的评估。他认为,培训所产生的效果不仅仅对本组织有益,它最终会作用于组织所处的环境,从而

9、给组织带来效益。因而他加上了第五个层次,即评估社会和客户的反应。(三)(三)PhillipsPhillips五五级级投投资资回回报报率(率(RIORIO)模型)模型菲力普斯(Phillips)于1996年提出五级投资回报率(ROI)模型,该模型在柯克帕特里克的四层次模型上加入了第五个层次:投资回报率。形成了一个五级投资回报率模型。第五层次评估是培训结果的货币价值及其成本,往往用百分比表示,重点是将培训所带来的收益与其成本进行对比,来测算有关投资回报率指标。由于投资回报率是一个较为宽泛的概念,可以包含培训项目的任何效益,这里将投资回报率看作培训项目的成本和效益相比后所得出的实际价值。五级投资回报

10、率模型也是目前比较常用的一种评估方法。(四)(四)CSECSE分阶段评估模式分阶段评估模式分阶段评估模式中典型的评估模型有CSE评估模式、CIRO评估方法、CIPP模型等。CSE评估模式是加利福利亚大学评价研究中心提出的。该评估模式的特点是针对整个培训过程分阶段进行评估,因而不受时间、条件限制,也较容易操作。与其他评估模式相比,它的优势主要体现在阶段性、综合性与全程评估相结合上。因其将整个培训的发生、发展过程分为阶段进行评估,从而有效地获取培训过程中的各阶段、各环节的可靠信息,不断控制、调整和改进培训工作。(五)(五)CIROCIRO四项目评估四项目评估CIRO评估方法由沃尔(Warr.p)、

11、伯德(Bird.M)和雷克汉姆(Rackham.N)三位专家提出,它描述了四种基本的评估级别,即背景评估、投入评估、反应评估、产出评估。这四种评估级别分别对应于培训需求分析、培训资源和培训方法确定、受训者对培训的反应、培训结果收集等四个阶段,它实际主张培训效果评估贯穿于整个培训工作流程,应与培训工作同步开展。背景评估:培训的必要性投入评估:培训的可能性反应评估:学员反馈信息产出评估:培训的结果(六)(六)CIPPCIPP评估模型评估模型CIPP模型与CIRO相似,这种方法认为评估必须从情境、投入、过程和成果四个方面进行。情境评估:分析培训需求及所需的方法投入评估:对培训方案的可行性进行评估过程

12、评估:反馈培训过程信息,以便及时改进成果评估:对目标实现的程度进行评估三、培训评估的具体操作方法三、培训评估的具体操作方法(一)柯氏四级评估的具体操作方法(二)使用柯氏评估模型的三大误区(三)为什么需要对这四个层次进行评估三、培训评估的具体操作方法三、培训评估的具体操作方法(一)柯氏四级评估的具体操作方法1、反映层评估 这个层级评估通常是设计问卷调查表,是现在企业通常采取的评估形式。通常企业的反应评估的内容主要分为培训组织情况、讲师和自我评估三个方面,详细内容分为:A、培训组织情况(含告诉时间、环境与设施、课程及教材、住宿部署、工作人员服务等)B、讲师情况(才能、语气语调、控场能力等)C、自我

13、评估(投入状态、积极性、学习内容等)三、培训评估的具体操作方法三、培训评估的具体操作方法2、学习层评估学习层面的评估,主要是学员把握了多少知识和技巧。因此,通常通过书面测验、撰写学习心得、讲演、行为改善方案等进行。详细操作中,有如下的方法:A、在反应层级评估基本上,增添学习内容测试和问答题,要求运用所学的知识进行解答。可以分为基础知识点和情景模仿问答。B、在实际过程中,特殊是OTJ内容,学习层面的评估是进行现场操作,在操作过程中重要要害常识点的控制。C、一些专业性岗位的课程学习后,要求依照学习的内容和时间提出本人的改良计划,并交给直接上级负责监视履行。三、培训评估的具体操作方法三、培训评估的具

14、体操作方法3、行为层评估行为层面的评估是一个需要时光的进程,通常此类评估通过前后对比、360度调查和绩效考察方法进行。个别时间大概是36个月,甚至一年以落后行。为斟酌公正性,行动层面评估需要其余人的参与,普通评估职员的组合是由学员、共事、下属和上司进行。操作的基础步骤是,在培训结束之时,请求学员制定一份有量化改良的实践打算,列明当初的情形和需要改进到达的方面。然后,制订为跟踪评估调查问卷,并商定在培训停止34个月左右的时间里,对学员进行跟踪考察。而后,培训师、学员与学员上司讨论实际具体规划,并由直接上级备份。当约定的评估时间内,培训师须要进一步与直接上级接触进行评估交换。约定的时间到后,学员本

15、人和直接上级进行评估。有的时候,培训师也加入到评估中。值得注意的是,在实际的操作中,我们发现直接上级的评估存在必定的偏差,因而,我们在进行行为层面的评估中会邀请同事进行间接调查。一般情况下,最后评定的量化结果按照上级评估:自评:同事(含培训师)为40:30:30的权重比例得出行为转变量化指标。三、培训评估的具体操作方法三、培训评估的具体操作方法4、结果层评估结果层面的评估是培训评估最大的难点。由于对企业经营结果产生影响的不仅仅是培训活动,还有很多其他因素都会影响企业的经营结果。在操作过程中,我们也试图应用一些量化的办法进行结果层面的评估,但遗憾的是,这些量化的评估方式只可以供借鉴,而不能相对的

16、起到“112”的这样直观评估效果。我个人以为,成果层面的评估除开讨论最多的前后测与对照组法外,也可以根据通用的一些海内外进行的培训成本收益剖析提供参考。培训的投资回报(ROI)收益培训的成本。计算前需要成本和收益确实定,成本断定含直接费用(培训老师、交通费、资料费、培训教室等)、间接费用(培训管理人员工资、培训治理费)和正常管理用度(组织的总体支撑、高层管理时间(直接成本和间接成本的10),受训者工资和福利(福利为工资的25)。培训收益一般按照同行业顾客服务同类培训课程平均教养程度的均匀投资回报率计算作为参考。例如,一个公司的某项培训根据上面成本盘算总计为19340.95元,每个受训者的本钱为

17、115.12元,培训收益为:92836.56元,那么,投资回报率就为92836.5619340.95=4.8,即每在方案中投入1员就会带来大约5元的收入。三、培训评估的具体操作方法三、培训评估的具体操作方法(二)使用柯氏评估模型的三大误区1、误区之一:柯氏评估模型的作用只能有限地发挥在前两个层次,即评估反应层和学习层 由于存在着执行难度的原因,大多数企业对柯氏评估模型的使用,都只是进行到了反应层和学习层,很少企业能够推进到行为层和效果层。也就是说,对于培训后续效果的评估比较有限。尽管如此,吉姆.柯克帕特里克认为虽然柯氏评估模型还不是一种尽善尽美的评估方法,但目前包括财富500强在内的企业都没有

18、将隐藏在这一模型背后的真正功能发挥出来,即没有对培训的效果层评估进行有益的尝试。三、培训评估的具体操作方法三、培训评估的具体操作方法(二)使用柯氏评估模型的三大误区2、误区之二:柯氏评估模型仅对一般的培训课程和项目的评估有效 事实上,柯克帕特里克在其原著里指出,设计这个四层次评估模型是为了更好地评估针对管理人员的培训项目。今天的培训更多的是基于战略开展的,是为满足企业发展战略服务的,因此对企业的培训效果的评估也需要与企业的发展战略紧密连在一起,而柯氏四层次评估模型正是以此为出发点的。三、培训评估的具体操作方法三、培训评估的具体操作方法(二)使用柯氏评估模型的三大误区3、误区之三:柯氏评估模型和

19、培训教学设计、胜任特征以及绩效管理毫无关联 吉姆.柯克帕特里克指出,他通过把四层次评估模型和教学设计、胜任特征、绩效管理结合起来进行的一系列的研究发现,把它们联系在一起可以增加四层次评估模型的运用深度,并且可以在此基础上形成战略协同性,这就从真正意义上使人力资源管理中的培训活动成为企业发展战略的“业务伙伴”。柯氏评估模型在提高培训的效果和论证培训活动的有效性方面具有十分重要的作用,但正是上面所述的三个误区以及其他一些误解限制了这些作用的发挥,使这些作用被“隐藏起来”了。三、培训评估的具体操作方法三、培训评估的具体操作方法(三)为什么需要对这四个层次进行评估1、决定某些培训课程是否需要持续下去通

20、常,人们认为一项培训中所包含的课程越多越好,培训的时间越长越好。而培训课程也是按照人们的这种预期来设计的,事实上有些课程达到了它的预期效果之后就应该结束了,但是在实践中却没有这样的课程退出机制。这就导致了培训资源的浪费,使受训人员接受培训的意愿和兴趣减少。因此,企业在开展培训的时候可以根据柯氏评估模型来解决这个问题,具体做法是构建一个矩阵,在这四个层次检验培训课程的内容和培训的目标是否相符合匹配,已经达到培训目标的课程和那些与培训目标不符的课程需要终止,而符合培训目标并且目标尚未达成的课程就需要持续下去。三、培训评估的具体操作方法三、培训评估的具体操作方法(三)为什么需要对这四个层次进行评估2

21、、改进和完善培训项目柯氏评估模型被企业运用最广的方面就是对已经实施的培训项目改进和完善。这是因为企业可以通过培训中和培训结束后收集到的信息和资料来对其进行评估,看这项培训的内容和培训目标是否相匹配,这一过程的实施也是比较容易的。三、培训评估的具体操作方法三、培训评估的具体操作方法(三)为什么需要对这四个层次进行评估3、使培训和战略协调一致对于今天的企业来说,培训是实施必须和企业的发展战略紧密结合起来,因此对培训效果的评估也必须和战略的实施结合起来,使二者之间保持协调一致。而做到这一点的基本假设前提是培训的实施必须满足对特定项目和课程内容的要求。这是因为“变革”是今天世界的主题,不断加快的变革节

22、奏带来不断变化的商业期望和要求。在这种情况下,培训的实施就必须和组织的要求结合在一起,同时也要满足个人希望以及职业发展的需要。只有当培训结果的利益相关者明确了各自的特定需求,并且通过学习和行为的改变满足了他们的这些期望的情况下,培训才真正和战略实现协调一致。由于在行为层和效果层评估过程中收集的资料和信息来自于行为目标和期望的结果判断,借助这些资料和信息我们可以判断培训是否和战略存在这种一致性,并采取相关措施来确保二者之间的这种一致性。三、培训评估的具体操作方法三、培训评估的具体操作方法(三)为什么需要对这四个层次进行评估4、确保对合规的学习强制或合规培训(Mandatory/Complianc

23、e training)是近年来在企业中开始实施并流行的一项十分重要的培训项目,诸如入职培训、报关培训、质量标准培训都是合规培训,它主要或完全通过在线培训(E-learning)的方式进行的,这种培训只需以单一的语言方式传递各类“明文规定”。尽管有人认为由于合规培训是强制实施的,并且在很大程度上侵犯了受训人员在个人学习意愿和主动性方面的自主权,但是对于企业来说尤其是金融和制造行业的企业,在充满风险的市场竞争中,通过合规培训可以降低风险,所以很多企业都十分重视这类培训。由于合规培训主要强调的是对“明文规定”的学习,所以通过柯氏评估模型可以很容易地对培训效果进行评估,而这只需要评估学习层即可。因此,

24、借助柯氏评估模型可以帮助企业实施合规培训,确保受训人员对合规的学习。三、培训评估的具体操作方法三、培训评估的具体操作方法(三)为什么需要对这四个层次进行评估5、论证培训的价值并使其最大化 企业对员工实施培训是为了提高员工能力,从而促进整个企业绩效的提升,给企业带来价值。这既是企业实施培训的初衷和最终目的,也是企业的高层管理者最希望看到的结果。但是企业的高管层常常对培训怎样带来这些结果并不太清楚,他们只关心培训的最终效果,除非培训者能说明培训活动能够为企业带来价值,否则就不能很好地说服管理层来实施这些培训。但是在说明论证某项培训活动的价值之前,培训必须真正地给企业创造了价值。这时,我们就可以借助

25、柯氏评估模型来做到这一点,并且使培训的价值最大化。在论证培训价值的过程中,行为层和效果层就变得格外重要。我们可以通过调查、行为观察、工作访谈/焦点访谈、行动方案等方式来考察受训人员在培训结束回到日常工作后的行为改变、技能提高情况。通过对行为层的评估,我们可以说明培训是怎样引起这些行为改变和能力提升的,而将行为层上的改变与企业绩效的变化结合起来分析就可以说明培训活动是怎样为企业的发展创造价值,并使价值最大化的。四、四、探讨:如何开展培训评估探讨:如何开展培训评估1、树立正确的培训评估观念u每个培训都要有评价一级评估:每个培训项目必做一级、二级评估:仅仅为了增长知识、提升技能、转变态度时做一四级:

26、未来通过行为的转变得到更好的结果时做不能跳级u强调“控制”和“监督”,忽视了“服务”人力资源部培训工程师要与各部门培训工程师共同开展培训评估四、四、探讨:如何开展培训评估探讨:如何开展培训评估2、建立培训评估体系u防止过分依赖评估人员的良心和职业道德u建立持续性的评估制度“一次性”评估,会让人感到形式主义,从而产生一系列消极行为。u修改程序:HYW-GCHYE-HRP-2222013 分公司培训评价管理规定四、四、探讨:如何开展培训评估探讨:如何开展培训评估3、选择合适的评估方式1)可从“培训课堂”中体现 培训讲师在讲授课程的过程中,可用互动式教学方法,用询问的手段向受训者提出问题,来说明自己

27、的观点;其次,通过提问,看看受训者吸收了多少知识,能不能运用所学的理论知识。最后,通过提出问题,让受训者发表,再问他的上司对他本人的看法是否一致。(课堂记录单)四、四、探讨:如何开展培训评估探讨:如何开展培训评估3、选择合适的评估方式2)可从培训调查反馈表中体现 在课程培训后,发出培训调查反馈表,通过此表来评估培训的效果。培训调查反馈表主要内容:培训内容摘要:包括培训机构、培训讲师、培训内容;对本次课程的意见:教材内容、讲师教学方法;培训组织者:课程安排时间、课时、地点是否合适;整体而言,你对参加本次培训课程满意程度如何;是否尚有其他培训机构(或讲师)讲得更好,请告诉我们。(培训调查表)四、四

28、、探讨:如何开展培训评估探讨:如何开展培训评估3、选择合适的评估方式3)可从“心得报告”中体现本次受训,你学习到的重点内容是哪些?为什么?受训内容如何有效导入公司现行作业?(请提出具体做法及行为计划)受训者所写的心得报告,要经其上司审阅,并由其上司进行跟进。(培训学习报告)四、四、探讨:如何开展培训评估探讨:如何开展培训评估3、选择合适的评估方式4)可从“试卷考核”来体现对考试成绩不合格者,给予处罚,并补考;对考试成绩优秀者给予奖励。或开卷考试,试卷在某个时间内交给培训组织者。试题库,随机组卷 (试卷)四、四、探讨:如何开展培训评估探讨:如何开展培训评估3、选择合适的评估方式5)可从“读书会”

29、中体现每次培训后,每个课程在一个月都要开展读书会,读书会以8-12人为一组,选出一个组长,负责本小组的学习、讨论,没个受训者都要些心得,并在小组内试行发表。(组织会议)四、四、探讨:如何开展培训评估探讨:如何开展培训评估3、选择合适的评估方式6)可从“总结报告”中体现 培训组织者,根据心得报告、试卷考题、培训调查反馈表、读书会心得,写出培训总结报告。培训总结报告主要内容:1、培训课程是什么?2、受训者是谁?3、签到率是多少?4、试题是什么?5、试卷分数情况如何?6、受训者反馈及评价如何?7、受训者提出了哪些问题?(培训项目总结报告)四、四、探讨:如何开展培训评估探讨:如何开展培训评估3、选择合

30、适的评估方式7)可从“心得分享报告会”中体现 培训组织者与讲师一起在二月内进行所学的课程,进行心得分享报告会,邀请公司高层参加,以示重视,同时也可直观地评价每一个受训者所学的知识及态度。心得分享报告会,要求每个受训者都要发表,每人发表的时间510分钟,发表的内容:参加培训后,就所学的内容怎样溶入到工作中,出现什么困难,不能解决的是什么?溶入工作后有什么变化,工作业绩的提高等。(组织会议)四、四、探讨:如何开展培训评估探讨:如何开展培训评估3、选择合适的评估方式8)可从以后工作的态度、业绩中体现 经过以上几个环节的评估,每个受训者都有一定的感受。公司再从受训者的工作态度、工作业绩中去了解、把握,

31、并对之进行考核。将受训后考核内容纳入全年的考核中,促使受训者不断学习,不断提高。(绩效考核)1、强制培训/合规培训如入职培训、授权培训、程序培训、法律法规培训、专业知识技能培训试题库、试卷问卷调查(选择性的做对老师的)专业课可以课堂记录(有些适用)2、管理基础培训核安全文化、保密、烟台分公司管理体系介绍、党工团组织情况介绍、合同管理、文档管理(入职课程、与本岗位没有直接关系的程序、规章制度类)问卷调查(反应层评估,选择性做对老师的,需要修改文件模板)试题库,试卷(有些课程在新员工入职课程中,核安全文化课)课堂记录(不好开展评价的项目)项目总结报告(时间超过2天的培训、系列培训、费用高于5000的培训)结论3、通用技能培训公文写作、员工礼仪、办公系统及信息管理、英语培训问卷调查(选择性做对老师的)课堂记录(对于不好开展评价的项目)项目总结报告(AP1000技术知识、法律法规系列、核安全文化,请外部师资费用高的)4、外出培训取证学习报告开展内部培训,分享外出培训成果结论

展开阅读全文
相关资源
相关搜索

当前位置:首页 > 应用文书 > 合同协议

本站为文档C TO C交易模式,本站只提供存储空间、用户上传的文档直接被用户下载,本站只是中间服务平台,本站所有文档下载所得的收益归上传人(含作者)所有。本站仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私,请立即通知得利文库网,我们立即给予删除!客服QQ:136780468 微信:18945177775 电话:18904686070

工信部备案号:黑ICP备15003705号-8 |  经营许可证:黑B2-20190332号 |   黑公网安备:91230400333293403D

© 2020-2023 www.deliwenku.com 得利文库. All Rights Reserved 黑龙江转换宝科技有限公司 

黑龙江省互联网违法和不良信息举报
举报电话:0468-3380021 邮箱:hgswwxb@163.com