李权基于模式识别的智能可视化技术的研究1.doc

《李权基于模式识别的智能可视化技术的研究1.doc》由会员分享，可在线阅读，更多相关《李权基于模式识别的智能可视化技术的研究1.doc（32页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、【精品文档】如有侵权，请联系网站删除，仅供学习与交流李权基于模式识别的智能可视化技术的研究1.精品文档.清 华 大 学攻 读 工 程 硕 士 学 位研究生选题报告论文题目 基于模式识别的智能可视化技术的研究 研 究 生 李 权 学 号 2009212635 院（系、所） 软件学院 专 业 软件工程领域 联 系 电 话 15210620183 电 子 邮 件 whuisslq 指 导 教 师 雍 俊 海 专业技术职务 教 授 联 系 电 话 62795455 电 子 邮 件 yongjh 联合指导教师 陈 莉 专业技术职务 副 教 授 联 系 电 话 62795442 电 子 邮 件 chenl

2、ee 入 学 日 期 2009 年 9 月 2 日 2010 年 9 月 30 日目 录1.选题背景12.国内外研究现状32.1.传递函数设计方法分类讨论32.1.1试错法42.1.2图像驱动的设计方法42.1.3数据驱动的设计方法52.1.4传递函数设计的问题72.2.体数据分类82.3.体绘制图像质量增强及参数反馈102.4.基于样例风格的体可视化122.5.多个体数据集信息重用的方法143.课题研究内容163.1研究任务及要求163.1.1基于体绘制结果质量评价的体数据集自动/半自动分类163.1.2基于语义的体可视化研究173.2技术难点分析183.2.1基于体绘制结果质量评价的体数据

3、集自动/半自动分类183.2.2基于语义的体可视化研究203.3技术路线分析203.3.1基于体绘制结果质量评价的体数据集自动/半自动分类203.3.2基于语义的体可视化研究233.4可能的创新点253.5预期成果254进度安排26参考文献26基于模式识别的智能可视化技术的研究1. 选题背景标量场可视化是目前可视化技术研究较多的领域，特别是三维标量场可视化技术。标量场按照维度划分可分为一维标量场，二维标量场和三维标量场。三维标量场是目前可视化研究最热门的方向。三维数据场可视化包括科学计算数据的可视化和工程计算数据的可视化等许多方面，同时也包括各种测量数据的可视化，如用于医疗领域的计算机断层扫描

4、（CT）数据及核磁共振（MRI）数据的可视化是应用较为广泛的领域。体绘制算法出现于20世纪80年代末，是可视化算法中非常重要的一种方法。由于体绘制算法不仅可以显示体数据的表面信息，还可以显示其内部信息，从而能实现三维医学影像数据的真实感显示，有利于医生的全面理解与分析，因此在辅助医生诊断和治疗方面有着非常重要的作用。体绘制技术将大量的抽象数据转换为直观的图像，为人们揭示数据中隐含的信息提供了重要方法。体数据中体素在绘制的图像中是否可见取决于传递函数分配的不透明度值，感兴趣的体素分配较高的不透明度值，相反，则分配较低的不透明度值。体素在结果图像中的颜色也可以由传递函数确定，通过给不同的体素分配不

5、同的颜色值可以更加清楚地观察到体数据的内部结构。精心设计的传递函数能揭示体数据中的重要结构及其细节信息。然而，由于体数据和应用的复杂性，找到一个好的传递函数是非常困难的。通过，在体数据中同一种物质可能有不同的数据值，而不同种物质又有可能具有相同的数据值，这就增加了区分不同物质的难度，而且，传递函数是与位置无关，这种情况下使得区分感兴趣区域变得困难。即使感兴趣区域在空域中容易区分，也难以凭数据值或其他信息提取感兴趣区域。另外，传递函数中参数的变化与绘制结果非线性的，传递函数参数的微小改动也可能引起绘制结果的巨大变化，所以设计一个能提供有效的引导信息且操作简单的传递函数接口也不是件容易的事。而且，

6、当需要观察较为细微的解剖结构，加上对体数据内部的结构只了解一部分甚至完全不知的情况下，传递函数的设计将变得更加困难。将某些简单的应用来说，采用一维传递函数就可以区分不同的物质，如果体数据包含的物体十分复杂且有不同程度的噪声，则需要增加传递函数的维度，为数据提供更精细的分割。传统的传递函数基本上都是基于一个特定的体数据集进行独立设计，传递函数之间无法进行相互利用，从而使得用户将大量的时间花在对传递函数进行参数调优的设置上，而无法集中在对绘制出的图像进行分析。这样每次设计出的传递函数无法对已有的传递函数进行很好的利用，直接导致了这些传递函数缺乏通用性。从另一角度来说，由于算法固有的复杂性导致体绘制

7、缺乏交互性，现今虽有大量的半自动的交互式传递函数，但他们的方法都是基于使用者对图像的主观评价，这样最终的图像质量很大程度上取决于使用者的经验和直觉，我们需要一种快速、鲁棒的技术来设计传递函数。传递函数的交互编辑过程实质上就是对体数据进行分类然后再根据这种分类规则将体数据映射为颜色值和不透明值等光学特征的过程。而分类问题在模式识别、机器学习等领域的运用已经非常广泛，可以参考与借鉴的方法也有许多，本文将继续在前人的研究基础上，运用模式识别、统计学习理论及机器学习等方法对体数据进行聚类及分类，为传递函数的设计及下面的研究打下基础。如今体绘制技术已渐成熟，大量效果非常理想的体绘制图像、三维数据集及相应

8、设计完善的传递函数都已存在，如何基于这种现存的理想的样例，来指导一个新的三维数据集传递函数的设置是一个非常值得研究的问题，同时这也是本课题的研究目标之一。此外，体绘制直接生成的最终具有三维效果的二维图像具有的特征也能用来指导传递函数的设置。如何从这些图像中提取特征，并基于它指导体数据集的绘制过程，是一个快速模仿其风格的问题。由于风格模仿及色彩传递问题在二维图像之间，诸如将样例图像的色彩分布特征运用到一个灰度图像中，或者将目标图像的色彩风格按照样例图像的风格进行分布，这样的研究已经非常成熟。然后，在体绘制中，这种风格的模仿并不多见。如果能基于此类样例图像，用于学习出它的绘制风格，并将其运用到体绘

9、制场景中。或者，从基于图像质量衡量的角度出发，调整体绘制中传递函数参数的设置，也是一个非常值得研究的地方。在二维图像处理中，有许多成熟的方法对一幅图像运用风格转化及颜色传递，这些方法从本质上说其实都是一种语义上的转化，即两幅图像应该具有相似的语义层面的分布。从这个角度考虑，结合三维体数据集，考虑能否从语义层面的角度出发，取代从通常意义的传递函数的参数空间，也许更能适合用户直观与感观上的需求。本课题依托于国家高技术研究发展计划的重点项目颅颌面外科精确治疗机器人系统提供的医学数据可视化部分及面向重大工程动力灾变的数值模拟集成平台关键技术研究中有关工程数据可视化部分。这两个项目可视化部分关注于如何利

10、用各种可视化技术和方法，对三维体数据进行显示，以期获得真实感较强，体绘制效果理想的图像、能够帮助用户更好地理解数据的显示效果及显示用户感兴趣的特征数据等。但是，体数据分类不够精确，调整传递函数参数所花的时间精力较多，无法从已有的样例中学习绘制过程、提取感兴趣的数据特征等等，是项目平台存在的若干问题。因此，本课题的研究重点在于如何对体数据进行精确地体分类，并且从图像层面质量衡量的角度出发，衡量体绘制图像并将参数反馈给初始的传递函数设置，以及如何从样例中学习其绘制过程，最大程度显示数据特征或用户感兴趣的部分，以期望能同时满足精确又快速地体绘制可视化技术的实现。2. 国内外研究现状三维体数据的直接绘

11、制的首要工作，在于如何精确地对三维体数据进行分类，以求能对每一类设置简单的传递函数，将结构清晰的体绘制结果提供给用户助于理解数据信息的绘制结果。其次，如何结合已有的样例，学习其模式并运用到不同的体数据中，这是在研究中需要重视的问题。围绕着这个思想，结合涉及到的技术，从以下方面进行文献综述。1.1. 传递函数设计方法分类讨论为了提高体绘制过程中对象细节的定位精度和设计操作简单、直观的用户接口，众多的研究者对传递函数设计提出了大量的方法。试错法，即（Trial and Error），是最简单的方法，而目前主流的传递函数设计方法可归为两大类：基于图像驱动方法（Image Driven Method）

12、与基于数据驱动的方法（Data Driven Method）。基于图像驱动的方法主要是根据用户的主观判断或者借助某些图像评价指标，对体绘制结果图像进行评价，选取用户认为满意的绘制结果，从而达到选择优秀传递函数的目的。而基于数据驱动的方法则是借助提取体数据本身的内涵特征，如梯度、曲率、LH值等来指导传递函数的设计。1.1.1 试错法试错法（Trial and Error）准许用户任意地、反复地设置传递函数的数学表达式的系数。其基本过程是：用户手工地编辑传递函数曲线，以获得满意的绘制结果作为目标，根据相对绘制结果的主观判断反过来进一步调整传递函数。这种方法最近仍然有人使用，如Knig等4就利用体绘

13、制硬件VolumePro加速的基础上，通过试错法进行传递函数的设计。试错法优点是设计比较简单，在对数据有先验知识的情况比较有效。但是由于传递函数参数本身没有任何量化的物理意义，也不能反映其与绘制结果的关系，因此对系数的设置是比较盲目的，要找到合适的传递函数是非常费时，甚至找不到，所得到的图像再现性差。同时传递函数的选择缺乏理论指导，随意性程度很大，传递函数参数只有很少或完全没有预先定义的限制条件，用户只能凭自己的经验甚至有时是碰运气来设置参数。另外，对于中大规模体数据，如果没有加速硬件支持，试错过程则较为困难、耗时。1.1.2 图像驱动的设计方法基于图像驱动的传递函数设计方法是用绘制结果图像来

14、引导用户间接地选择传递函数的方法。通常的处理方式是首先绘制出数量较多的图像，并显示出来，由用户选择一些效果较好的图像，系统根据选择结果，运用某种方法再生成数量相对较少而质量较好的图像供用户选择。重复这一过程，直到用户满意或达到某个结束条件为止。He5采用一个简单的遗传算法，即随机搜索法，将传递函数的设计转化成传递函数空间的参数优化问题。系统随机产生一系列传递函数并将这些传递函数绘制相应的小图像，用户选择认为好的绘制结果，根据用户的选择，系统重新随机产生下一代的传递函数，这个过程不断地迭代，从而达到传递函数优化效果。这种方法的优点是用户不必手工编辑传递函数曲线。但是由于用户主观判断的引入，这种方

15、法的确能够产生最好的绘制结果，而未必能够选择出最好的传递函数。Marks6设计的系统将传递函数设计问题作为“参数调整”问题来考虑。系统随机产生一系列传递函数并根据这些传递函数产生相应的缩略图，作者将这些缩略图的排列组合界面称为设计画廊。用户从设计画廊中选取最吸引人的缩略图进而选择对应的传输函数。由于缩略图的尺寸一般都很小（32*25或者更小），绘制时间较短，这样可以达到快速选择传递函数的目的。但是该方法选择的初始传递函数具有随机性，容易导致很大的不确定性。Fang7把三维图像处理技术（图像增强和边缘检测）加入到可视化过程中。它把传递函数定义为一系列三维图像处理过程，允许用户调整定性的和描述性的

16、参数来达到它们期望的可视化效果。这些图像驱动的方法都可以找到有用的传递函数，但是这些方法都是为了寻找更好的绘制图像结果，而不是针对特定体数据寻找更合适的传递函数。它们的操作全部通过分析绘制好的图像来进行，而不是分析数据本身的特征。由于以图像为中心的方法没有考虑目标体数据的特征，因此传递函数的应用过程是费时和不直观的。1.1.3 数据驱动的设计方法基于数据驱动（Data Driven Method）的传递函数设计方法，是使用从体数据中抽取的信息来引导用户设置合适的传递函数，或将传递函数集控制在一个最有希望的子集中。抽取的信息主要有灰度直方图、梯度模、二阶导数、等值面等。在基于数据驱动的传递函数设

17、计方法中，应用最为广泛的是Levoy等8为了绘制等值面而设计的不透明度传递函数。在该方法出现之前，通常的做法是对大于某一阈值的所有体素以不透明的一个三维区域，最外面层就是所希望看到的等值面，但是缺点是区域内部信息被完全遮挡。Levoy等8提出的传递函数则是通过研究不透明度与局部梯度的关系，将两种物质边界附近的体素赋予较大的不透明度，而将其他位置的不透明度设置为0。该方法还可以通过不透明度组合技术同时显示多个等值面。等值面是体数据中由相等的值所构成的曲面。一般认为，物体表面的材质是相同的，在体数据中的反映就是处于物体表面位置的所有体素都具有相同或相近的值。因此，等值面可认为是物体的表面。如果能够

18、在体数据中提取出等值面，利用等值面的值就可以设计出绘制某物体的传递函数。Bajaj9提出了一种重要的等值面（ISOvalue）确定方法。通过数学分析，可以非常容易地计算出面积、体积、平均梯度以及拓扑特征等指标，并将这些指标集成进一个精心设计的用户界面，使得等值面与相对应的绘制结果有机结合起来，对后继的数据驱动传递函数设计具有重要的指导意义。Pekar10利用梯度矢量与等值面垂直、梯度大小沿着等值面的面积分表示了等值面与边界的接近程度等特点，使用散度理论将面积分替换成梯度散度的体积分，而体积分可以用简单的直方图来近似。这样得出了一种只需要遍历体数据一次，求出数据的Laplacian权重直方图来指

19、导等值选择传递函数设计的方法。Fujishiro11使用拓扑结构及拓扑结构的改变作为指导传递函数的设计原则，提出了一种自动化的传递函数设计方法。Kindlmann12采用曲面的主曲率(k1,k2)作为传递函数的定义域。而他在1998年提出的方法13在基于数据驱动的传递函数设计脱颖而出，他们的方法基于这样一个假设：绘制的目标是将体数据集的物质边界有效地表现出来。作者建立了一个由数据值、梯度大小以及沿着梯度方向的二阶导等构成三维直方图。通过分析这个直方图所反映的数据值间关系，来指导传递函数的设计。Tenginakai14等提出了一个简单的边界模型假设，并通过挖掘反映数据各阶矩阵的直方图，以及绘制反

20、映数据之间关系的二维散点图来设计传递函数。Weber等15,16通过关键值（Critical Isovalue）的检测来研究体数据并用于传递函数的设计。Eric B. Lum和Kwan-Liu Ma17通过利用查找表的方式指定颜色、不透明度和光照模型的相关参数。他们在光照计算中利用一个二维传递函数对组织的边界进行增强。Alyassin18则随机选择采样点，通过均值和标准方差来决定多项式传递函数的最低和最高限制。此外，Prauchner19则结合Kindlman数据中心方法与Design Gallery图像中心的方法进行传递函数设计。Takanashi20和Broersen21则采用PCA降维技

21、术进行传递函数设计。Zhang22-23使用广义回归神经网络（Generalized Regression Neural Networks，GRNN）进行体数据分类和传递函数优化的研究。将体素的密度值、梯度、曲率的两个参数值和矩的三个特征值作为每一个体素的特征向量，然后根据这些体素的特征向量构造几个初步的传递函数，将这些传递函数放到GRNN中进行训练，然后用GRNN产生的传递函数进行绘制，最后对绘制图像进行评价，根据评价结果进一步修订GRNN的输出。Yincai Wu等人24-25认为用户可以比较容易的根据体数据的不同特征产生几个好的传递函数，因此提出一种新的传递函数设计技术：传递函数融合（T

22、ransfer Function Fusing），即将几个传递函数合并为一个综合各方面特征的传递函数。作者将传递函数融合问题当作是参数优化问题，即通过遗传算法（Genetic Algorithm，GA）进行解决。1.1.4 传递函数设计的问题传递函数的设计很困难，主要原因有：1. 传递函数是与位置无关的。同一种结构或物质可能具有不同的体数据值，而相同数据值又有可能属于不同结构或者物质，这使得区分感兴趣区域（Region of Interest）变得困难。即使感兴趣区域在空域容易区分，该区域的数据值范围可能与周围不感兴趣区域的数据值重叠，这样就难以凭数据值或其它信息来区分感兴趣的区域。2. 传递

23、函数的巨大灵活性。这个特点能以多种方式可视化体数据，但难以确定最合适的可视化方式。3. 用户接口的设计。传递函数的设计一般需要用户交互地修改。这是因为用户常常需要观察体数据内部的不同物体、不同的表面或物体的某一子结构。如在医疗诊断中，医学需准确地掌握病灶的大小、形状、位置及与周围组织的关系，这就需要交互地修改传递函数来获取人体的内部结构信息。另外，传递函数中参数的变化与体绘制结果是非线性的，传递函数参数的微小改动可能引起绘制结果的巨大变化，所以设计一个能提供有效的引导信息且操作简单的接口也不是件容易的事。4. 体数据的不可知。体数据对传递函数的设计有很大影响。对某些简单的应用来说，找到合适的传

24、递函数不会很困难。但是，对需要观察较为细微的解剖结构时，找到合适的传递函数是比较困难的。当体数据包含的物体十分复杂且带有不同程度的噪声，再加上对体数据内部的结构只了解一部分甚至完全不知的情况下，传递函数的设计将更加困难。在这种情况下，为了科学发现、数据分析或医疗诊断，得到一个有效的传递函数是至关重要的，也是非常困难的。5. 体绘制过程比较耗时。1.2. 体数据分类体绘制通常包含两个主要的步骤，即体数据的分类和体数据的绘制。体数据的分类主要是给体数据中的每个体素分配一个阻光度，以确定体素的可见性；体数据的绘制是根据视线以及体素的可见性将体数据投影到二维图像平面，显示感兴趣的特征。因此，体数据的分

25、类对体绘制的结果有很大的影响，只有对体数据进行准确的分类，把体数据中蕴涵的各种各样的物质区分开，才能经过后续处理，有选择、有目的对体数据进行显示，得出合理的图像。多年来人们一直对体数据的分类问题进行研究，提出了一些用于体绘制的体数据分类算法，如使用特征距离图谱的分类算法26、基于小波域隐式马尔可夫模型的分类算法27、基于模糊分析的分类算法等28，但体数据的分类一直是一个没有彻底解决好的问题。分类试图在将数值转换为光学属性的同时，通过颜色和不透明度的不同将体数据的不同结构和区域加以区别，这和分割的作用类似。与分割不同，分类无需将体素确切划分到不同区域子集，而只是反映出某些体素具有部分相同的性质，

26、在视觉上有相似的表现。我们认为当绘制对象的某个结构可以和有限个可计算的数据特征唯一对应时，分类可以对数据结构进行区别标示，但实际中绘制对象不同结构之间的数据都有交叉，因此很难找到对象属性集的一一映射关系。我们从体数据中提取不同的数据特征如梯度，、曲率、散度等用于辅助识别体数据内的不同结构，通常来说，数据特征越多，分类越细，绘制结果质量越高，同时计算复杂度更大，也在寻找映射关系时引入部分歧义。分类技术不断发展，一方面力求找到一种方法可以清晰的标志绘制对象的不同结构；另一方面，虽然分类技术尚不能非常清晰的区分数据对象结构，但是为具有某些相同属性的数据分配相同的光学特性，如实反映数据对象存在的状态，

27、绘制结果并不会对用户判断造成误导。最近，模式分类技术被引入到体数据分类领域，较好地解决了多维传递函数设计中存在的问题。先使用体数据的多维数据属性，通过模式分类将体数据分成几类，然后再通过设计简单的用户接口将不同类别的体素给予相应的不透明度和颜色，从而完成多维传递函数的设计。F. Y. Tzeng, E. B. Lum, K. L. Ma29在比较了传统的基于传递函数的数据分类方法后，结合机器学习的方法提出一种新的高维体数据分类方法并结合交互式用户接口和硬件加速体绘制技术。用户通过直接在体数据上绘制样本块的方式在体数据空间进行工作。而被绘制的体素作为交互式训练的过程。训练系统能分类所有的体数据。

28、分类和渲染都能进行硬件加速，提供及时的可视化反馈。这种智能系统方法使得用户对更高维数据空间实施分类而不用显式地为每一维表示映射。另外，这种针对某一种数据集的训练系统可能被重用在另外的具有相似特征的数据集上进行分类。他们所采用的方法通过采用体空间绘制接口，完全消除传递函数空间。在研究中，他们发现绘制用户接口能够提供一种简单、直观标识感兴趣区域的方法。图1表示交互式分类和可视化的全过程。其中，对用户最可见的部分是基于绘制的接口，用来收集感兴趣区域的样本点。开始时，用户在一块体数据上绘制样本点。这些样本点作为智能系统的输入，然后开始训练以得到需要的分类器。训练是一个交互式的过程，通过运用当前的智能系

29、统实时分类部分或者整体的数据，用户可以交互式的观察训练结果。然后，用户也可以使用这些反馈进一步修改或者添加另外的训练数据，以得到更好的分类结果。图1. 可视化过程 29绘制用户接口使得用户直接获取体数据，并且允许用户指出体数据中感兴趣的区域。“样本”是绘制区域的点，并且被输入到机器学习技术模块。通过应用针对某一体数据而训练好的机器学习模块，用户能划分并且绘制体数据。可视化结果显示给用户，使得用户能添加或者删除绘制来改进分类效果直到获得满意的结果 29。对于标量数据，样本点数据包括体素的标量值，梯度大小，相邻点的标量值（上、下、左、右、前、后），体素的位置信息，以及一个表示自己所属类的输出值。对

30、于颜色数据，样本点数据则包括体素的RGB值以及相邻点值和位置。基于体数据分类的特点，作者29选择了人工神经元网络（Artificial Neural Network NNS）和 支持向量机（Support Vector Machine SVM）的机器学习方法作为分类器生成方法。对于NNS，作者采用的是反向传播人工神经元网络（BP算法）。这种方法至少由三层组成：输入层、隐藏层、输出层，三层分别具有m、n、1个神经元，各神经元采用Sigmoid 函数，以产生非线性变换输出。而支持向量机则是新的一种分类方法，它使得各类之间具有最大的相异距离。总体来说，作者29提出了一种新的体数据分类方法，使得高维体

31、数据得到较好的分类从而提高可视化的效果。这种方法的特点是：首先作者将机器学习的方法引入到体数据可视化中，在一定程度上解决了传递函数很难解决的高维分类问题。其次，作者提出的交互式可视化用户接口，在一定程度上将人的判断和分析融合到可视化中，进一步深化了可视化的现实意义。另外，通过训练所得到的这种分类器还能应用到与训练数据集有相同特征的数据集中，提高了分类器的重用性。Gong30使用BP神经网络设计高维的传递函数。用户首先确定需要显示的组织结构的类别，然后在体数据中随机选取几个二维切片，在切片上选择每类结构对应的采样点，将采样点的多维数据属性输入BP神经网络进行训练，训练好阈值和权值的神经网络作为一

32、个多维的传递函数，用于体绘制的分类识别过程。1.3. 体绘制图像质量增强及参数反馈直接体绘制已经广泛应用于各种领域，如今已有许多种不同的DVR算法，由这些不同算法产生的体绘制图像也是有差别的。由于这些最终生成的图像需要被人的视觉所感知，所以图像质量的好坏也会直接影响到人的视觉观察的效果。因此，对最后图像质量的衡量是非常有必要的事，已有许多工作对不同体绘制算法生成的体绘制图像进行比较和衡量。313233之前许多工作都对不同的体绘制算法进行了比较，大致可以分为以下三类：1) 基于图像层面的方法3431：这一类方法通常通过各种各样的方法来比较DVR图像，如均方误差、均方根误差。2) 基于数据层面的方

33、法 35： 这种基于数据层面的方法是采用源数据和在绘制过程中获取的中间信息来进行比较的。3) 计算误差边界35： 他们通过分析在梯度计算、法线估计方案及滤波和重建操作时的误差。除了这些方法，Meiner 36提出了一种对流行的体绘制算法进行衡量的实用的方法，并在有生命的数据集中进行了测试。在计算机图形学知觉方面，考虑到近几年在图像领域的视觉研究越来越多，特别是在整体的光照分布方面，有许多基于视觉的绘制方法的研究被提出。大多数工作主要集中在这两个方面：1）通过视觉矩阵来为高质量绘制系统制定一个终止标准，如37。2）通过视觉矩阵来为有效的绘制算法优化管理资源配置，如3839。除此之外，Rushme

34、ier等40 提出了一些用于比较真实与模拟图像的方法。在可视分析方面，近期对可视分析的研究正趋于快速增长时期。比如，Lu等人41通过一些特征加强的技术来为科学及医学数据集建立有效且交互性的可视化手段。Ebert42、Interrante43、Chalmers和Cate44对可视化视觉方面给出了详细的综述。Zhou45定量地分析了计算机模拟的可视化及从真实设备获取的图片之间的比较方法。Myszkowski39使用VDP，即Days Visible Differences Predictor来解决全局光照问题，在此基础上46引入了一个框架用于比较直接体绘制图像，他选择了两种最为流行的体绘制方法：G

35、PU-based ray-casting及三维纹理映射硬件支持的体绘制，及采用的一些设置包括渲染、梯度估计方案和采样率都被选来用作比较。Qu等人46随后基于视觉方面对体绘制技术生成图像质量的增强及参数反馈进行了若干尝试，如在46中，他们提出了一个自动校正的方法来加强半透明层的质量，用一系列新的基于心理学原则的衡量方法生成的体绘制图像透明结构的视觉质量，通过优化绘制参数，图像的质量得到增强。他们的框架包含若干图像质量衡量方法以及优化过程，他们假设给定的数据集中的结构是已定义且赋予了颜色和不透明度值，他们的目标是自动地调整参数来显示半透明情况下的结构，不涉及体分割及通过传递函数进行体分类。框架如图

36、2所示。图2. 基于视觉的透明度优化框架461.4. 基于样例风格的体可视化利用这些已有的图片样例，来指导体绘制过程，特别是减少体绘制过程中复杂繁琐的传递函数参数调试的时间，提高体绘制效率，是一个非常值得探讨研究的领域。此外，利用这些传统图片样例的好处在于，可以使得已经习惯基于图像进行观察诊断的用户在一个非常熟悉的环境有效地了解体数据要传达的信息。基于样例的方法已经被许多领域采纳，比如机器翻译，图像处理及渲染绘制。由于基于样例的方法有“学习”的功能，因此这些方法可以充分利用那些难以归纳总结的有用的信息而且可以简化用户的交互操作。基于样例的体可视化生成一个有着样例图片风格的结果。Freeman等

37、人47采用了Markov随机场来学习从捕捉到的图片中到场景绘制中的转变。Hertzmann等人48提出了一个图像类推框架。Drori等人49和Hamel及Strothotte50通过推断多个样例风格的片段来生成一个新的图片。这种基于样例的思想也应用于多个应用中的纹理合成，包括Haro和Essa51和Chen52。Lu55等人利用若干Wang Cubes54生成更大的无规律的具有类似纹理和样式的三维体纹理。在体纹理生成过程中，主要是利用了体数据的梯度和曲率信息作为Wang Cube54合成的依据。在已生成的体纹理基础上进行体绘制，得到与提供的纹理和样例风格相似的体绘制效果。在此基础上，Lu等53

38、又提出了基于样例的体绘制方法，先对已有数据集和提供的样例进行简单的人工分割，然后在二者之间进行匹配使得每个体数据的子集都对应于样例中的一部分，之后用Wang Cube的方法生成体纹理，用该方法能够合理而逼真地模拟出所提供的样例的绘制结果。Sloan等人56提出了基于光照球(lit sphere)纹理索引的算法，该方法通过对特定光照球纹理的索引可直接得到体素点的最终颜色。本质上等同于对传统的以灰度为变量的传递函数增强维度，通过选择多样和有表现力的索引球，可以形成各种显示效果。在光照球技术启发下，Bruckner等人57提出了风格化传递函数(style transfer function)的概念，

39、该方法的思路如下：通过体数据视点空间的法向量(eye space normal)索引设计好的光照球来实现对象的渲染。由于三维空间中的法向量投影到光照球，对应一个光照球的法向量，并且这种对应关系是惟一的，可以将球体的正投影图像存储为纹理，用法向量来索引球体表面的值。具体做法如下：首先将光照球映射成一个纹理。平行于视线方向的法向量映射到光照球的中心，垂直于视线方向的法向量映射成圆盘的圆周，将法向量中的由变换到，由访问由光照球纹理，取得球面上对应点的值。这里没有将考虑在内，所以该模型并不能区分物体的前后面，如图3所示。图3. 风格化显示57Peter Rautek58提出了一种基于语义的方法，即将体

40、数据的属性通过一种有意义的映射方式传递到可视化显示中。这种方法使得从多种多样的体数据属性到多种可视化风格的多维映射成为可能。传统意义上的多维传递函数设计被这种语义层面的方法所替代，用户面对的不再是高维下传递函数的参数设计，而是有意义的映射规则。在语义映射问题中，最关键的便是如何设置语义值的问题。测量及模拟数据通常具有多种不同的语义属性。例如，在对脑进行测量的PET扫描中，脑活动是由如下值进行衡量的：low activity或者是high activity。放射性MRI数据则提供了关于组织区域的健康状况衡量，如healthy，diseased或者是necrotic。医学CT数据对标量值进行衡量，

41、而不同的标量值范围则对应于不同的组织如空气，软组织，骨头或者血管等等。当然在专家领域的知识范围内，有许多关于语义参数的例子，而这些并不经常出现在可视化当中。特别是在直接体绘制中，传递函数更是常常无法支持这些语义值的可视化映射。因此，在基于语义层面的方法中，应该适当地引进专家领域知识中的语义参数。Sloan 56及Bruckner 57均通过一种事先定义的风格并将其运用到体可视化中。这种方法使得用户可以在一个框架下使用不同的艺术风格，例如轮廓、组织风格、渲染技术。同时，通过运用不同的规则组合，可以实现多维属性的体可视化，并且这种基于规则的组合，极大地利用了专家领域的有关知识。Salama 59呈

42、现了一个基于语义的传递函数设计的用户界面。这种充满意义的参数设置极大地让非专业领域用户方便地对传递函数进行调节。1.5. 多个体数据集信息重用的方法在Tzeng等人29的论文中，提到了Information Reuse这一扩展的技术，及时保存这些智能化的分类器将对有着相似体特征的数据集来说是非常有用的。共享重用的训练器将对于快速数据集比较及绘制有着非常重要的作用。特别是，如果是一个有着丰富经验的用户，在分类器对体数据集分类后调整出的关于类别与颜色及不透明度的映射关系，这些参数如果及时保存，以便未来能加以分享和重用，将对以后了解一个新的体数据有着非常重要的作用。Information Reuse

43、中提及了当重用分类器时，两个数据集应该有着相似的特征。比如，如果用数据值作为分类使用时，相同范围内的数据值应该代表相同的材料。为了重用分类器，Tzeng等人29将经过训练的神经网络及支持向量机的配置信息保存。图4显示了在前后隔数天拍摄的同一个人的MRI扫描图片并重用分类器显示的结果。图4. (a) 一维传递函数对MRI体数据绘制结果(b)SVMs对相同的脑体数据分类结果(c)将之前的分类器赋给数天后拍摄的同一人的脑体数据集29图4(a)是用一维传递函数对第一个数据集绘制的结果，图(b)是使用SVMs分类器来提取脑组织的结果，使用的是同一个数据集。图(c)在若干天后生成的第二个数据集上使用SVM

44、s分类器。可以看出，重用的分类器大体表现不错，只是在前面部分的脑叶有点误分类。但对于用户来说，可以将这个分类当作初始点，可以增强更多额外的训练数据来对效果进行更好的处理。在医学的应用领域中，医生常常需要在短时间内查看大量相似的数据集。而重用分类器能够很好地帮助他们快速地对每一数据集进行分类。下图表示了重用分类器来鉴定不同MRI脑体数据集。图5(a)使用了一维传递函数对肿瘤数据集绘制的图像。然后，采用神经网络分类器来分割出肿瘤。输入包括体素的标量值，梯度和它相邻的六个邻居体素来定义密集及高标量值的区域。图5(b)表示了使用神经网络来捕捉位于大脑右下方向的肿瘤。结果图片包含了肿瘤，一些血液体素及一

45、些颅骨的片段。当把这个训练过的分类器应用到不同的脑数据集中。由于在这个新数据集中的肿瘤组织有着相似的属性，因此也可以被分类器所捕捉到，结果如图5(c)所示。这次肿瘤的位置并不与在第一个数据集中的位置一致。将这个分类器运用到一个正常的大脑组织数据集中，除了颅骨及一些血液体素，如图5(d)所示。图5. (a) 用于神经网络分类的数据集(b) 从数据集中分离出肿瘤(c)训练好的分类器用于另一个不同的脑数据集，捕捉到位于不同位置的肿瘤(d) 分类器用于正常的脑体数据集，无异常现象293. 课题研究内容本课题依托于国家高技术研究发展计划的重点项目颅颌面外科精确治疗机器人系统以及面向重大工程动力灾变的数值

46、模拟集成平台关键技术研究中的三维体数据可视化方法进行研究。本课题不仅是依托于研究项目，同时也是基于现实的需求。如何对医学数据或工业数据通过有效地分类方法，将不同的结构，重要的特征清晰地展示给用户，如何借鉴绘制效果理想的体绘制图像，用与指导新的体数据集快速地进行体绘制等，都是非常具有研究意义的。因此，本课题的研究重点是基于模式识别的智能化体数据可视化技术，具体主要从基于图像质量衡量的体数据分类、基于语义的体可视化研究两个方面作为切入点。除了这些研究核心外，还有界面交互的问题需要进行辅助研究：简洁方便的传递函数接口，基于样例风格的传递函数编辑设计等。3.1 研究任务及要求3.1.1 基于体绘制结果

47、质量评价的体数据集自动/半自动分类传递函数的交互编辑过程实质上是对体数据进行分类然后再根据这种分类规则将体数据映射为颜色值和不透明度值等光学特征的过程。Tzeng等人29所提出的基于机器学习的体数据分类方法主要运用人工神经元网络算法以及SVM（支持向量机）算法。用户在体数据空间上直接对体数据的样本进行绘画标记采样，这些被标记的体素被用来在迭代训练的过程中。然后训练器能够将整个体数据进行分类，而且，为某一种数据集而训练出的训练器也能重用在其他具有相似性质的数据集中。这些算法是基于有监督学习的分类方法，也就是说，要想获得一个适合具体应用的分类器，首先就需要一个分类的数学模型，而这个分类数学模型的建立，在有监督的学习方法中需要大量的训练数据。对于医学领域或者工程计算领域的体数据而言，大量训练数据只能通过人机交互方式由用户指定。这在一定的程度上增加了用户的操作难度。同时选择合理的数据属性值作为训练数据也是十分重要并且十分复杂的。ereda 60等人所提出的基于层次聚类方法传递函数设计是一种无监督学习的机器学习方法。这种