一种基于低秩表示的子空间聚类改进算法-张涛.pdf

《一种基于低秩表示的子空间聚类改进算法-张涛.pdf》由会员分享，可在线阅读，更多相关《一种基于低秩表示的子空间聚类改进算法-张涛.pdf（8页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、第 38卷 第 11期 电 子 与 信 息 学 报 Vol.38No.112016年 11月 JournalofElectronics&InformationTechnology .Nov.2016一 种 基 于 低 秩 表 示 的 子 空 间 聚 类 改 进 算 法张涛*唐振民吕建勇(南京理工大学计算机科学与工程学院南京210094)摘 要 ： 该 文 针 对 现 有 的 基 于 低 秩 表 示 的 子 空 间 聚 类 算 法 使 用 核 范 数 来 代 替 秩 函 数 ， 不 能 有 效 地 估 计 矩 阵 的 秩 和 对高 斯 噪 声 敏 感 的 缺 陷 ， 提 出 一 种 改 进 的

2、算 法 ， 旨 在 提 高 算 法 准 确 率 的 同 时 ， 保 持 其 在 高 斯 噪 声 下 的 稳 定 性 。 在 构 建目 标 函 数 时 ， 使 用 系 数 矩 阵 的 核 范 数 和 Forbenius范 数 作 为 正 则 项 ， 对 系 数 矩 阵 的 奇 异 值 进 行 强 凸 的 正 则 化 后 ， 采用 非 精 确 的 增 广 拉 格 朗 日 乘 子 方 法 求 解 ， 最 后 对 求 得 的 系 数 矩 阵 进 行 后 处 理 得 到 亲 和 矩 阵 ， 并 采 用 经 典 的 谱 聚 类 方法 进 行 聚 类 。 在 人 工 数 据 集 、 ExtendedYale

3、B数 据 库 和 PIE数 据 库 上 同 流 行 的 子 空 间 聚 类 算 法 的 实 验 对 比 证 明 了所 提 改 进 算 法 的 有 效 性 和 对 高 斯 噪 声 的 鲁 棒 性 。关 键 词 ： 子 空 间 聚 类 ； 低 秩 表 示 ； 秩 函 数 ； Forbenius范 数 ； 增 广 拉 格 朗 日 乘 子 法中 图 分 类 号 ： TP391 文 献 标 识 码 ： A 文 章 编 号 ： 1009-5896(2016)11-2811-08DOI:10.11999/JEIT160009Improved Algorithm Based on Low Rank Repre

4、sentationfor Subspace ClusteringZHANGTao TANGZhenmin LJianyong(College of Computer Science and Engineering, Nanjing University of Science and Technology, Nanjing 210094, China)Abstract:Thenuclearnormisusedtoreplacetherankfunctioninthesubspaceclusteringalgorithmbasedonlowrankrepresentation,itcannotes

5、timatetherankofthematrixeffectivelyanditissensitivetoGaussnoise.Inthispaper, a novel algorithm is proposed to improve theaccuracy and maintain its stability under the Gaussnoise.Whenbuildingtheobjectivefunction,thenuclearnormandForbeniusnormofcoefficientmatrixareusedastheregularization terms, after

6、a strong convex regularizer over singular values of coefficient matrix, an inexactaugmentedLagrangemultipliermethodisutilizedtosolvetheproblem.Finally,theaffinitymatrixisacquiredbypost-processing of coefficient matrix and the classical spectral clustering method is employed to clustering. Theexperim

7、entalcomparisonresultsbetweenthestate-of-the-artalgorithmsonsyntheticdata,ExtendedYaleBandPIEdatasetsdemonstratetheeffectivenessoftheproposedimprovedmethodandtherobustnesstoGaussnoise.Key words:Subspaceclustering;Lowrankrepresentation;Rankfunction;Forbeniusnorm;AugmentedLagrangemultipliermethod1 引 言

8、近 年 来 ， 子 空 间 聚 类 成 为 计 算 机 视 觉 、 图 像 处理 、 系 统 辨 识 等 领 域 的 研 究 热 点 1。 基 于 子 空 间 聚 类的 算 法 在 处 理 高 维 数 据 时 ， 通 常 假 设 高 维 数 据 分 布于 一 个 联 合 的 低 维 子 空 间 中 ， 算 法 根 据 不 同 类 或 类别 将 高 维 数 据 点 分 割 到 对 应 的 子 空 间 。 常 用 的 子 空间 聚 类 算 法 可 以 分 为 4类 ： 迭 代 方 法 、 代 数 方 法 、统 计 方 法 和 基 于 谱 聚 类 的 方 法2。收 稿 日 期 ： 2016-01-0

9、4； 改 回 日 期 ： 2016-05-12； 网 络 出 版 ： 2016-07-19*通 信 作 者 ： 张 涛 基 金 项 目 ： 国 家 自 然 科 学 基 金 (61473154)Foundation Item: The National Natural Science Foundation ofChina(61473154) 基 于 谱 聚 类 的 方 法 易 于 实 现 并 且 在 实 际 应 用 中表 现 得 更 好 ， 是 目 前 子 空 间 聚 类 算 法 的 重 点 研 究 方向 。 基 于 谱 聚 类 的 方 法 通 过 探 索 数 据 点 间 的 相 似 性构 建

10、亲 和 矩 阵 ， 然 后 使 用 谱 聚 类 的 方 法 对 亲 和 矩 阵进 行 聚 类 。 根 据 稀 疏 和 低 秩 恢 复 算 法 的 最 新 进 展 ，文 献 3-6提 出 了 稀 疏 子 空 间 聚 类 算 法 (SparseSubspaceClustering,SSC)， 低 秩 子 空 间 聚 类 算 法(Low RankSubspaceClustering,LRSC),低 秩 表 示算 法 (LowRank Representation,LRR)， 通 过 寻 找数 据 在 自 身 数 据 字 典 上 的 稀 疏 或 者 低 秩 表 示 来 求 得亲 和 矩 阵 ， 与 其

11、 他 最 先 进 的 子 空 间 聚 类 算 法 相 比 ，基 于 稀 疏 和 低 秩 表 示 的 方 法 可 以 处 理 噪 声 和 异 常值 ， 并 且 不 需 要 子 空 间 的 维 数 和 数 目 作 为 先 验 条 件 。万方数据2812 电 子 与 信 息 学 报 第 38卷LRR将 矩 阵 的 秩 函 数 凸 松 弛 为 核 范 数 ， 通 过 求解 核 范 数 最 小 化 问 题 ， 求 得 基 于 低 秩 表 示 的 亲 和 矩阵 ， 在 运 动 分 割 和 人 脸 聚 类 等 子 空 间 聚 类 任 务 中 表现 出 了 良 好 的 性 能 。 文 献 7通 过 对 亲 和

12、 矩 阵 进 行 严格 的 块 对 角 约 束 提 高 LRR的 性 能 。 文 献 8通 过 部 分的 奇 异 值 分 解 降 低 LRR的 时 间 复 杂 度 。 文 献 9将 降低 数 据 的 维 数 和 聚 类 数 据 到 同 一 子 空 间 整 合 到 同 一框 架 。 文 献 10提 出 了 基 于 拉 普 拉 斯 正 则 化 的 LRR，同 时 探 索 数 据 的 全 局 结 构 和 局 部 的 流 形 结 构 。 文 献11通 过 对 偶 图 规 则 化 同 时 保 护 数 据 在 外 围 空 间 和特 征 空 间 的 几 何 信 息 。 虽 然 上 述 LRR系 列 的 算

13、法 大大 提 高 了 子 空 间 聚 类 的 性 能 ， 但 是 它 们 却 同 时 忽 略了 一 个 问 题 ， 使 用 核 范 数 代 替 秩 函 数 是 否 能 准 确 地估 计 矩 阵 的 秩 ， 因 为 核 范 数 的 弱 凸 性 ， 常 常 导 致 算法 的 不 稳 定 和 对 高 斯 噪 声 的 敏 感 。本 文 的 创 新 工 作 在 于 ： (1)受 Elasticnet12思 想启 发 ， 在 构 建 低 秩 表 示 的 目 标 函 数 时 ， 同 时 使 用 系数 矩 阵 的 核 范 数 和 Forbenius范 数 代 替 秩 函 数 ， 提高 算 法 稳 定 性 并

14、对 噪 声 更 加 鲁 棒 ； (2)利 用 非 精 确 的增 广 拉 格 朗 日 乘 子 方 法 (Augmented LagrangeMultiplier,ALM)13求 解 最 优 化 问 题 ， 对 求 得 的 系 数矩 阵 进 行 后 处 理 得 到 亲 和 矩 阵 ， 最 后 采 用 经 典 的 谱聚 类 方 法 14进 行 聚 类 。 本 文 的 内 容 组 织 如 下 ： 第 2节 主 要 介 绍 了 子 空 间 聚 类 问 题 和 低 秩 表 示 算 法 ； 第3节 详 细 阐 述 了 本 文 的 改 进 算 法 ； 第 4节 为 实 验 结果 分 析 ； 第 5节 是 结

15、论 。2 子 空 间 聚 类 和 低 秩 表 示 简 介子 空 间 聚 类 问 题 如 下 ： 给 定 一 个 d N 的 数 据 矩阵 1Ndi iR = X x , X 的 N 个 数 据 点 来 自 于 K 个联 合 线 性 子 空 间 1Ki iS = ， 子 空 间 的 维 数 为 kd =dim( )kS ， 子 空 间 聚 类 的 任 务 是 求 解 子 空 间 的 数 目K和 它 们 的 维 数 1Kk kd = ， 并 将 数 据 向 量 ix 分 割 到 对应 的 子 空 间 中 。LRR算 法 将 从 单 一 子 空 间 中 恢 复 低 秩 矩 阵 扩展 到 从 多 子

16、空 间 中 恢 复 低 秩 矩 阵 ， 同 时 聚 类 数 据 并且 修 正 稀 疏 错 误 。 LRR的 基 本 思 想 是 将 数 据 矩 阵 X表 示 成 在 字 典 矩 阵 D 下 的 线 性 组 合 ， 即 =X DZ ，并 希 望 线 性 组 合 的 系 数 矩 阵 Z 是 最 低 秩 的 ， LRR的基 本 模 型 为 ： * 2,1min , s.t. + = +Z Z E X DZ E (1)其 中 *| | 表 示 矩 阵 的 核 范 数 ， 核 范 数 定 义 为 矩 阵 的奇 异 值 的 和 ， E 为 噪 声 项 ， 2,1| |E 为 2,1l 范 数 ， 定 义为

17、 22,1 1 1N d ijj i= =E E ， 用 来 表 示 噪 声 。 利 用非 精 确 的 ALM对 问 题 式 (1)求 解 ， 最 终 用 于 谱 聚 类的 亲 和 矩 阵 T| | | |= +W Z Z 。3 Elastic net 正 则 化 的 低 秩 表 示本 文 提 出 了 Elasticnet正 则 化 的 低 秩 表 示 算 法(ElasticnetRegularizedLowRankRepresentation,ERLRR)， 不 同 于 传 统 的 LRR用 核 范 数 来 估 计 秩 函数 ， 我 们 联 合 矩 阵 的 核 范 数 和 Forbenius

18、范 数 作 为正 则 项 来 估 计 秩 函 数 。3.1 构 建 ERLRR 算 法 的 目 标 函 数Elasticnet是 统 计 学 习 中 一 类 有 效 的 模 型12，将 1l 范 数 和 2l 范 数 联 合 作 为 惩 罚 函 数 ， 1l 范 数 保 证 复杂 模 型 解 的 稀 疏 性 ， 2l 范 数 保 证 复 杂 模 型 解 的 稳 定性 ， 应 用 于 低 秩 矩 阵 恢 复 问 题 中 获 得 了 很 好 的 效果 15。观 察 式 (1)中 的 核 范 数 *Z ， 可 以 表 示 为1| |r ii = ， 其 中 i 为 Z 的 第 i 个 奇 异 值 ，

19、 r 为 Z 的 秩 。1| |r ii = 即 为 矩 阵 Z 的 奇 异 值 的 1l 范 数 惩 罚 函 数 ， 为了 增 加 模 型 的 稳 定 性 ， 我 们 加 入 矩 阵 Z 的 奇 异 值 的2l 范 数 惩 罚 函 数 。 因 为 ( )2 T T=TrF =Z V U U V( ) 22 1Tr | |r ii = ， 其 中 T=Z U V 是 Z 的 奇 异值 分 解 ， 2| |FZ 即 为 矩 阵 Z 的 奇 异 值 的 2l 范 数 惩 罚函 数 。 通 过 联 合 矩 阵 Z 的 奇 异 值 的 1l 范 数 和 2l 范 数 ，式 (1)中 的 *Z 可 以

20、优 化 为 21* F+Z Z ， 其 中 1用 于 平 衡 *Z 和 2FZ 的 关 系 。 我 们 得 到 ERLRR的目 标 函 数 为 21 2* 2,1min s.t. F + + = + Z Z Z EX DZ E (2)3.2 求 解 ERLRR 算 法 的 目 标 函 数我 们 采 用 非 精 确 的 ALM求 解 式 (2)， 引 入 辅 助变 量 A和 B， 式 (2)可 以 转 变 为21 2 2,1*min s.t. , ,F + + = + = = Z A B EX DZ E Z AZ B (3)式 (3)的 增 广 拉 格 朗 日 函 数 为 21 2 2,1* 2

21、122 231 1 21 21 2 F FFFL = + + + - - + + - + + - + A B EYE X DZYA Z YB Z (4)其 中 1Y , 2Y , 3Y 为 拉 格 朗 日 乘 子 ， 为 惩 罚 参 数 。万方数据第 11期 张 涛 等 ： 一 种 基 于 低 秩 表 示 的 子 空 间 聚 类 改 进 算 法 2813固 定 变 量 B, Z, E ， 更 新 A： 22*1 1argmin 2 F = + - + YA A A Z (5)式 (5)是 凸 优 化 问 题 并 且 有 闭 合 解 ， 可 以 通 过 奇 异 值阈 值 算 子 16求 解 ，

22、其 解 为 ( ) T1/S =A U V ， 其 中 U和 V 是 通 过 奇 异 值 分 解 T2 + = YZ U V 获 得 的正 交 矩 阵 ， 1/ ()S 是 收 缩 阈 值 算 子 。, ( ) 0, , x xS x xx x - = - + ， 时 间 复 杂 度 最 多 为 3 2( )O t N dN+ 。当 目 标 函 数 平 滑 时 ， 文 献 18给 出 了 精 确 的ALM收 敛 性 的 一 般 性 证 明 。 非 精 确 的 ALM作 为 精确 的 ALM的 变 形 ， 当 有 两 个 变 量 矩 阵 交 替 迭 代 时 ，算 法 的 收 敛 性 已 经 得

23、到 证 明 19。 然 而 ， 求 解 LRR系列 算 法 时 ， 非 精 确 的 ALM通 常 包 括 两 个 以 上 的 变量 矩 阵 交 替 迭 代 (LRR包 括 3个 迭 代 的 变 量 矩 阵 J ,Z 和 E,ERLRR包 括 4个 迭 代 的 变 量 矩 阵 A, B,Z 和 E)， 这 种 情 况 下 算 法 的 收 敛 性 很 难 在 理 论 上 证明6。 但 是 通 过 多 次 实 验 证 明 ， 非 精 确 的 ALM在 最优 化 问 题 中 通 常 都 能 很 好 地 收 敛 。4 实 验 结 果 与 分 析在 本 节 ， 将 本 文 提 出 的 ERLRR算 法 与

24、 局 部 子空 间 亲 和 (LocalSubspaceAfffinity,LSA)20， 谱 曲率 聚 类 (SpectralCurvatureClustering,SCC)21， 最小 二 乘 回 归 (Least Squares Regression, LSR)22,SSC3,LRSC4和 LRR6这 些 基 于 谱 聚 类 的 流 行 算 法在 人 工 数 据 集 、 ExtendedYaleB数 据 库 和 PIE数据 库 上 进 行 对 比 试 验 。 本 文 实 验 环 境 为 Intel酷 睿 i74710MQCPU,8G内 存 的 联 想 Y430P笔 记 本 电 脑 。万方

25、数据2814 电 子 与 信 息 学 报 第 38卷4.1 人 工 数 据 集本 文 创 建 一 个 人 工 数 据 集 用 来 比 较 不 同 算 法 的性 能 。 类 似 于 文 献 5和 文 献 10， 我 们 建 立 5个 独 立的 子 空 间 5 2001 i iS R= ， 它 们 的 基 5 1 i i=U 通 过1 ,1 4i i i+ =U TU 计 算 ， 其 中 T 是 一 个 随 机 矩阵 ， 1U 是 一 个 维 数 为 20010的 随 机 正 交 矩 阵 。 所以 ， 每 个 子 空 间 的 维 数 为 10， 外 围 空 间 的 维 数 为200。 我 们 通

26、过 ,1 5i i i i=X UQ 从 每 个 子 空 间 选取 100个 数 据 向 量 ， 其 中 iQ 是 10100的 矩 阵 ， 矩阵 中 的 每 个 元 素 是 ( )0,1 之 间 均 匀 分 布 的 随 机 数 。 在产 生 的 数 据 矩 阵 1 2 3 4 5 =X X X X X X 中 随 机 选取 20%的 数 据 向 量 加 入 均 值 为 0， 方 差 为 0.3 x 的 高斯 噪 声 ， 其 中 x 是 选 取 的 数 据 向 量 。 表 1为 各 算 法在 该 人 工 数 据 集 上 的 结 果 。 由 表 1可 知 ， 本 文 的ERLRR的 聚 类 错

27、误 最 小 ， 表 现 出 了 最 好 的 性 能 。LSR,LRSC,LRR,SSC与 本 文 方 法 都 是 通 过 构建 亲 和 矩 阵 ， 然 后 将 亲 和 矩 阵 应 用 于 NCuts等 谱 聚类 方 法 进 行 数 据 聚 类 ， 优 秀 的 亲 和 矩 阵 可 以 使 算 法获 得 更 好 的 性 能 ， 图 1显 示 了 上 述 算 法 求 得 的 亲 和矩 阵 。 通 过 综 合 比 较 ， 可 以 看 出 ERLRR亲 和 矩 阵的 块 对 角 比 较 明 显 ， 毛 刺 非 常 少 ， 这 是 因 为 ERLRR目 标 函 数 中 加 入 了 正 则 项 2| |FZ

28、 ， 保 持 了 算 法 的 稳定 性 ， 去 除 了 高 斯 噪 声 的 干 扰 。4.2 Extended Yale B 数 据 库ExtendedYaleB数 据 库 是 测 试 子 空 间 聚 类 算法 的 标 准 数 据 库 ， 我 们 将 原 数 据 库 的 192168像 素的 图 像 下 采 样 到 4842像 素 ， 使 用 2016维 矢 量 化的 图 像 作 为 一 个 数 据 样 本 。 我 们 按 照 文 献 3的 实 验设 置 ， 将 38类 图 像 分 为 4组 ， 1到 4组 分 别 有 类 别110,1120,2130和 3138， 对 于 前 3组 中 的每

29、 一 组 ， 我 们 的 实 验 使 用 所 有 可 选 的 2,3,5,8,10个 类别 ， 对 于 第 4组 ， 我 们 使 用 所 有 可 选 的 2,3,5,8个 类别 进 行 重 复 实 验 ， 通 过 搜 索 选 取 各 算 法 的 最 优 参 数 ，实 验 的 结 果 如 表 2所 示 。表 2说 明 了 在 不 同 的 聚 类 类 别 下 ， ERLRR都获 得 了 更 低 的 聚 类 错 误 。 LRR和 SSC作 为 流 行 的 基于 低 秩 表 示 和 稀 疏 表 示 的 子 空 间 聚 类 算 法 ， 也 获 得了 比 较 低 的 聚 类 错 误 。 LRSC在 低 秩

30、 表 示 的 模 型 中尝 试 恢 复 没 有 错 误 的 数 据 ， 但 是 没 有 对 求 得 的 系 数矩 阵 进 行 进 一 步 后 处 理 ， 它 的 聚 类 错 误 要 高 于LRR。 因 为 LSR 是 基 于 均 方 误 差 (Mean SquareErroes,MSE)的 算 法 ， MSE对 远 离 其 他 数 据 点 的 异常 值 很 敏 感 ， 而 ExtendedYaleB数 据 库 有 较 多 的光 照 非 常 暗 或 者 非 常 亮 的 图 像 ， 所 以 LSR的 聚 类 错误 也 更 高 。 LSA和 SCC尝 试 探 索 数 据 的 局 部 和 全 局结 构

31、 来 获 得 亲 和 矩 阵 ， 但 是 这 两 个 算 法 没 有 明 确 地处 理 受 损 的 数 据 ， 在 有 复 杂 噪 声 的 数 据 库 上 ， 它 们表 现 出 了 最 差 的 性 能 。事 实 上 ， 高 斯 噪 声 是 一 种 常 见 的 噪 声 ， 图 像 经常 会 被 其 干 扰 ， 我 们 选 取 数 据 库 的 前 10类 共 640张图 像 测 试 算 法 在 高 斯 噪 声 干 扰 下 的 稳 定 性 。 实 际 应用 中 ， 我 们 并 不 知 道 受 高 斯 噪 声 干 扰 图 像 的 数 目 ，更 无 法 针 对 不 同 的 干 扰 情 况 搜 索 合 适

32、 的 算 法 参 数 。在 本 节 实 验 中 ， 我 们 保 持 各 算 法 的 参 数 不 变 ， 分 别随 机 选 取 20%,60%,100%的 图 像 加 入 均 值 为 0， 方差 为 0.01的 高 斯 噪 声 ， 表 3显 示 了 算 法 的 聚 类 错 误 。表 1 各 算 法 在 人 工 数 据 集 上 的 结 果 (%)错 误 率 算 法LSA SCC LSR LRSC LRR SSC ERLRR15.2 30.4 15.2 9.2 15.2 15.2 0.8表 2 各 算 法 在 Extended Yale B 数 据 库 上 的 平 均 聚 类 错 误 (%)类 别

33、算 法LSA SCC LSR LRSC LRR SSC ERLRR2 46.51 16.62 3.86 3.05 2.54 1.86 1.333 60.10 38.16 10.52 4.55 4.23 3.10 2.135 56.99 58.90 29.49 12.93 6.92 4.31 2.978 56.42 66.11 41.01 26.81 13.62 5.85 4.8210 60.89 73.02 42.45 35.26 14.58 10.94 8.54平 均 56.18 50.56 25.37 16.52 8.38 5.21 3.96万方数据第 11期 张 涛 等 ： 一 种 基

34、于 低 秩 表 示 的 子 空 间 聚 类 改 进 算 法 2815图 1 各 算 法 的 亲 和 矩 阵表 3 各 算 法 在 均 值 为 0， 方 差 为 0.01 的 高 斯 噪 声 下 的 聚 类 错 误 (%)比 率 (%) 算 法LSA SCC LSR LRSC LRR SSC ERLRR20 62.19 71.41 43.28 38.44 23.28 29.22 7.0360 67.19 78.91 41.56 37.50 26.09 40.16 8.91100 77.81 81.56 40.31 37.81 39.84 51.72 18.59平 均 69.06 77.29 41

35、.72 37.92 29.74 40.37 11.51在 比 较 的 算 法 中 ， ERLRR获 得 了 最 好 的 效 果 ，说 明 ERLRR算 法 中 对 高 斯 噪 声 更 加 鲁 棒 。 LRR和SSC随 着 高 斯 噪 声 图 像 的 增 多 ， 聚 类 错 误 也 变 得 更高 ， 其 中 SSC相 比 于 没 有 高 斯 噪 声 的 情 况 ， 算 法 性能 下 降 的 十 分 明 显 。 在 该 数 据 库 上 ， LRSC和 LSR受 高 斯 噪 声 干 扰 较 小 ， 聚 类 错 误 变 化 并 没 有 随 着 高斯 噪 声 图 像 的 增 多 而 增 加 ， 但 都

36、高 于 ERLRR。 LSA和 SCC在 高 斯 噪 声 情 况 下 ， 依 然 表 现 出 了 最 差 的 性能 。4.3 PIE 数 据 库PIE 数 据 库 是 一 个 有 代 表 性 的 人 脸 图 像 数 据库 ， 广 泛 地 应 用 于 聚 类 实 验 。 该 数 据 库 包 含 了 68类在 不 同 姿 态 、 光 照 和 表 情 下 的 人 脸 图 像 。 在 本 节 实验 中 ， 我 们 选 取 该 数 据 库 的 子 集 (作 者 提 供 的 Matlab文 件 Pose05_68_49_64_64.mat)共 3332张 图 片 进行 实 验 。 我 们 从 数 据 中

37、随 机 选 取 2,3,5,8,10个 类 别 进行 聚 类 实 验 ， 重 复 实 验 20次 ， 通 过 搜 索 选 取 各 算 法的 最 优 参 数 ， 平 均 的 聚 类 错 误 如 表 4所 示 。在 该 数 据 库 上 ， 除 了 LSA和 SCC因 为 模 型 的局 限 性 ， 聚 类 错 误 依 然 很 高 ， 其 他 算 法 的 性 能 相 近 。SSC在 聚 类 类 别 较 小 时 ， 表 现 出 了 非 常 优 秀 的 性 能 ，但 随 着 聚 类 类 别 的 增 加 ， 错 误 率 要 高 于 ERLRR。我 们 观 察 到 LRR在 该 数 据 库 上 的 错 误 率

38、 高 于 LRSC和 LSR， 这 不 同 于 在 ExtendedYaleB数 据 库 上 的结 果 ， 说 明 虽 然 选 取 了 最 优 参 数 ， 但 是 LRR模 型 在不 同 数 据 库 上 不 够 稳 定 。 作 为 LRR的 改 进 算 法 ， 本文 提 出 的 ERLRR在 不 同 类 别 的 情 况 下 错 误 率 均 低于 LRR， 并 且 平 均 的 聚 类 错 误 低 于 其 他 算 法 ， 说 明ERLRR提 高 了 LRR的 准 确 性 和 稳 定 性 。为 了 测 试 高 斯 噪 声 在 该 数 据 库 上 对 各 算 法 的 影响 ， 我 们 选 取 数 据

39、库 的 前 10类 共 490张 图 像 进 行 实验 ， 仍 然 保 持 各 算 法 的 参 数 不 变 ， 分 别 随 机 选 取 20%,万方数据2816 电 子 与 信 息 学 报 第 38卷60%,100%的 图 像 加 入 均 值 为 0， 方 差 为 0.5的 高 斯噪 声 ， 相 比 于 4.2节 ， 我 们 加 强 了 噪 声 强 度 ， 表 5显 示 了 算 法 的 聚 类 错 误 。由 表 5可 知 ， 在 不 同 的 高 斯 噪 声 下 ， ERLRR的 性 能 均 优 于 其 他 算 法 ， 平 均 聚 类 错 误 比 LRR低 了17.62%。 各 算 法 在 该

40、数 据 库 上 并 没 有 随 着 高 斯 噪 声 图 像 的 增 加 ， 聚 类 错 误 也 随 之 增 加 的 规 律 ， 说 明 各算 法 受 高 斯 噪 声 的 影 响 而 不 够 稳 定 。 事 实 上 ， 给 数据 加 入 方 差 较 小 的 噪 声 ， 对 各 算 法 的 聚 类 错 误 影 响较 小 ， 如 果 加 入 方 差 较 大 的 噪 声 ， 图 像 变 形 严 重 ，各 算 法 包 括 本 文 算 法 都 变 得 不 稳 定 ， 难 以 获 得 较 好的 聚 类 性 能 。表 4 各 算 法 在 PIE 数 据 库 上 的 平 均 聚 类 错 误 (%)类 别 算 法

41、LSA SCC LSR LRSC LRR SSC ERLRR2 30.05 15.15 1.94 2.09 3.32 0.46 1.883 41.57 26.63 3.84 3.41 5.58 0.92 2.785 47.20 46.57 4.37 6.90 10.51 5.04 3.868 54.04 62.25 5.08 8.14 10.97 11.48 5.9110 55.38 65.20 7.84 10.59 16.34 13.64 6.25平 均 45.65 43.16 4.61 6.23 9.34 6.31 4.14表 5 各 算 法 在 均 值 为 0， 方 差 为 0.5 的

42、高 斯 噪 声 下 的 聚 类 错 误 (%)比 率 (%) 算 法LSA SCC LSR LRSC LRR SSC ERLRR20 61.63 70.61 19.79 11.84 18.37 34.08 6.5360 71.84 76.12 46.74 11.63 25.71 32.45 7.96100 67.14 76.94 40.82 25.31 40.82 22.25 17.55平 均 66.87 74.57 35.78 16.26 28.30 29.59 10.684.4 参 数 选 择我 们 分 别 在 ExtendedYaleB数 据 库 和 PIE数据 库 聚 类 类 别 为

43、10的 情 况 下 进 行 实 验 ， 分 析 参 数 选择 对 ERLRR算 法 的 影 响 。 ERLRR算 法 需 要 确 定模 型 中 的 参 数 1 和 2 , 1 取 值 为 4 3 210 ,10 ,10 ,- - -1 0 1 210 ,10,10,10 - , 2 取 值 为 0.05,0.10,0.15,0.20,0.25,0.30,0.35， 通 过 搜 索 不 同 参 数 值 对 实 验 结 果 的影 响 进 行 评 估 。 图 2表 明 当 1 变 化 时 对 聚 类 错 误 的影 响 ， 图 3表 明 当 1 取 实 验 效 果 最 优 的 条 件 下 ， 搜 索

44、不 同 2 值 对 聚 类 错 误 的 影 响 。 由 图 2， 图 3可 知 ，1 1 = 时 ， ERLRR的 聚 类 错 误 最 低 。 由 于 不 同 的 数据 库 受 噪 声 影 响 程 度 不 同 ， 平 衡 噪 声 项 的 2 的 最 优值 也 不 同 。5 结 束 语根 据 Elasticnet的 基 本 思 想 ， 本 文 提 出 一 种 基于 低 秩 表 示 的 子 空 间 聚 类 改 进 算 法 ERLRR。 不 同于 传 统 的 LRR算 法 ， ERLRR联 合 矩 阵 的 核 范 数 和图 2 参 数 1 对 聚 类 错 误 的 影 响万方数据第 11期 张 涛 等

45、 ： 一 种 基 于 低 秩 表 示 的 子 空 间 聚 类 改 进 算 法 2817图 3 参 数 2 对 聚 类 错 误 的 影 响Forbenius范 数 作 为 正 则 项 来 估 计 秩 函 数 ， 提 高 了 算法 的 稳 定 性 。 然 后 我 们 采 用 非 精 确 的 ALM求 解 最优 化 问 题 ， 对 求 得 的 系 数 矩 阵 进 行 后 处 理 得 到 亲 和矩 阵 ， 最 后 采 用 经 典 的 谱 聚 类 方 法 进 行 聚 类 。 在 人工 数 据 集 、 ExtendedYaleB数 据 库 和 PIE数 据 库上 同 流 行 的 子 空 间 聚 类 算 法

46、 进 行 实 验 对 比 ， 证 明 了ERLRR算 法 的 聚 类 性 能 更 加 优 秀 并 且 对 高 斯 噪 声更 加 鲁 棒 。 下 一 步 ， 我 们 将 会 融 合 ERLRR算 法 和基 于 流 形 正 则 化 的 LRR算 法 ， 同 时 探 索 数 据 的 全 局结 构 和 局 部 结 构 ， 进 一 步 提 高 子 空 间 聚 类 算 法 的 性能 。 同 时 ， 如 何 自 适 应 地 选 择 模 型 参 数 也 是 今 后 研究 的 重 点 方 向 之 一 。 参 考 文 献1 王 卫 卫 , 李 小 平 , 冯 象 初 , 等 . 稀 疏 子 空 间 聚 类 综 述

47、 J. 自 动 化 学报 ,2015,41(8):1373-1384.doi:10.16383/j.aas.2015.c140891.WANGWeiwei,LIXiaoping,FENGXiangchu,et al.AsurveyonsparsesubspaceclusteringJ.Acta Automatica Sinica,2015,41(8):1373-1384.doi:10.16383/j.aas.2015.c140891.2 VIDAL R. Subspace clusteringJ. IEEE Signal Processing,2011,28(2):52-68.doi:10.1

48、109/MSP.2010.939739.3 ELHAMIFARE andVIDALR. Sparse subspace clustering:Algorithm,theory,andapplicationsJ.IEEE Transactions onPattern Analysis and Machine Intelligence, 2013, 34(11):2765-2781.doi:10.1109/TPAMI.2013.57.4 VIDAL R and FAVARO P. Low rank subspace clustering(LRSC)J. Pattern Recognition Letters,2014,43:47-61.doi:10.1016/j.patrec.2013.08.006.5 LIUGC,LINZC,andYUY.Robustsubspacesegmentationby low-rank representationC. Proceedings of theInternationalConferenceonMachineLearning,Haifa,Israel,2010:663-670.6 LIU G