Paper notes（3）:Tensor-Train Decomposition

1.文章的主要内容

给出了一种简单的非递归的张量分解形式，避免了“维度诅咒”的影响，该分解形式得到的参数数量与正则分解（canonical decomposition）的参数数量相同，但更稳定，因为该种分解是基于辅助展开矩阵的低秩近似。

2.TTD模型

给定一个$d$维张量$B$,如果想用张量$A$近似张量$B$，则$A$的每一个元素可以表示为：
$$A(i_1,i_2,...,i_d)=G_1(i_1)G_2(i_2)...G_d(i_d)\text{\hspace{1em}(1.2)}$$

其中$G_k(i_k)$是一个$r_{k-1}\times r_k$矩阵，因为$A(i_1,i_2,...,i_d)$代表的是一个元素，所以$r_0=r_d=1$。公式(1.2)可以改写为索引的形式：实际上$G_k(i_k)$是一个大小为$r_{k-1}\times n_k\times r_k$的三维数组，它的某个元素$G_k({\alpha }_{k-1},n_k,{\alpha }_k)=G_k(i_k{)}_{{\alpha }_{k-1}{\alpha }_k}$。因此TTD的索引形式可以表示为：
$$A(i_1,i_2,...,i_d)=\sum _{{\alpha }_0...,{\alpha }_d}{G}_1({\alpha }_0,i_1,{\alpha }_1)G_2({\alpha }_1,i_2,{\alpha }_2)...G_d({\alpha }_{d-1},i_d,{\alpha }_d)\text{\hspace{1em}(1.3)}$$

注：以上内容来自于原文的翻译，以下为个人的简单理解

上图是TTD的一个图解，虽然图解给出的$r_{k-1},r_k,n_k$的方向与上文中的不同，但解释的道理是相同的。图中的$p_k$即为上文中的$n_k$，代表着被分解张量第$k$维的大小。结合上图和公式(1.2)，我们可以看出$G_k(i_k)$是三维张量$G_k$的一个$lateralslice$，即一个大小为$r_{k-1}\times r_k$矩阵，总的来说矩阵$A$的某个元素$A(i_1,i_2,...,i_d)$就是其每一个下标对应的$G_k$张量的第$i_k$个$lateralslice$的乘积。

3.TTD的算法

参考文章：
1. Tensor-Train Decomposition
2. 张量分解（四）：Tensor-train Decomposition