独立成分分析也像主成分分析一样，希望找到全新的展示数据的方法，但两者的目标是截然不同的。
作为一个启发性的例子，考虑“鸡尾酒会问题”。在一场聚会中，$n$ 位讲话人同时发表讲话，房间中的任意一个麦克风，都会同时记录下 $n$ 位讲话人混合的录音。假定在房间里同时也有 $n$ 个麦克风，由于每个麦克风所处的位置不同，距离各个演讲者的距离也就各不相同，它们分别记录下了所有讲话人的不同声音组合。那么仅使用麦克风的录音，可否回复原始 $n$ 位演讲人各自的讲话内容？
更正式地表述此问题，假设某数据 $s \in \mathbb{R}^n$ 是由 $n$ 个独立来源产生的，而我们观测到的结果是 $$ x=As $$ 其中 $A$ 是被称为混合矩阵 mixing matrix的位置方阵，重复的观测给到我们数据集 $\{x^{(i)};i=1,\cdots,m\}$，而我们的目标是恢复生产数据 $x^{(i)}=As^{(i)}$ 的数据源 $s^{(i)}$。
在鸡尾酒会问题中，$s^{(i)}$ 是 $n$ 维向量，其中 $s^{(i)}_j$ 是第 $j$ 位演讲人在时间 $i$ 发出的声音。同时，$x^{(i)}$ 是一个 $n$ 维向量，$x^{(i)}_j$ 是录音机 $j$ 在时间 $i$ 记录下来的声音。
令 $W=A^{-1}$ 表示逆混合矩阵 unmixing matrix。我们的目标是找到 $W$ 使得给定麦克风的录音 $x^{(i)}$，通过计算 $s^{(i)}=Wx^{(i)}$ 可以恢复每位演讲人的演讲内容。
为了记录方便，令 $w_i^T$ 表示 $W$ 的第 $i$ 行，有 $$ W = \begin{bmatrix} -w_1^T-\\ \vdots \\ -w_n^T-\\ \end{bmatrix} $$ 从而，$w_i \in \mathbb{R}^n$，第 $j$ 个演讲人的内容为 $s_j^{(i)}=w_j^Tx^{(i)}$
In [ ]: