随机空间和线性空间的理解-卷积小白的随机世界

随机空间和线性空间的理解-卷积小白的随机世界

首页角色扮演随机空间生存更新时间:2024-07-31
引出话题

在前面系列文章中,小白反复提到,这个世界是随机的,是随机空间的叠加。在随机空间里,有一把利器,概率。我们用概率分析随机空间的性质,随之又有了条件概率,条件概率用来分析两个随机空间叠加的情形。此外,在小白的《基于ID3决策树算法理解》文章中,提到了维度,数据的本质形态就是维度,也可以说我们的世界是一个多维度的空间。在数学上,线性代数通过向量空间,行列式,内积,矩阵,特征值等分析多维度空间的性质。小白思考,概率空间和线性维度空间本质应该是相同的,他们之间相互补充,又相互转换,构成更完备的对世界的认知。在下面的内容中,小白重点思考了两个问题,一是,随机空间和向量空间描述的世界是同一个世界,只是角度不同。概率的本质就是内积,熵的本质就是行列式;二是,向量是多维空间的点,类比我们生活的世界的事物。而矩阵就是我们的世界观,我们观察事物和看待世界的行为可类比就是矩阵和向量的乘积,矩阵的特征向量相当于我们的世界观的倾向,特征值相当于我们世界观的倾向的程度。我们每个人都在用一个自己矩阵,去看待(乘积)这个多维的世界,不同的人眼中是不同的世界。

第十九篇 维度上"1"和"无限"-随机空间和向量空间

在小白的《随机空间叠加之独立相关正交》一文中,随机空间相关关系的基本元素是线性相关,我们用相关,不相关,正交以及独立来分类两个维度数据的关联关系。为了描述这种相关性,在数学处理上,我们把被描述的维度看成是1,即这个维度可能性取值(有限的取值或无限的取值)的全集看作"1",这个1是概率1。此外,我们通过条件概率来分析两个概率空间叠加时候的情形,通过概率可以计算得到"熵",在小白的《基于ID3决策树算法之理解》一文中,有"互信息=熵-条件熵"的描述,互信息其实就是两个维度之间的相关关联信息,是两个维度之间相关关系的度量。(在这里小白想引申总结下下这几个概念,概率是描述的"可能性",熵是描述的"确定性"或者"稳定性",互信息描述的是"相关性",其实这三个概念是同一个概念。)概率和熵是一体两面。前者(概率)是对随机空间微观性质的描述,即"可能性"。后者(熵)是对随机空间宏观性质的描述,即"稳定性"。

在线性代数中,我们可以把被观测维度的可能性取值看作是一个无限延伸维度的点。多个维度时,用"向量"来表示多个维度叠加下的一个点。这个点可以理解为一个样本,是多维叠加的概率空间在多维线性空间下进行采样得到的一个样本。在多维线性空间中,两个向量之间有内积概念,多个向量组成的方阵还有行列式的概念。而小白理解,向量之间的内积,是描述多维线性空间中微观(即局部)两个点之间关联,其本质是在描述两个点背后的属性(即维度)之间的关联关系。而对于行列式,通常方阵才有行列式,并且满秩的方阵行列式非零,满秩意味着以组成的方针的向量集合作为"基"的向量空间可以覆盖当前多维度维度空间的全集。因此,小白理解,行列式描述的多维线性空间的宏观性质的描述,小白理解这种宏观性质是"聚集性"(小白自创的概念,后面解释),其和熵的含义"稳定性"本质相同。

总结小白的理解。概率论从直接描述随机世界入手,概率用来描述微观,熵用来描述宏观;线性代数从描述随机空间映射到多维线性空间中的样本点入手,内积用来描述微观,行列式用来描述宏观。

第二十篇 再谈度量数学的基本套路-度量

小白思考,如要说哪门学科在人类科技文明中起到决定作用,小白认为是数学。如果有人问,数学的基本手段是?小白想到一个词"度量",数学的本质在于度量。

比如我们可以用一维有方向的数轴度量和建模时间,用三维正交的数轴来度量和建模空间,基于这些度量,我们发明了数论,欧氏几何等来构建一个完备度量工具包。而且随着人类数学的不断演进,工具包的不断迭代,人类的认知更加深刻,我们的数学概念更加抽象,而伴随的工具包也更加复杂,比如,非欧几何,矩阵,希尔伯特空间,内积,熵,群,拓扑学等等。而所有这些工具包的实施,小白细想应遵循如下的步骤:首先抽象并定义概念,接着在不同类的概念之间进行度量,然后得到不同类概念的关系。这种关系即所谓的科学真理。

度量的工具-概率和内积 熵和行列式

概率论中的熵是我们定义的度量随机空间确定性的一个概念,而且熵和概率的本质是一样的。概率度量微观,通过概率可以算出熵。熵是宏观的性质。即实现了由微观到宏观。

线性代数中,通过内积度量样本点(向量)之间的关系,是微观。而行列式可以由多个向量(样本点)组成的一个满秩的方阵得到,行列式和内积是一体两面(即微观和宏观)。内积是向量的范数之积再乘以夹角的余弦。而行列式本质上是超夹角的正弦(可直观上理解为面积或体积。在二维向量空间下,两个向量的行列式即两个向量所形成平行四边形的面积)。

跟着小白来臆想一下。有一个样本空间,有很多个样本,比如N个。每一个样本可以用M个属性值进行描述。现在,如果把M个属性形成一个M维的线性空间,那么每一个样本点就是这个M维线性空间中的一个点。接下来根据数学中的概念思考,我们可以根据样本点和大树定律,来计算出样本点的概率(样本点属性值的概率),以及条件概率(样本点不同属性类别叠加下的条件概率)。我们因此得到了属性(随机空间)值的可能性的一个度量。在这个度量结果的背后,随机空间(即属性类别)的叠加关系起着决定性的作用。可以说概率就是随机空间叠加关系的体现。再从M维线性空间的角度思考,属性即维度,维度之间的关系体现在这个线性空间的每一个点,或者说是向量。向量的内积,即范数乘以夹角的余弦。因此,内积的大小里面重点体现着对夹角的度量,而这个夹角的大小是维度之间关系的体现。因此,小白理解随机空间中的概率相当于线性空间中的内积,其本质在于度量维度(随机空间)之间的关联(叠加)关系。

我们再来思考,概率越大,熵越小,意味着越稳定。这个稳定是属性的稳定,即M个随机空间叠加后,属性值的取值范围更集中了,或者说某一个属性值或某一些属性值高频率出现,或者是不同类别属性值出现的相关性很高。这种情形,如果站在M维线性空间下看,就是样本点比较聚集,我们可以对其进行分类(对应着某一个属性值或某一些属性值高频出现)或者我们可以进行回归,回归成一条直线或一个超平面(对应着不同类别属性值出现的相关性很高)。再思考,行列式既是这种聚集性的体现,行列式越小(面积越小)越聚集,行列式体现是向量的"聚集性"(回应本文开头提出的聚集性)。因此,小白理解,随机空间中的熵相当于线性空间中的行列式,其本质在于度量维度(随机空间)的聚集性(稳定型)。

第二十一篇 矩阵的特征值和特征向量;

小白近日重新浏览了一遍线性代数的教科书。一些概念应该比较容易理解,如行列式,矩阵的秩,向量的内积,基与坐标等。但对于矩阵的特征值,和特征向量似乎从直观上不太容易理解。如下图,我们从矩阵和向量和乘机开始思考。

向量(1,2,4)和矩阵乘机之后得到了(5,8,8)。上述等式是由"5=1*1 0*2 1 4;8=2*1 1*2 1*4;8=8*1 2*2 0*4"得到。

在一维的空间里,比如数轴。数轴上点的变化,仅体现在数值本身的变化,比如由2到4,即2乘以2就可以得到4,直观上很容易理解。但在二维空间中,比如一个平面。平面上点的变换,不仅体现在数值的变化,还体现在方向(夹角)的变化。因此,仅仅把向量乘以一个数值不能完全覆盖多维空间中点的变化。这时候,我们就要通过矩阵和向量的乘积来表示向量的变化。

小白这样理解,向量(1,2,4)是三维空间中的一个点,或者是三个随机空间叠加在一起的随机空间的一个样本点。这个样本点在三个维度的分量是样本点分别在三个随机空间的投射或者是度量值。这个向量的意义在于它在三维空间中的位置,或者说它的意义在于这个点体现的三个维度的线性关系(线性关系1*2=2;2*2=4),或者说它的意义在于它体现了三个随机空间是如何叠加的。因此,我们看向量(1,2,4),不能独立的看1,2,4这三个数字值,而是看4,2,1这个三个数字之间的线性关系,这是它的本质意义。

理解到这里,我们再看矩阵和向量的乘积意味着什么?显而易见,矩阵和向量的乘积行为改变了三个分量之间的线性关系。也就是说,矩阵改变了向量所在三维空间各维度之间的线性关系,改变了三个随机空间的叠加方式。

我们还可以这样理解,向量所在三维空间或者说叠加随机空间并没有变化,只是我们观察的角度变化了。一个矩阵就好比一双"眼睛",不同的眼睛去观察,会得到不同的结果。这类似我们生活的世界,世界里每一样事物都有它的属性所决定,比如:大与小,好与坏,善良与丑恶等等多个属性,或者说是多重维度。我们每一个人都有自己的矩阵,这个矩阵就是我们的人生观,世界观和价值观。生活在同一个世界里,但不同的人看到的世界却不同。

理解到这里,我们再来理解矩阵的特征值和特征向量。矩阵其实就是世界观,世界观是有方向的,比如,积极的,消极的,正义的,邪恶的。另外,同样积极的世界观,程度不同,有的非常积极,身体力行,自我鼓励;有的只是稍微努力,浅尝辄止。因此,世界观,有两种特征,一个是方向,一个是程度。而对应到矩阵,就是特征向量和特征值。特征向量代表着矩阵的方向,特征值代表着矩阵的程度。

查看全文
大家还看了
也许喜欢
更多游戏

Copyright © 2024 妖气游戏网 www.17u1u.com All Rights Reserved