神经网络背后的数学原理

数学建模

标题民科味道满满。其实这篇小短文就是自我娱乐。

物理世界是物种多样，千姿百态。可以从不同的看待眼中的世界，包括音乐、绘画、舞蹈、雕塑等各种艺术形式。但这些主观的呈现虽然在各人眼中是物理写实的，但是经过大脑处理后有了不同的结果。各自的大脑有着不同的世界建模，对万物的联系edge有着不同的权重。
看到一朵红色的花，这是牛饲料，这是绘画的风景，这是物理学的光的反射，这是生物学中色素的沉淀，这是片肥沃的土地，这是季节的反映。。。这可能就是所谓的局域性原理。越近影响越大。

从而可知要真实的用数学去刻画这个世界，需要多少公式，需要引入多少变量，结果却未知。所以退而求其次，在专业领域做专业的事。这可能也是许多人对AGI悲观的原因吧。

神经网络

神经网络给了我们一个机会，以能量去换取真实世界的近似。
经过多年的互联网发展，积累了海量的数据；摩尔定律使得处理器达到了很高的性能。神经网络虽很早就出现，但在现在才适逢其会，将算法、数据、算力这3者融合在一起，不需要定义各种规则，也能去模拟、近似某个事物。这也让一些人看到了实现AGI的可能性。理论上，只要足够的数据，足够大的模型，足够的参数，足够的算力是有可能无限接近。

数学原理

虽上过高数课，但我没有经过严格的数学培训，此处就是以一介数学白丁的视角看神经网络后的数学原理。

数学最大的能力就是能够超出物理限制，可以自洽的展现多维世界。二维世界不好解决的问题，将它升维到三维世界，可能就能一眼看穿答案。因为在高维世界，可以更容易看清楚物体间的关联性。而这正是神经网络所需。

一句话被tokenize为多个token后，为了得到token间的相关性，以embedding方式将token从scalar升维为vector，从而在二维空间里训练模型，得到相关性。此种升维手段用处多多。
但是升维带来的问题也很明显，那就是参数量的剧增。从而又出现以工程方法来减少计算量的尝试，以极低精度算来带来训练和推理性能提升。比如降秩、剪枝、稀疏化等。

瞎写到现在，也不知说了啥…