第120期:将网站转化为适用于大语言模型（LLM）的知识库

*大家好，我是AI拉呱，一个专注于人工智领域与网络安全方面的博主，现任资深算法研究员一职，热爱机器学习和深度学习算法应用，拥有丰富的AI项目经验，希望和你一起成长交流。关注AI拉呱一起学习更多AI知识。

一、引言

我们当下所熟悉的互联网，本质是为人类打造的产物。网页的设计围绕“浏览器呈现效果”展开，配备了菜单、导航栏、图片等元素，以提升人类用户的视觉体验与操作便捷性。

然而，对于大语言模型（LLMs）这类AI系统而言，设计美观与否毫无意义。它们真正关注的是清晰的结构、简洁的文本，以及有价值的示例。而目前，互联网上的绝大多数内容，都难以被LLMs有效学习和利用。

这就引出了一个关键问题：
倘若我们能让网站（或任何知识来源）不仅“对人类友好”，同时也“对AI友好”，会产生怎样的改变？

这正是“LLM化（LLMification）”理念的核心——将知识资源转化为针对大语言模型优化的格式。这一理念的近期灵感，主要来自安德烈·卡帕西（Andrej Karpathy）与杰里米·霍华德（Jeremy Howard）两位专家的观点。

二、将知识转化为机器学习素材

安德烈·卡帕西曾在一条推文中设想：每一本教科书都能实现完美的“LLM化”。无需让AI艰难地逐页读取PDF文件，我们完全可以为模型量身打造一套结构化的内容版本。

具体实现流程如下：

1. 内容提取：将文本、公式、表格等所有信