文本编码扫盲及设计思路总结
文本编码的设计是一个复杂且历史悠久的过程，旨在用有限的数字（通常是 8 位字节）来表示世界上各种语言的字符。
核心设计思路
文本编码的设计主要围绕以下几个目标：
[1. 表示能力：能够表示目标语言或字符集中的所有字符。
2. 兼容性：尽可能与已有的标准（尤其是 ASCII）兼容。
3. 效率：存储和传输的效率，以及处理速度。
4. 标准化：需要被广泛接受和实现的标准。https://calcguide.tech/2025/08/06/%e6%96%87%e6%9c%ac%e7%bc%96%e7%a0%81%e7%9a%84%e8%ae%be%e8%ae%a1%e6%80%9d%e8%b7%af/
主要编码类型及其字节设计
1. 单字节编码 (Single-Byte Character Sets - SBCS)
- 设计：每个字符用一个字节（8 位）表示。
- 容量：一个字节有 256 (2^8) 个可能的值。通常
0x00-0x7F被保留给 ASCII 字符（0-127），剩下 128 个值（0x80-0xFF）用于表示其他字符。 - 示例：
- ASCII：最基础的编码，只使用
0x00-0x7F表示英文字符、数字、标点和控制字符。 - ISO/IEC 8859 系列（Latin-1, Latin-2, …）：扩展 ASCII，用
0x80-0xFF表示西欧、中欧等地区的字符。 - Windows-1252：Windows 对 Latin-1 的扩展，填充了
0x80-0xFF中一些在 Latin-1 中未定义或定义为控制字符的位置。
- ASCII：最基础的编码，只使用
- 优点：
- 简单高效：字符与字节一一对应，处理速度快，存储空间固定。
- 向后兼容 ASCII：所有 ASCII 文本也是有效的 Latin-1/Windows-1252 文本。
- 缺点：
- 表示能力有限：只能表示最多 256 个字符，远远不足以表示像中文、日文、阿拉伯文等拥有成千上万个字符的语言。
2. 多字节编码 (Multi-Byte Character Sets - MBCS)
为了解决单字节编码表示能力不足的问题，多字节编码应运而生。其核心思想是使用变长的字节序列来表示不同的字符。
A. 双字节编码 (Double-Byte Character Sets - DBCS)
- 设计：主要使用两个字节来表示一个字符，有时也用一个字节表示 ASCII 字符。
- 示例：
- Shift JIS (SJIS)：用于日文。第一个字节（前导字节）在特定范围（如
0x81-0x9F,0xE0-0xFC），第二个字节（尾字节）在0x40-0x7E或0x80-0xFC。 - GBK / GB2312：用于简体中文。第一个字节在
0x81-0xFE，第二个字节在0x40-0x7E或0x80-0xFE。 - Big5：用于繁体中文。第一个字节在
0x81-0xFE，第二个字节在0x40-0x7E或0xA1-0xFE。
- Shift JIS (SJIS)：用于日文。第一个字节（前导字节）在特定范围（如
- 优点：
- 表示能力大增：可以表示几万甚至更多的字符。
- 向后兼容 ASCII：单个 ASCII 字节（
0x00-0x7F）仍然表示 ASCII 字符。
- 缺点：
- 状态依赖：解析时需要记住前一个字节是 ASCII 还是多字节序列的开始，这使得解析变得复杂且容易出错。
- 同步问题：如果在传输过程中丢失或插入一个字节，会导致后续所有字符解析错误，直到遇到下一个 ASCII 字符才能重新同步。
B. 真正的变长多字节编码
- 设计：一个字符可以用 1 个、2 个、3 个甚至更多字节来表示。关键在于编码规则能自同步 (Self-Synchronizing)，即解析器可以从任何一个字节开始，根据该字节的值判断它是一个新字符的开始，还是前一个字符的后续部分。
- 示例：
- UTF-8（最典型和成功）：
- 1 字节字符：
0xxxxxxx(0x00-0x7F) - 完全兼容 ASCII。 - 2 字节字符：
110xxxxx 10xxxxxx- 用于表示拉丁文补充、希腊文、西里尔文等。 - 3 字节字符：
1110xxxx 10xxxxxx 10xxxxxx- 用于表示大部分中文、日文、韩文常用字符。 - 4 字节字符：
11110xxx 10xxxxxx 10xxxxxx 10xxxxxx- 用于表示 Unicode 较后面平面上的字符（如一些生僻汉字、表情符号等）。 - 优点：
- 自同步：通过检查字节的前几位（bit pattern），解析器总能知道当前字节是新字符的开始还是延续。
- 完美兼容 ASCII：所有 ASCII 文本都是有效的 UTF-8 文本。
- 表示能力极强：可以表示 Unicode 标准中的所有字符（超过 100 万个码位）。
- 效率高：对于以 ASCII 为主的文本（如英文、编程代码），存储效率与 ASCII 相同。
- 缺点：
- 对于非 ASCII 字符，存储效率可能低于固定宽度编码：例如，一个中文字符在 UTF-8 中需要 3 个字节，而在 UTF-16 中只需要 2 个字节（基本平面内）或 4 个字节（辅助平面）。
- 1 字节字符：
- UTF-8（最典型和成功）：
3. 固定宽度多字节编码
- 设计：每个字符都使用固定数量的字节表示，例如每个字符都用 2 个字节或 4 个字节。
- 示例：
- UTF-16：
- 基本平面字符 (BMP)：使用 2 个字节（16 位）表示，覆盖了大部分常用字符。
- 辅助平面字符：使用 4 个字节（通过代理对 Surrogate Pair 实现）。
- 特点：对于 BMP 内的字符（包括大部分中日韩字符），它是固定宽度的。但它不是完全固定宽度的，因为需要代理对来表示辅助平面字符。
- UTF-32：
- 所有字符：都使用 4 个字节（32 位）表示。
- 优点：真正的固定宽度，一个字符就是一个整数，处理极其简单。
- 缺点：存储效率低，即使是 ASCII 字符也要占用 4 个字节。对于以 ASCII 为主的文本，存储空间是 UTF-8 的 4 倍。
- UTF-16：
总结
| 编码类型 | 字节数 | 设计特点 | 优点 | 缺点 |
|---|---|---|---|---|
| 单字节 (ASCII) | 1 | 固定 | 简单高效，兼容性好 | 表示能力极低 |
| 单字节扩展 (Latin-1) | 1 | 固定 | 简单高效，兼容 ASCII | 表示能力低，不同语言不兼容 |
| 双字节 (SJIS, GBK) | 1 或 2 | 变长 (但主要是2) | 表示能力大，兼容 ASCII | 解析复杂，易失同步 |
| 变长多字节 (UTF-8) | 1, 2, 3, 4 | 变长，自同步 | 自同步，兼容 ASCII，表示能力极强，英文效率高 | 非ASCII字符存储效率可能低 |
| 固定多字节 (UTF-16) | 2 或 4 | 变长 (主要是2) | BMP内字符效率高 | 不是完全固定，ASCII效率低 |
| 固定多字节 (UTF-32) | 4 | 固定 | 处理最简单 | 存储效率低 |
现代文本处理（尤其是国际化软件和 Web）普遍采用 UTF-8，因为它在兼容性、表示能力和效率之间取得了最佳平衡。而 UTF-16 在一些系统（如 Windows 内部、Java、.NET）中也很常见。UTF-32 由于其存储效率问题，使用较少。传统的 SBCS 和 DBCS 仍然在一些遗留系统中使用。