在自然语言处理中，处理多语言和特殊字符的表示始终是一项挑战。本文将分析一种创新的词表构建策略，该策略通过数学优化和双token机制，在保持词表紧凑的同时实现了对Unicode字符的全面覆盖。

词表构建的核心逻辑

该策略包含四个关键步骤：

收集有意义的Unicode字符
- 遍历Unicode基本多语言平面（BMP, 0-0xFFFF）
- 过滤控制字符（Cc/Cf/Cs/Cn类别）
- 保留实际可用的书写字符

def is_meaningful(char):"""识别具有实际意义的Unicode字符"""try:name = unicodedata.name(char)cat = unicodedata.category(char)return not (cat.startswith('C') and cat != 'Co')except:return False

优化字符表示方案
- 为S个字符寻找最优的二维矩阵布局
- 求解满足 $m \times n = S$ 时使 $m + n$ 最小的整数对
- 使用 $O(S)O(\sqrt{S})$ 的因子搜索算法

def find_min_sum_integer(S):"""寻找最优二维布局方案"""min_sum = S + 1sqrt_S = int(math.isqrt(S))for m in range(1, sqrt_S + 1):if S % m == 0:n = S // mcurrent_sum = m + nif current_sum < min_sum:min_sum = current_sumbest_pair = (m, n)return best_pair

构建层次化词表

# 1. 行列基础token
for i in range(m):s = f"s_{i}"for j in range(n):e = f"e_{j}"# 每个字符由(s_i, e_j)对表示voc_single_all_str[(s, e)] = chars.pop()# 2. 添加多字符词汇
voc += [phrase for phrase in common_phrases if len(phrase)>1][:5000]# 3. 添加特殊功能token
voc = ["<|pad|>", "<|im_start|>", ...] + voc

创建混合映射机制

# 字符到ID的映射（单个字符映射到双token序列）
mapping = {'字': [id("s_42"), id("e_17")],'A': [id("s_12"), id("e_93")],...
}

技术优势分析

高效的空间复杂度
- 传统方法：为每个Unicode字符分配独立token → $O (S)$ 空间
- 本方法：行列分离表示 → $O(S)O(\sqrt{S})$ 空间
字符数(S) 行列方案空间节省
10,000 200 50×
50,000 448 111×
100,000 632 158×
全面的字符覆盖
- 支持99%以上的常用字符（BMP平面）
- 包括中文、韩文、藏文等复杂文字系统
- 覆盖数学符号、货币符号等特殊字符
混合层次化设计
随机化增强
- 行列标识随机混排消除位置偏差
- 多字符短语随机排序避免语言偏好

字符数(S)	行列方案	空间节省
10,000	200	50×
50,000	448	111×
100,000	632	158×

实际应用价值

多语言模型优化
- 解决稀有字符OOV(Out-of-Vocabulary)问题
- 支持小语种文本的高效处理
紧凑模型部署
- 减少Embedding层参数90%以上
- 在保持覆盖度的同时控制词表在10K内
特殊领域扩展
- 通过添加领域短语支持专业术语
- 数学公式、化学符号的特殊支持

潜在改进方向

扩展字符范围

# 扩展至Unicode完整范围(0-0x10FFFF)
for plane in range(0, 17):start = plane * 0x10000end = start + 0x10000# 处理每个平面的字符

动态词汇注入

def inject_domain_terms(voc, domain_terms):"""按需添加领域词汇"""new_terms = [term for term in domain_terms if term not in voc]return voc + new_terms[:vacancy]

压缩表示优化

# 对高频字符提供单token别名
char_aliases = {'的': '<|char_de|>',',': '<|char_comma|>',...
}

结语

这种词表构建策略通过数学优化和层次化设计，在字符覆盖率和空间效率间取得了巧妙平衡。它不仅解决了Unicode表示的根本挑战，还为构建紧凑高效的多语言模型提供了坚实基础。在全球化AI应用日益普及的今天，这类高效表示方法的价值将愈发凸显。

import pandas as pd
import unicodedataimport numpy as npdef is_meaningful(char):"""严格定义：已分配 + 非控制字符"""try:name = unicodedata.name(char)cat = unicodedata.category(char)return not (cat.startswith('C') and cat != 'Co')  # 排除Cc/Cf/Cs/Cnexcept:return Falsedef return_meaningful_chars():# 遍历基本平面 (0-FFFF)，跳过明显无效区meaningful_chars = []for code in range(0x10000):  # 仅BMP（已覆盖99%常用字符）char = chr(code)if is_meaningful(char):meaningful_chars.append(char)print(f"✅ 发现 {len(meaningful_chars)} 个有意义字符")print("示例：", ''.join(meaningful_chars[:100]))  # 输出前100个return meaningful_charsimport mathdef find_min_sum_integer(S):"""求解当 m*n = S 且 m,n,S 均为正整数时，m+n 的最小值参数:S (int): 正整数乘积值返回:tuple: (m, n, min_sum) 使 m*n=S 且 m+n 最小的 m, n 值及最小和"""if not isinstance(S, int) or S <= 0:raise ValueError("S 必须是正整数")# 初始化最小和为 S+1（最大可能和是 1+S）min_sum = S + 1best_pair = (1, S)# 遍历到 sqrt(S) 即可，因为因子成对出现sqrt_S = int(math.isqrt(S))for m in range(1, sqrt_S + 1):if S % m == 0:n = S // mcurrent_sum = m + nif current_sum < min_sum:min_sum = current_sumbest_pair = (m, n)return (best_pair[0], best_pair[1], min_sum)
def gen_voc():str_list = list(return_meaningful_chars())[:-1]S = len(return_meaningful_chars()) - 1m, n, min_sum = find_min_sum_integer(S)sqrt_S = math.sqrt(S)# 判断是否为完全平方数is_perfect_square = math.isclose(sqrt_S, int(sqrt_S))remark = "完全平方数" if is_perfect_square else f"最接近√S({sqrt_S:.2f})"print(f"{S:<5} | {m:<5} | {n:<5} | {min_sum:<5} | {m * n:<5} | {sqrt_S:<8.2f} | {remark}")voc = []voc_single_all_str = dict()for i in range(m):s = "s_{}".format(i)for j in range(n):e = "e_{}".format(j)voc_single_all_str[(s, e)] = str_list.pop()if s not in voc:voc.append(s)if e not in voc:voc.append(e)np.random.shuffle(voc)# 使用双token 表示所有 单个字符# 多个字符使用 单个token 表示 且最大的voc_data = pd.read_pickle("voc.pkl")voc_data = sorted(voc_data, key=lambda x: voc_data[x], reverse=False)voc += [i for i in voc_data if len(i) > 1][:5000]np.random.shuffle(voc)voc = ["<|pad|>", "<|im_start|>", "<|im_end|>", "<|think|>", "<|end_think|>", "<|user|>", "<|agent|>", "<|system|>","<|func|>", "<|args|>"] + voc# voc_single_all_str_new={ v:k for k,v in voc_single_all_str.items()}# mini_voc = {v: i for i, v in enumerate(voc)}voc_x2id = {v: i for i, v in enumerate(voc)}voc_single_all_str_new = {v: [voc_x2id.get(j, 0) for j in k] for k, v in voc_single_all_str.items()}voc_x2id.update(voc_single_all_str_new)voc_id2x = {tuple(v) if isinstance(v, list) else v : k for k, v in voc_x2id.items() }pd.to_pickle(voc_id2x, "voc_id2x.pkl")pd.to_pickle(voc_x2id, "voc_x2id.pkl")# 测试示例
if __name__ == "__main__":gen_voc()将上述代码分析 这样建立词表的优势并 写成博客