思考令牌(Thinking Tokens, TTs)的出现正在加剧生成式AI和大语言模型(LLMs)的通胀问题。
令牌化的核心机制
令牌化(tokenization)是现代生成式AI和大语言模型的核心机制。当用户输入文本时，系统会将其转换为数字形式进行处理。这些数字在整个处理过程中被使用，最终需要转换回可读的文本格式。
从人类思维获得启发
研究人员观察到，人类在思考复杂问题时往往需要停顿来获取思考时间。这种现象启发了AI研究者开发特殊令牌技术，通过在处理流程中插入"思考令牌"来为AI提供额外的计算时间。
思考令牌的实践应用
2024年5月14日发表的研究论文《语言建模中的思考令牌》展示了这项技术的实际效果。研究表明，在处理复杂问题时，使用思考令牌能显著提升模型的判断能力。然而，这种方法也带来了计算成本的增加。
规模化应用的挑战
在大规模应用场景下，思考令牌带来的计算资源消耗问题更为突出。以OpenAI的8亿周活跃用户为例，额外的计算时间会导致显著的能源消耗增加。
技术争议与未来发展
2024年11月18日发表的研究《重新思考思考令牌：理解其实践表现不佳的原因》指出，思维链(Chain-of-Thought, CoT)等其他方法可能比思考令牌更有效。这个话题目前仍在AI开发者中引发热烈讨论。
正如著名作家阿瑟·柯南·道尔所说："长期以来，我的一个公理是：小事情往往是最重要的。"这一点在当代AI发展中同样适用。