Simon Willison·· 6 小时前AI 评分35
ttok 1.0 发布,默认 tokenizer 改为 GPT-5/GPT-6
ttok 1.0
AI 导读
Simon Willison 发布 ttok 1.0,将默认 tokenizer 从 GPT-4 切换为 GPT-5/GPT-6。OpenAI 尚未确认 GPT-6 是否沿用 GPT-5 系列的 tokenizer;一项实验显示,7 个 GPT 模型在 31 个测试样例上均计为 44,794 个 tokens,彼此结果一致。
来源:Simon Willison · simonwillison.net