search

pkoukk / tiktoken-go

go version of tiktoken
MIT License
649 stars 71 forks source link

新模型的编码 #46

Closed keethebest closed 3 months ago

keethebest commented 4 months ago

最新的模型gpt-4o使用了新的编码器o200k_base，是否有计划支持更新？