应当使用 allowedSpecial 以代替 disallowedSpecial??

[xgfone]

// func (t *Tiktoken) Encode(text string, allowedSpecial []string, disallowedSpecial []string) []int {
    var allowedSpecialSet map[string]any
    if len(allowedSpecial) == 0 {
        allowedSpecialSet = map[string]any{}
    } else if len(disallowedSpecial) == 1 && disallowedSpecial[0] == "all" {
        allowedSpecialSet = t.specialTokensSet
    } else {
        allowedSpecialSet = map[string]any{}
        for _, v := range allowedSpecial {
            allowedSpecialSet[v] = nil
        }
    }

@pkoukk 暂时没有看全部代码的逻辑，但感觉 disallowedSpecial 怪怪，不知道是否应该是 allowedSpecial？

[pkoukk]

这里确实有问题，我会尽快修复

[xgfone]

@pkoukk 有计划发布 v0.1.1 or v0.2.0 版本吗?