v1.0.0 roadmap - Githubissues

注释/代码 (Comments/Code)

文档 (Documentation)

[ ] 简短的 RWKV 介绍 + 模型推荐 (Brief RWKV introduction + model recommendations) @shoumenchougou
[ ] 开箱即用的生成类函数调用示例 (Ready-to-use examples of generation function calls)
[ ] API 列表文档 (API list documentation)

懒人函数 (Convenience Functions) 功能类函数 (Functional Functions) ~~训练函数~~ training() V1 版本暂时不实现 (Training function training() not implemented in V1)

[x] ~~用 accerlate 写一个分布式训练~~ (Write a distributed training using accelerate) @uniartisan

命令行聊天函数 cmd_chat(state=None, parameters) (Command-line Chat Function)

[ ] 自动加载默认提示词并在命令行弹出聊天界面 (Automatically load default prompts and display chat interface in command line)
[ ] 支持加载 state 文件 (Support loading state files)
[ ] 支持解码参数 "temperature": 1, (Support decoding parameter "temperature": 1)
[ ] 支持解码参数 "top_p": 0.5, (Support decoding parameter "top_p": 0.5)
[ ] 支持解码参数 "frequency_penalty": 0.3, (Support decoding parameter "frequency_penalty": 0.3)
[ ] 支持解码参数 "presence_penalty": 0.3, (Support decoding parameter "presence_penalty": 0.3)
[ ] 支持 streaming (Support streaming)

聊天续写函数 chat(context, state=None, parameters) (Chat Continuation Function)

[x] 支持 context ，结构和 OpenAI 结构一致： [{"role" : "user","message": ""}, ] (Support context, structure consistent with OpenAI)
[ ] 支持加载 state 文件 (Support loading state files)
[x] 支持解码参数 "temperature": 1, (Support decoding parameter "temperature": 1)
[x] 支持解码参数 "top_p": 0.5, (Support decoding parameter "top_p": 0.5)
[ ] 支持解码参数 "frequency_penalty": 0.3, (Support decoding parameter "frequency_penalty": 0.3)
[ ] 支持解码参数 "presence_penalty": 0.3, (Support decoding parameter "presence_penalty": 0.3)
[ ] 支持解码参数 "top_k": 128 (Support decoding parameter "top_k": 128)
[ ] 支持解码参数 "penalty_decay": 0.99654026, (Support decoding parameter "penalty_decay": 0.99654026)
[ ] 支持解码参数 "logits_processors": list[list[Callable[prompt, generated_tokens, logits]]] (Support decoding parameter "logits_processors")
[ ] 支持解码参数 "max_tokens": 514 (Support decoding parameter "max_tokens": 514)
[ ] 支持解码参数 "stop_strings": ['\n\nUser'] (Support decoding parameter "stop_strings": ['\n\nUser'])
[ ] 支持 prefix-based state cache (Support prefix-based state cache)
[ ] 支持多种 decoding 类型（typical，dola，mirostat） (Support multiple decoding types (typical, dola, mirostat))
[x] 支持 streaming (Support streaming)

续写函数 completion(prompt, state=None, parameters) (Completion Function)

[ ] 支持加载 state (Support loading state)
[x] 支持解码参数 "temperature": 1, (Support decoding parameter "temperature": 1)
[x] 支持解码参数 "top_p": 0.5, (Support decoding parameter "top_p": 0.5)
[ ] 支持解码参数 "frequency_penalty" (Support decoding parameter "frequency_penalty")
[ ] 支持解码参数 "presence_penalty": 0.3, (Support decoding parameter "presence_penalty": 0.3)
[ ] 支持解码参数 "top_k": 128 (Support decoding parameter "top_k": 128)
[ ] 支持解码参数 "penalty_decay": 0.99654026, (Support decoding parameter "penalty_decay": 0.99654026)
[ ] 支持解码参数 "logits_processors": list[list[Callable[prompt, generated_tokens, logits]]] (Support decoding parameter "logits_processors")
[x] 支持解码参数 "max_tokens": 514 (Support decoding parameter "max_tokens": 514)
[ ] 支持解码参数 "stop_strings": ['\n\nUser'] (Support decoding parameter "stop_strings": ['\n\nUser'])
[ ] 支持 prefix-based state cache (Support prefix-based state cache)
[ ] 支持多种 decoding 参数（typical，dola，mirostat） (Support multiple decoding parameters (typical, dola, mirostat))
[x] 支持 streaming (Support streaming)

状态获取函数 state() (State Retrieval Function)

配置类函数 (Configuration Functions) 分词器配置函数 tokenizer("rwkv_vocab_v20230424.txt") (Tokenizer Configuration Function)

策略配置函数 RWKV(strategy=None,layer) (Strategy Configuration Function)

[ ] strategy=None ：自动根据 GPU 的 VRAM 大小，选择合适策略 (Automatically choose appropriate strategy based on GPU VRAM size)
[ ] 支持自定义 strategy （fp16/int8/ nf4 ,"layer" = 30） (Support custom strategy (fp16/int8/nf4, "layer" = 30))

State 文件加载函数 load_state("state_file_path" or list [Tensor] ) (State File Loading Function)

[ ] 支持加载一个 state 文件或者 list [Tensor]（状态张量） (Support loading a state file or list [Tensor] (state tensors))

Others

发布 PIP 包 (Publish PIP Package)

[x] 确认包名称（RWKV-Kit） (Confirm package name (RWKV-Kit))
[ ] 检查项目结构、文件组织、依赖版本 (Check project structure, file organization, dependency versions)
[ ] 检查项目的信息是否完全脱敏 (Check if project information is completely desensitized)
[ ] 在 TestPyPI 上进行测试发布（可选项） (Test publish on TestPyPI (optional))

TorchRWKV / rwkv-kit