MuelNova
commented
1 month ago A quick demo
测试代码
class Config(BaseModel):
adb: str = Field("127.0.0.1:62001", description="ADB 连接地址")
drone_count_limit: int = Field(92, description="无人机使用阈值", ge=0, le=120)
__EXCLUDE__ = {"adb_host", "adb_port"}
... # other configurations
@computed_field
@property
def adb_host(self) -> str:
"""
ADB 主机地址
"""
return self.adb.split(":")[0]
@computed_field
@property
def adb_port(self) -> int:
"""
ADB 端口号
"""
return int(self.adb.split(":")[-1])
@field_validator("adb", mode="after")
@classmethod
def validate_adb(cls, value: str) -> str:
port = int(value.split(":")[-1])
if port < 1 or port > 65535:
raise ValueError("ADB 端口号范围应为 1-65535")
return value
@staticmethod
def load_conf(file: Path | str = Path("./conf2.yml")) -> "Config":
with open(file, "r", encoding="utf8") as f:
return Config.model_validate(yaml.load(f, Loader=CoreLoader))
def save_conf(self, file: Path | str = Path("./conf2.yml")) -> None:
with open(file, "w", encoding="utf8") as f:
yaml.dump(
self.model_dump(exclude=self.__EXCLUDE__),
f,
Dumper=CoreDumper,
encoding="utf-8",
default_flow_style=False,
allow_unicode=True,
)
from pydantic import ValidationError
from foobar.model import Config
# Default
config = Config()
print(config)
print(config.adb_port)
print(config.adb_host)
# Invalid
try:
err_config = Config(adb="127.0.0.1:66666", drone_count_limit=121)
print(err_config)
except ValidationError as e:
print(e)
# Serialize
config.save_conf("test_conf.yml")
输出：
❯ python test.py
adb='127.0.0.1:62001' drone_count_limit=92 adb_host='127.0.0.1' adb_port=62001
62001
127.0.0.1
2 validation errors for Config
adb
Value error, ADB 端口号范围应为 1-65535 [type=value_error, input_value='127.0.0.1:66666', input_type=str]
For further information visit https://errors.pydantic.dev/2.8/v/value_error
drone_count_limit
Input should be less than or equal to 120 [type=less_than_equal, input_value=121, input_type=int]
For further information visit https://errors.pydantic.dev/2.8/v/less_than_equal
❯ cat test_conf.yml
adb: 127.0.0.1:62001
drone_count_limit: 92
ZhaoZuohong
TL; DR
利用 Pydantic 重构当前仅为一个 dict 的 conf 对象，使其具备可维护性，并实现数据验证与类型注解等功能。
Why
Situation
目前的 conf 对象极其缺乏可维护性，对于键值的处理极其容易出现 KeyError 的情况。
以代码为例，在开发过程中，
send_message_config、email_config等均为Any类型，对于开发造成极大的困难，极其容易出现 Typo （例如在一个地方设置配置conf['foo'] = 'bar'，而调用时使用conf.get('fo0', 'bee')，且没有类型注解也对后续开发以及项目可维护性影响较大。具体来说，删除一个配置项的代价是极为高昂的，因为我们不能很快了解任意配置项在哪些地方被引用，也不会在 lint 阶段由编辑器标出错误，指明哪些字段是不存在的。Inspiration
Pydantic 是一个广泛利用的数据验证库，并且对 IDE 和 Linter 有很好的兼容，利用 Pydantic，我们可以获得类型注解，并且在类型不匹配的情况下给出运行时错误
ValidationError以告知开发者。下面是一个 Pydantic 正确运行的例子。在错误情况下，我们也可以获得更多信息。
利用 Pydantic，我们可以更加清晰地配置配置项，并且不再需要利用 temp_conf 等低效的 io 密集型操作进行配置的初始化，可以显著减小
/conf路由的开销。同时，得益于 Pydantic 的高自定义性，我们也可以对旧 Config 进行较为迅速的迁移。How
由于 Arknights Mower 配置项较为复杂，同时将所有配置项写在一个 BaseModel 对象显然也不利于可维护性。可以将配置项进行分类然后在大的 Config 对象里进行组装。
在这个情况下，我们几乎需要对所有使用 conf 的地方进行重写，工作量无疑是巨大的。在思想实验中，我总结出了以下几个困难：
作为该 Suggestion 的提出者，我可以承担主要开发工作。然而，由于个人科研任务，可能进度缓慢，因此，首先提出这个 Suggestion Issue，等待各位大佬的讨论、建议及意见。