Closed neavo closed 4 weeks ago
主要包括： 1、线程数自动设置逻辑 2、修正翻译页数据进位问题
补充说明： 线程数自动设置原有逻辑是根据系统处理器的线程数进行设置 但是实际上充分使用多少线程是由接口网络条件来决定的，与处理器本身的线程数并没有太大关系 在目前的硬件环境下，这个值的跨度范围极大，从 4 到 32 都有可能，使用这个值来设置并不太合适 新的策略改为优先获取 llama.cpp 的 slots 数，如果获取不到，则设置为一个较为保守的固定值，以确保默认状态下的可用性
主要包括： 1、线程数自动设置逻辑 2、修正翻译页数据进位问题
补充说明： 线程数自动设置原有逻辑是根据系统处理器的线程数进行设置 但是实际上充分使用多少线程是由接口网络条件来决定的，与处理器本身的线程数并没有太大关系 在目前的硬件环境下，这个值的跨度范围极大，从 4 到 32 都有可能，使用这个值来设置并不太合适 新的策略改为优先获取 llama.cpp 的 slots 数，如果获取不到，则设置为一个较为保守的固定值，以确保默认状态下的可用性