高性能SD系列和LLM系列推理引擎技术交流

[s84091511]

老师你好，我是SiliconFlow 公司的Vince（微信&手机：18611412651），主要做高性能大模型推理引擎，幸会。 是这样，我们自研的高性能SD系列和LLM系列的推理套件Onedif （SiliconDiff）和SiliconLLM，已经大量应用于国内外很多知名AI应用的推理场景。大部分推理性能至少提升一倍，算力消耗节约至少一半，整体性能上明显优于vllm和TensorRT。 通过此信息，是想和贵单位研发团队建立个联系，比如双方能否建立一个技术交流，或许可以为贵推理优化提供一些新的思路和见解。