marigoold
commented
1 year ago 测试结果：
| L | Mem(MiB) | Time(s) | DataType |
|---|---|---|---|
| 128 | 25613 | 0.53 | fp16 |
| 256 | 25913 | 3.76 | fp16 |
| 512 | 26633 | 10.47 | fp16 |
| 1024 | 27691 | 26.12 | fp16 |
| 2048 | 33101 | 60.61 | fp16 |
Closed BBuf closed 1 year ago
marigoold
commented
1 year ago 测试结果：
| L | Mem(MiB) | Time(s) | DataType |
|---|---|---|---|
| 128 | 25613 | 0.53 | fp16 |
| 256 | 25913 | 3.76 | fp16 |
| 512 | 26633 | 10.47 | fp16 |
| 1024 | 27691 | 26.12 | fp16 |
| 2048 | 33101 | 60.61 | fp16 |
marigoold
commented
1 year ago 测试结果（五次取平均）：
| L | Mem(MiB) | Time(s) | DataType |
|---|---|---|---|
| 128 | 25613 | 0.51 | fp16 |
| 256 | 25913 | 3.81 | fp16 |
| 512 | 26633 | 10.58 | fp16 |
| 1024 | 27691 | 25.62 | fp16 |
| 2048 | 33101 | 59.49 | fp16 |
在生成结果的时候推理脚本做了2个完全一样的sync，只需要做一次即可。