Closed Iodine98 closed 5 months ago
@han-vermolen, overleg met SBP of deze Docker file goed geconfigureerd is voor ML deployment. Ik heb als dependency
llama-cpp-python
, maar daarvoor zijn er verschillende versies afhankelijk van de CPU driver die er gebruikt wordt (bijv.cuBLAS
vanCUDA
ofopenBLAS
)
De Dockerfile is al gemerged in een andere PR. Dus ik zal deze sluiten. Kijk naar de Dockerfile
op de main
branch.
@han-vermolen, overleg met SBP of deze Docker file goed geconfigureerd is voor ML deployment. Ik heb als dependency
llama-cpp-python
, maar daarvoor zijn er verschillende versies afhankelijk van de CPU driver die er gebruikt wordt (bijv.cuBLAS
vanCUDA
ofopenBLAS
)