Listar modelos

[rrg92]

Olá,

Antes de mais nada, muito obrigado pela contribuição desse projeto! Eu tenho acompanhando vocês e fico muito feliz em ver projetos BR nesse nível e abertos pra comunidade!

Estou integrando o LLM de vocês em um módulo powershell que criei chamado PowershAI

Um feature básica que disponibilizo é listar os modelos disponíveis para que o usuário escolha qual quer usar!

API compatíveis com a OpenAI disponibilizam o endpoint /models.

Você tem algum endpoint parecido com este que retorna os modelos disponíveis para serem usados no parâmetro "model" do /inference?

Aproveitando, vocês planejam disponibilizar uma API que segue o mesmo padrão da OpenAI ?

[rrg92]

Já funcionando com a API do MariTalk:

Aguardando mais info aqui na issue pro caso de ter outras maneiras de consultar os modelos! Por enquanto, estou deixando hard coded:

[thiagolaitz]

Olá @rrg92!

Muito legal sua implementação! Acabamos de liberar uma nova rota com essas informações, a documentação está disponível em nosso swagger. Com relação a uma API compatível com a da OpenAI, vamos disponilizar esse suporte nos próximos dias!

Segue um exemplo de retorno:

{
    "models": {
        "sabia-3": {
            "description": "Modelo mais avançado",
            "alias": "sabia-3-2024-07-15",
            "token_rate_limit_input": 500000,
            "token_rate_limit_output": 200000,
            "requests_per_minute": 1000,
            "input_price": 1e-05,
            "output_price": 1e-05,
            "update_date": "2024-07-15",
            "max_tokens": 32000
        },
        "sabia-2-medium": {
            "description": "Modelo intermediário",
            "alias": "sabia-2-medium-2024-03-12",
            "token_rate_limit_input": 500000,
            "token_rate_limit_output": 200000,
            "requests_per_minute": 1000,
            "input_price": 5e-06,
            "output_price": 1.5e-05,
            "update_date": "2024-03-12",
            "max_tokens": 8192
        },
        "sabia-2-small": {
            "description": "Maior velocidade",
            "alias": "sabia-2-small-2024-03-12",
            "token_rate_limit_input": 500000,
            "token_rate_limit_output": 200000,
            "requests_per_minute": 1000,
            "input_price": 1e-06,
            "output_price": 3e-06,
            "update_date": "2024-03-12",
            "max_tokens": 8192
        }
    }
}

Curl de request:

curl --request GET \
  --url https://chat.maritaca.ai/api/chat/models \
  --header 'Authorization: Key <sua_chave>' \
  --header 'Content-Type: application/json'

[rodrigo-f-nogueira]

Olá @rrg92 vou fechar essa issue pois a feature foi implementada, mas qualquer dúvida é só reabri-la.

[rrg92]

Muito obrigado pessoal. Acho que não tem necessidade de reabertura.

Agora, consigo listar facilmente os modelos sem precisar deixar hard-coded.

em relação a API da OpenAI, notei que disponibilizaram, mas ainda vi que alguns pontos não são compatíveis. Pensei em abrir uma nova issue para registrar isso (e servir de referência para quem estiver procurando integração). Acham válido?

[rodrigo-f-nogueira]

em relação a API da OpenAI, notei que disponibilizaram, mas ainda vi que alguns pontos não são compatíveis. Pensei em abrir uma nova issue para registrar isso (e servir de referência para quem estiver procurando integração). Acham válido?

Acho uma ótima idéia. Se puder abrir issues nesse github mesmo, para nós é mais fácil daí acompanhar o que falta ser implementado. Desde já agradeçemos