Closed peq42 closed 4 months ago
Caro @peq42, obrigado por mostrar esse erro. Difícil dizer de onde vem, pois os modelos alucinam. Minha intuição é que provavelmente se deve ao treinamento em dados da Web, onde muitos exemplos de conversas com a OpenAI estão disponíveis.
Quanto à sua suspeita, você pode baixar o sabiá-7B da HuggingFace e rodar na própria máquina. Dentro de alguns dias também poderá baixar a MariTalk Local do Sabiá-2 Small e Medium e verificar que os modelos funcionam mesmo sem conexão com a internet.
Olha com todo respeito, e cheguei até a promover o chatbot de vocês uns dias atrás para um professor meu e colegas online, mas como que o bot foi treinado nesse tipo de texto o suficiente para me dar essa resposta duas vezes? Ele é exatamente a resposta que chatbots que usam o GPT 3.5 dão quando você pede algo que quebra as regras da open AI.
Vocês usaram alguma versão do GPT como base? Talvez treinando coisas em cima dele?
Obrigado por trazer à tona essa preocupação, @peq42! Considero saudável essa desconfiança em um mercado tão competitivo e com tantas fraudes. Eu também me sentiria desapontado se descobrisse que um projeto como o nosso fosse uma grande mentira.
Mas esse não é o nosso caso. A Maritaca AI é composta por pesquisadores sérios que têm contribuições públicas em diversas áreas da IA, seguindo o rigor científico. Posso lhe assegurar que, se nossos modelos fossem apenas um chatbot que usa ChatGPT, não conseguiríamos manter o preço que praticamos hoje (mais barato que a API da OpenAI), porque seria inviável.
Com certeza, temos vários pontos a melhorar nos nossos modelos, e este erro que você encontrou mostra que temos um problema nos nossos dados de treinamento. O problema da alucinação ainda é um desafio no treinamento de LLMs, mas já melhoramos muito desde a primeira versão!
Para exemplificar, aqui estão alguns exemplos do modelo LLaMA-2-70B alucinando a respeito da sua arquitetura.
Este é apenas um exemplo de um modelo com os pesos públicos e verificáveis de como as gerações de LLMs não são 100% confiáveis e temos técnicas para ajudar a mitigar isso. Exemplos de modelos comerciais alucinando são abundantes na internet.
Mas você não precisa confiar apenas no que estamos dizendo. Na próxima semana, voltaremos a disponibilizar nossa versão local, e você poderá fazer os mesmos testes localmente e sem internet para confirmar que não usamos APIs de terceiros ou algo do tipo. Se quiser nos informar seu e-mail, ficaremos felizes em notificá-lo assim que a versão local estiver disponível.
Cara eu não consigo expressar o quão desapontado estou com esse projeto. Como vocês explicam isso?
https://i71.servimg.com/u/f71/15/27/47/75/124.png https://i71.servimg.com/u/f71/15/27/47/75/216.png
Falaram tanto de "ah o google deu 1 milhão pra usar em servidores deles" e "anos de pesquisa" e tão só usando chat da openAI?