Testar a interação do cidadão comum, fora do meio artistico, que deseja saber o que é a lei e suas peculiaridades
Requisitos
Ambiente
Onde rodar os testes? Versão 2.5.0 da Tais, utilizando o RocketChat como interface. Como rodar com esse mensageiro se encontra no README.md do repositorio lappis-unb/tais
Preparação: Após rodar os contaneirs como explicado no README.md, garanta que entre um voluntário e outro, a conversa seja apagada.
Instruções para chegar na interface: siga este tópico do README.md. Não é necessário executar a parte Instalação.
Perfil do Usuário
Cidadãos que já ouviram falar da Lei de Incentivo à Cultura, porém não entendem seus aspectos. Estes não tem interesse em submeter prospostas, somente entender sobre esta lei tão comentada.
Design do Teste
Tarefas
Obter a resposta sobre o que é a Lei de Incentivo à Cultura
Entender quem pode participar dessa Lei
Saber quem subdisia o projeto
Qual valor máximo que um projeto pode receber
Onde conseguir mais informações
Cenários
Você é um cidadão que acompanha muito os jornais. Viu que estão falando muito de cultura no país, e que se comentou sobre uma lei que ajuda projetos de cultura. O que o jornal explicou sobre o que é essa lei foi confuso. Ele comentou que a Tais é uma ferramenta da Secretaria Especial da Cultura, e você ficou curioso para saber mais sobre essa lei. Utilize a ferramenta para obter novamente essa explicação.
Depois disso, você ouvi que o filho de um conhecido que tem uma banda, quer submeter uma proposta, só que você acha que só artista famoso pode participar dessa lei. Converse com a Tais para saber melhor sobre essa questão de participantes.
Parando para pensar, você pensa que o governo não tem que patrocinar a banda do filho do seu conhecido! É absurdo usar fazer isso com o dinheiro do seus impostos! Tire isso a limpo com a Tais, e saiba quem está bancando essa farra.
Hmmm, agora tudo bem, mas para ter certeza, pense e converse com a Tais sobre esse valores dos projetos e se eles não estão dando 10 milhões de reais para o filho do seu conhecido.
A Tais fez seu trabalho, mas você gostaria de falar com um humano, e saber de informações mais especificas sobre a lei e a Secretaria. Será que a Tais pode ajudar nisso?
Resultados
Erros de conversa: Tais não classificou corretamente a inteção do usuário, mas o usuário conseguiu completar o cenário.
Becos sem saida: Após uma tentativa sem sucesso, o usuário formula a pergunta e a Tais continua sem entender. O voluntário pode ou não ter conseguido completar o cenário.
Tarefa 1
5 de 5 participantes foram bem sucessidos
3 deles utilizaram a estrategia MEAJUDA, logo após a saudação.
4 iniciaram a conversa com uma saudação
Alguns falaram formalmente com a Tais
Erros de Conversa: 1
O voluntário falou que queria saber sobre a lei, e a Tais não entendeu. O voluntário então digitou somente "lei de incentivo a cultura"
Becos sem Saída: 1
O voluntário teve dificuldade de aplicar a tarefa no cenário, chegou a perguntar sobre o número de antendimento de telefone, pois a Tais não estava respondendo corretamente. Depois de uma nova explicação sobre o cenário, conseguiu fazer a pergunta.
Tarefa 2
5 de 5 participantes foram bem sucessidos
2 deles comentaram que proponente é um termo muito formal e difícil de ser entendido logo no começo, o que atrapalhou a percepção deles de reposta certa da Tais.
1 voluntário interpretou a resposta de proponente como se tivesse a pessoa tivesse que obter o documento "ato constitutivo"
4 iniciaram a conversa com uma saudação
Alguns falaram formalmente com a Tais
Erros de Conversa: 2
Um voluntário perguntou o que era necessário para receber apoio da lei
Um voluntário perguntou com entrar no programa de incentivo, e a Tais identificou uma pergunta sobre agência bancária.
Becos sem Saída: 0
Tarefa 3
5 de 5 participantes foram bem sucessidos
2 deles obteram a resposta com a pergunta de sobre quem participa nos projetos
Erros de Conversa: 1
Um voluntário perguntou como se inscrever parar receber os beneficios, e a Tais identificou "Análise de Adissibimilidade". Voluntário, então perguntou sobre quem paga pela lei, e só na pergunta "como é arrecado o dinheiro que vai para o incentivo da cultura", a Tais conseguiu responder.
Becos sem Saída: 0
Tarefa 4
4 de 5 participantes foram bem sucessidos
Erros de Conversa: 3
Um voluntário perguntou máximos e mínimos após dica
Entendeu o cenário como o valor de cache de cada artista e não do projeto inteiro, caiu no cachê, e depois de 3 tentativas não tentaria mais.
Um voluntário obteve a resposta de "Análise de Adissibimilidade" e pensou que o link daria a resposta, porém perguntou novamente e conseguiu.
Becos sem Saída: 2
Um voluntário perguntou sobre o valor fornecido para cada projeto, e a Tais identificou "Análise de Adissibimilidade". Voluntário então perguntou sobre valor mínimo e continuou sem resposta. Imaginou que o link enviado na mensagem da Tais responderia a pergunta, porém este não responde.
Entendeu o cenário como o valor de cache de cada artista e não do projeto inteiro, conseguiu a resposta esperada do cenário, porém considerou a resposta como errada.
Tarefa 5
5 de 5 participantes foram bem sucessidos
Erros de Conversa: 2
Perguntou sobre como falar com área técnica, e Tais não soube responder
Perguntou sobre funcionário, e Tais não soube responder
Becos sem Saída: 0
O que foi bem?
A maioria dos volunarios tentaram utilizar uma linguagem mais formal, cumprimentando quando necessário, e entenderam as limitações da tecnologia.
Quais são os desafios
A Tais não se mostra amigável para aqueles que não tem conhecimento prévio do caminho de submissão de um projeto. É necessário minimamente entender o que é um proponente, e também bastantes terminologias de lei como "Análise de Admissibilidade".
A compreensão de algumas tarefas eram associadas com palavras chaves presentes na base de treinamento, como "valor máximo de projeto".
A explicação do cenário por parte do facilitador poderia ter evitado alguns erros iniciais do chatbot. Dizer também o término do cenário também ajudaria.
Objetivo
Testar a interação do cidadão comum, fora do meio artistico, que deseja saber o que é a lei e suas peculiaridades
Requisitos
Ambiente
Perfil do Usuário
Cidadãos que já ouviram falar da Lei de Incentivo à Cultura, porém não entendem seus aspectos. Estes não tem interesse em submeter prospostas, somente entender sobre esta lei tão comentada.
Design do Teste
Tarefas
Cenários
Você é um cidadão que acompanha muito os jornais. Viu que estão falando muito de cultura no país, e que se comentou sobre uma lei que ajuda projetos de cultura. O que o jornal explicou sobre o que é essa lei foi confuso. Ele comentou que a Tais é uma ferramenta da Secretaria Especial da Cultura, e você ficou curioso para saber mais sobre essa lei. Utilize a ferramenta para obter novamente essa explicação.
Depois disso, você ouvi que o filho de um conhecido que tem uma banda, quer submeter uma proposta, só que você acha que só artista famoso pode participar dessa lei. Converse com a Tais para saber melhor sobre essa questão de participantes.
Parando para pensar, você pensa que o governo não tem que patrocinar a banda do filho do seu conhecido! É absurdo usar fazer isso com o dinheiro do seus impostos! Tire isso a limpo com a Tais, e saiba quem está bancando essa farra.
Hmmm, agora tudo bem, mas para ter certeza, pense e converse com a Tais sobre esse valores dos projetos e se eles não estão dando 10 milhões de reais para o filho do seu conhecido.
A Tais fez seu trabalho, mas você gostaria de falar com um humano, e saber de informações mais especificas sobre a lei e a Secretaria. Será que a Tais pode ajudar nisso?
Resultados
Erros de conversa: Tais não classificou corretamente a inteção do usuário, mas o usuário conseguiu completar o cenário. Becos sem saida: Após uma tentativa sem sucesso, o usuário formula a pergunta e a Tais continua sem entender. O voluntário pode ou não ter conseguido completar o cenário.
Tarefa 1
5 de 5 participantes foram bem sucessidos
3 deles utilizaram a estrategia MEAJUDA, logo após a saudação.
4 iniciaram a conversa com uma saudação
Alguns falaram formalmente com a Tais
Erros de Conversa: 1
Becos sem Saída: 1
Tarefa 2
5 de 5 participantes foram bem sucessidos
2 deles comentaram que proponente é um termo muito formal e difícil de ser entendido logo no começo, o que atrapalhou a percepção deles de reposta certa da Tais.
1 voluntário interpretou a resposta de proponente como se tivesse a pessoa tivesse que obter o documento "ato constitutivo"
4 iniciaram a conversa com uma saudação
Alguns falaram formalmente com a Tais
Erros de Conversa: 2
Becos sem Saída: 0
Tarefa 3
5 de 5 participantes foram bem sucessidos
2 deles obteram a resposta com a pergunta de sobre quem participa nos projetos
Erros de Conversa: 1
Becos sem Saída: 0
Tarefa 4
4 de 5 participantes foram bem sucessidos
Erros de Conversa: 3
Becos sem Saída: 2
Tarefa 5
5 de 5 participantes foram bem sucessidos
Erros de Conversa: 2
Becos sem Saída: 0
O que foi bem?
A maioria dos volunarios tentaram utilizar uma linguagem mais formal, cumprimentando quando necessário, e entenderam as limitações da tecnologia.
Quais são os desafios
A Tais não se mostra amigável para aqueles que não tem conhecimento prévio do caminho de submissão de um projeto. É necessário minimamente entender o que é um proponente, e também bastantes terminologias de lei como "Análise de Admissibilidade".
A compreensão de algumas tarefas eram associadas com palavras chaves presentes na base de treinamento, como "valor máximo de projeto".
A explicação do cenário por parte do facilitador poderia ter evitado alguns erros iniciais do chatbot. Dizer também o término do cenário também ajudaria.