splor-mg / atividades

Gestão de tarefas
0 stars 0 forks source link

Prova de conceito (POC) para avaliação da qlik cloud #98

Closed fjuniorr closed 3 months ago

fjuniorr commented 8 months ago

Tópicos para avaliação

fjuniorr commented 8 months ago

@hslinhares vai adicionando tópicos (pode alterar o comentário inicial) que a gente precisa de avaliar quando formos fazer a POC.

fjuniorr commented 7 months ago

@hslinhares recebemos o email da qlik pra ativar o trial com duração de 1 mês.

Quando terminarmos a demanda de Brumadinho vamos fazer uma reunião pro setup inicial juntos e depois você assume construindo um painel com modelagem link table e tentando abordar os itens que elencamos acima.

hslinhares commented 6 months ago

O qliksense necessita do upload dos arquivos na nuvem. Assim não há como importar os arquivos .qvs da forma como estão no qlikview.

Outro ponto é que caso um arquivo seja atualizado no diretório local, não gera atualização automática do arquivo em nuvem, mas sim deve ser feito um agendamento por ferramenta qlik instalada a parte.

hslinhares commented 6 months ago

No qlikview é possível ler bases de url´s

LOAD ano, 
     mes_cod, 
     vlr_empenhado, 
     vlr_liquidado, 
     vlr_liquidado_retido, 
     vlr_pago_orcamentario, 
     vlr_pago_financeiro
FROM
[https://raw.githubusercontent.com/splor-mg/armazem-siafi-totais-dados/main/data/totais_execucao_siafi.csv]
(txt, codepage is 1252, embedded labels, delimiter is ',', msq);

No qliksense não encontrei conexão http entre as disponíveis e quando inserido o código acima do qlikviewdiretamente no script, retornou erro:

Ocorreram os seguintes erros:
This statement only works with lib:// paths in this script mode
O erro ocorreu aqui:
LOAD ano, 
     mes_cod, 
     vlr_empenhado, 
     vlr_liquidado, 
     vlr_liquidado_retido, 
     vlr_pago_orcamentario, 
     vlr_pago_financeiro
FROM
[https://raw.githubusercontent.com/splor-mg/armazem-siafi-totais-dados/main/data/totais_execucao_siafi.csv]
(txt, codepage is 1252, embedded labels, delimiter is ',', msq)
hslinhares commented 6 months ago

links:

hslinhares commented 6 months ago

A leitura de arquivos em URL pode ser feita por meio de uma conexão REST, de forma análoga ao qlikview

LIB CONNECT TO 'REST_httpsraw.githubusercontent.comsplor-mgarmazem-siafi-totais-dadosmaindatatotais_execucao_siafi.csv';

RestConnectorMasterTable:
SQL SELECT 
    "ano",
    "mes_cod",
    "vlr_empenhado",
    "vlr_liquidado",
    "vlr_liquidado_retido",
    "vlr_pago_orcamentario",
    "vlr_pago_financeiro"
FROM CSV (header on, delimiter ",", quote """") "CSV_source";

[CSV_source]:
LOAD    [ano],
    [mes_cod],
    [vlr_empenhado],
    [vlr_liquidado],
    [vlr_liquidado_retido],
    [vlr_pago_orcamentario],
    [vlr_pago_financeiro]
RESIDENT RestConnectorMasterTable;

DROP TABLE RestConnectorMasterTable;

referências:

https://github.com/splor-mg/atividades/issues/101 https://github.com/splor-mg/atividades/issues/15

hslinhares commented 6 months ago

Não foi possível a leitura dos arquivos do script, do tipo .qvs diretamente no repositório do github, para se evitar o agendamento de carregamento deste arquivo na nuvem da qlik.

Os arquivos encontram-se no repositório privado https://github.com/splor-mg/roperacional/tree/main/code.

Foi possível realizar a conexão do tipo Rest, por meio da URL e inserindo o valor do GITHUB_TOKEN, conforme instruções de https://github.com/splor-mg/atividades/issues/101, porém não possível a leitura do conteúdo, pois somente é possível de arquivos de tabela, do tipo Xml, Json e csv, não suportando arquivos qvs.

image

hslinhares commented 6 months ago

Os arquivos na nuvem da qlik ficam na pasta lib://DataFiles/ Após o upload dos arquivos é possível fazer a leitura direcionando ao path para este endereço

image

hslinhares commented 5 months ago

Inseri o conteúdo do script acima em um arquivo externo do tipo .qvs e fiz upload na nuvem da qlik. Ao tentar acessar o conteúdo, aparece mensagem que a ferramenta não suporta visualização

image

hslinhares commented 5 months ago

Fiz a leitura do arquivo .qvs no script e o conteúdo não retorna como o arquivo original, não sendo possível a leitura da tabela execucao_2024.csv.

image

hslinhares commented 5 months ago

O resultado da pesquisa no google how to include external script in qlik sense? retorna como primeiro resutaldo https://community.qlik.com/t5/Design/The-Include-which-you-Must-Include-into-your-toolkit/ba-p/1462834

Em que a comunidade responde com base no qlikview, para se utilizar a função include, a mesma que já utilizamos no relatorio operacional.

Utilizando esta função foi possível carregar os dados do arquivo execucao.qvs

image

image

fjuniorr commented 5 months ago

@hslinhares podemos considerar a POC finalizada, certo? Escreve por favor um breve resumo das conclusões/achados porque eventualmente talvez a gente insera isso em um Estudo Técnico Preliminar (ETP) e coloca aqui. O foco principal deve ser em que medida o nosso conhecimento e fluxo atual de uso do Qlikview transfere para o Qliksense Cloud.

Depois pode fechar esse issue.

fjuniorr commented 3 months ago

Tudo indica que as conversas com a Qlik não vão evoluir e portanto não faz sentido gastar esforço neste issue até segunda ordem