Elaborar experimentos com análise de agrupamentos

[msampaio]

A tarefa consiste em elaborar dois experimentos com análise de agrupamentos. Ambos os experimentos deverão tomar como base a tabela de frequência de intervalos do arquivo TelemannIntervalsMarkov.xlsx, na pasta Produção. Nas colunas desta tabela constam os intervalos de entrada, e nas linhas, os intervalos de saída. Por exemplo, o intervalo de entrada -19 (ver colunas) é sucedido pelo intervalo 4 (ver linhas) duas vezes ao longo da música, e pelo intervalo 2 três vezes.

_Experimento 1_ Agrupar intervalos mais comuns que sucedem o intervalo de tom (2). Para fazer este agrupamento basta ver a coluna de intervalo 2 e os valores de cada um dos intervalos de saída relacionados.

_Experimento 2_ Agrupar intervalos de acordo com os intervalos que os sucedem. Neste caso é necessário trabalhar com um vetor para cada intervalo (coluna). Recomendo calcular as distâncias entre os objetos usando a distância euclidiana:

[SaraFadigas]

Professor, como eu previ no resumo, o melhor método a ser utilizado nesse momento é o agrupamento em árvore, no entanto o material do link que a professora passou não é muito claro, algumas coisas eu ainda não compreendi direito. E os livros que eu consultei também não trazem uma explicação clara para iniciantes. Pensei em consultar o livro que ela sugeriu, mas ainda não consegui achar um PDF, e a biblioteca da ufba só volta ao funcionamento usual a partir do dia 06/01 (eu acredito). Como posso resolver os problemas técnicos que estou enfrentando? O senhor tem alguma sugestão?

Sara

[msampaio]

@SaraFadigas, veja se consegue algum texto interessante nos links dessas páginas abaixo. Entendi bastante da análise de agrupamento lendo Bassab et al. No entanto eles não explicam direito algumas coisas, como por exemplo, calcular a distância reduzida entre os valores dos objetos (p. 5). Além disso, as fórmulas estão todas esquisitas, sem sinais de =, +, etc.

http://en.wikipedia.org/wiki/Hierarchical_clustering https://cs.nyu.edu/davise/om-dist/node4.html http://www.uta.edu/faculty/sawasthi/Statistics/stcluan.html http://www-users.cs.umn.edu/~kumar/dmbook/

[SaraFadigas]

Eu não estou entendendo essa tabela. Esses intervalos são de que? São intervalos musicais? Ou são intervalos com relação a outra coisa?

[SaraFadigas]

A informação sobre a tabela não consiste com os dados que eu estou visualizando. É essa tabela mesmo, ou eu realmente não estou entendendo a descrição que o senhor fez.

Eu já entendi o que devo fazer nos experimentos, no entanto não estou sabendo como interpretar os dados da tabela

[msampaio]

@SaraFadigas, a tabela indica a frequência de tipos de intervalos que sucedem cada tipo de intervalo. Considere que você tem, por exemplo, um intervalo de semitom ascendente e quer ver a frequência de intervalos que o sucedem. Basta olhar a coluna do intervalo 1 (coluna Z). Nesta coluna você pode verificar que após o intervalo de semitom cromático não há qualquer ocorrência dos intervalos -23 e -22, que há uma ocorrência do intervalo -21, duas do intervalo -20 e assim por diante. Este tipo de tabela é muito útil para composição algorítmica, pois podemos, por exemplo, construir uma melodia intervalo por intervalo sorteando os intervalos posteriores mais comuns. Caso não tenha ficado claro basta avisar.

[SaraFadigas]

E esses intervalos - 21, - 22, - 23, é um código de referência pra algum intervalo conhecido? Esse "-" significa que ele é descendente? No caso da tarefa, eu devo utilizar então apenas os dados da coluna intervalo 2?

[msampaio]

@SaraFadigas, os intervalos desta tabela sāo cromáticos e o sinal negativo indica direçāo descendente. No experimento 1 você deverá usar apenas os dados da coluna de intervalo 2. Com isso você já irá gerar uma matriz de comparaçāo de 46 elementos para fazer o agrupamento.

[SaraFadigas]

OK. Entendi. Para o cálculo da distância o senhor prefere que seja da forma normal ou a reduzida?

[msampaio]

Recomendo usar as duas distâncias, normal e reduzida. Assim poderemos verificar se há diferença entre elas e qual agrupa melhor os nossos dados

[SaraFadigas]

Professor, isso é o que eu tenho até agora. No plano 1 o que eu acredito ser o que o senhor pediu para o experimento 1. Eu poderia ter feito um gráfico de raiz, mas não tenho os recursos para tal. No plano 2, no entanto ainda paira uma dúvida sobre o que devo fazer. Na coluna 1 tenho os dados do experimento 1, e na coluna 2 são os dados padronizados através da técnica sugerida pelo BASSAB, MIAZAKI, ANDRADE (1991).

No entanto, eu continuo sem saber quais dados eu devo comparar para encontrar a distância, pois somente os dados do intervalo 2 não servirão para comparação. Se eu for fazer de fato a comparação será entre os dados dispostos nas linhas, os intervalos que sucedem o intervalo 2, mas não acho que esse seja o que o senhor pensou para a tarefa. Isso se justifica pelo fato de até o cálculo da distância fica limitado, uma vez que p = 1, de acordo com a equação (1.5.3) BASSAB (1991). Eu precisaria comparar com os dados de pelo menos duas colunas. Sendo assim, devo comparar todos os dados da tabela de intervalos original, ou alguma coluna em particular?

Aguardo sua resposta. Sara

[SaraFadigas]

Essa tabela está mais completa.

[msampaio]

@SaraFadigas , onde você colocou a tabela? Nāo vi na pasta Produçāo.

[SaraFadigas]

Eu coloquei em anexo. Vou por na pasta.

[msampaio]

Anexos não são permitidos nas respostas via email do GitHub

[SaraFadigas]

Eu percebi. Já está na pasta produção.

[msampaio]

@SaraFadigas, olhei a sua planilha. A minha ideia é gerar uma matriz com as distâncias entre cada um desses intervalos {-23,...24}, agrupar os intervalos pelas suas distâncias e fazer um dendograma com eles.

[SaraFadigas]

Então o senhor quer uma tabela das distâncias entre os intervalos que sucedem o intervalo 2, é isso?

[SaraFadigas]

Então o senhor quer uma tabela das distâncias entre os intervalos que sucedem o intervalo 2, é isso? Esse dendograma o senhor quer que seja feito com os resultados do experimento 2, né? sobre o experimento 1 tem algo que ainda precise se feito, ou está ok?

[SaraFadigas]

Deixei na pasta Produção o arquivo "Intervalo 2 Exp 1 e 2.xlsx" que contém o que eu entendi sobre a tarefa. Sobre o experimento 2 tive algumas dúvidas, e baseado no que eu tinha de informação até agora, eu construí os dados. O Excel 2010 tem uma ferramenta de construção de gráficos cluster, no entanto eu não tenho essa versão do Excel instalado em meu computador então apenas gerei os dados. Sobre a tabela gerada no experimento 2, ela é constituída apenas dos intervalos que de fato sucedem o intervalo de tom. Os intervalos que não ocorrem foram considerados ruídos, e foram descartados. Infelizmente não achei viável calcular a distância euclidiana na forma reduzida por conta da equação que foi sugerida para tal.

Caso haja alguma incongruência com o que foi pedido na tarefa e o que foi de fato executado, por favor, me informe pra que eu possa corrigir.

[SaraFadigas]

Esse vídeo do Youtube ensina como fazer o gráfico de Cluster no Excel 2010: http://www.youtube.com/watch?v=C2IX1hPnEQI

[SaraFadigas]

Ainda vou avaliar como usar a construção de vetores para analisar as distâncias adquiridas.

[msampaio]

@SaraFadigas, alguns comentários:

1. para finalizar o experimento 1 falta apenas criar os grupos. Pelo que vi na aba 2 da planilha, a menor distância entre grupos é 0,03. Nesse caso, pelo que entendi da análise de agrupamentos, os intervalos 3, 9, -9, 6 e 8, por exemplos pertencem a um mesmo grupo. Estou correto? Estando correto, a ideia é fazer o dendograma com esses dados.
2. A ideia do experimento 2 é a mesma, com a diferença que estaremos trabalhando com múltiplas características.
3. Sobre o Excel, infelizmente eu também não o tenho, nem temos no Genos.
4. Sobre a distância reduzida, concordo com você.
5. Eu não aprofundei o estudo de agrupamentos. Qual a diferença da análise de árvore que você mencionou e o que pedi para fazer no experimento 1?

[SaraFadigas]

1. Criarei os grupos na planilha 1. Essa questão da interpretação dos dados é que ainda está um pouco confusa, por que se tomamos 0,03 como menor valor, então, pra cada combinação de intervalos, temos um menor valor que é esse (ver marcações em laranja na planilha). O dendograma deixaria essa informação mais clara, pois faria essa separação visual. Vou ler melhor o material do Bassab pra ter uma ideia de como interpretar esses dados.
2. pelo que eu entendi do experimento 1, a ideia seria separar os intervalos que mais ocorrem pra eliminar os ruídos (dados que não interferem no resultado). Esse agrupamento em árvore, é a mesma ideia do dendograma, com a diferença que, ao invés de usarmos as distâncias usaríamos os valores padronizados. Eu entendi que, no experimento 1 faríamos uma separação dos intervalos mais ocorrente, e a partir deles construiríamos um gráfico de dispersão (o que é apenas a título de visualização). e com base nesses dados faríamos o proposto no experimento 2.

[msampaio]

@SaraFadigas, fico no aguardo da sua leitura do Bassab para interpretar os dados do experimento 1. Eu não havia pensado em gráfico de dispersão, mas apenas no dendograma. Eu acho que você pode fazer as duas coisas. Precisamos registrar a metodologia e avaliar se são realmente úteis para nós.

[SaraFadigas]

certo.

[SaraFadigas]

Farei o gráfico de dispersão com os dados que mencionei, e vou ver como posso fazer o dendograma em outro programa pra que possamos ter também está visualização dos dados.

Marcos da Silva Sampaio notifications@github.com escreveu:

@SaraFadigas, fico no aguardo da sua leitura do Bassab para interpretar os dados do experimento 1. Eu não havia pensado em gráfico de dispersão, mas apenas no dendograma. Eu acho que você pode fazer as duas coisas. Precisamos registrar a metodologia e avaliar se são realmente úteis para nós.

---

Reply to this email directly or view it on GitHub: https://github.com/GenosResearchGroup/FlautaSolo/issues/151#issuecomment-31614579

[SaraFadigas]

Uma coisa que eu não perguntei... De todas as fantasias de Telleman, existe mais de uma que comece com o intervalo 2? Ou nesse caso estamos trabalhando com uma música apenas.?

Marcos da Silva Sampaio notifications@github.com escreveu:

@SaraFadigas, fico no aguardo da sua leitura do Bassab para interpretar os dados do experimento 1. Eu não havia pensado em gráfico de dispersão, mas apenas no dendograma. Eu acho que você pode fazer as duas coisas. Precisamos registrar a metodologia e avaliar se são realmente úteis para nós.

---

Reply to this email directly or view it on GitHub: https://github.com/GenosResearchGroup/FlautaSolo/issues/151#issuecomment-31614579

[msampaio]

Não entendi a pergunta. Na nossa tabela não há ordem de ocorrência dos intervalos.

[SaraFadigas]

vou explicar de outra forma.as colunas da tabela informam qual o 1º intervalo de cada peça, certo?minha duvida é: existe mais de uma fantasia que comece com esse intervalo de tom? ou esses dados são apenas de uma das fantasias?

[msampaio]

@SaraFadigas, as colunas não indicam o primeiro intervalo de cada peça. Elas informam a totalidade de intervalos. Por exemplo, tome um fragmento como esse:

c eb d g f#

Os intervalos adjacentes são 3, -1, 5, -1. Com esses dados podemos construir esta matriz:

. -1 0 1 2 3 4 5
-1 0 0 0 0 0 0 1 
0 0 0 0 0 0 0 0
1 0 0 0 0 0 0 0 
2 0 0 0 0 0 0 0
3 1 0 0 0 0 0 0
4 0 0 0 0 0 0 0
5 1 0 0 0 0 0 0

[SaraFadigas]

Ah.. Entendi.

Marcos da Silva Sampaio notifications@github.com escreveu:

@SaraFadigas, as colunas não indicam o primeiro intervalo de cada peça. Elas informam a totalidade de intervalos. Por exemplo, tome um fragmento como esse:

c eb d g f#

Os intervalos adjacentes são 3, -1, 5, -1. Com esses dados podemos construir esta matriz:

. -1 0 1 2 3 4 5
-1 0 0 0 0 0 0 1
0 0 0 0 0 0 0 0
1 0 0 0 0 0 0 0
2 0 0 0 0 0 0 0
3 1 0 0 0 0 0 0
4 0 0 0 0 0 0 0
5 1 0 0 0 0 0 0

---

Reply to this email directly or view it on GitHub: https://github.com/GenosResearchGroup/FlautaSolo/issues/151#issuecomment-32318012

[SaraFadigas]

O que falta para concluir essa tarefa @msampaio?

[SaraFadigas]

O que falta para concluir essa tarefa @msampaio ?

[msampaio]

Responderei em breve.

[msampaio]

@SaraFadigas, estou fechando essa tarefa.