Closed AdrianArnaiz closed 5 years ago
Explicado en https://modelzoo.co/model/audioset en apartados Input: Audio features y Output: Embbeddings
Audio -->|Preprocesado|--> MFCC y espectros para cada segundo -->|VGGish|-->Embeddings-->|PCA|--> Final embeddings
Busco
Arreglado en vez de pip install tensorflow -> pip install --ignore-installed -upgrade tensorflow
Utilizaremos el conversor de VGGish a Keras ubicado aquí https://github.com/antoinemrcr/vggish2Keras Pasos para la descarga e instalaciónde VGGish2keras:
python convert_ckpt.py; python vggish_keras_smoke_test.py
Debe poner: Looks Good To Me!Al modelo entran ejemplos de tamaño (1,96,64). Es decir, cada 0.96 segundos de audio se consideran un ejemplo independiente. Sale una matriz 128-dimensional con los embeddings, puede utilizarse ya como vector de características.
Cabe destacar que, con el modelo VGGish solo podemos sacar características para los audios de más de 0.975 segundos. Esto está explicado en aateriores notebooks y se debe al funcionamiento de VGGish. Para VGGish un ejemplo, una instancia es un frame de 0.96s, sacando ccas para cada window de 10ms (por eso el limite de 0.975). Nosotros para convertir esa matriz de ccas en un vector, hemos hecho la media desviación por columnas, es decir, de cada característica:
Es decir, todas las palabras y muchas vocales no podrán ser procesadas por este modelo debido a su corta duración (el 99% de las palabras duran menos de un segundo y algunos audios de las vocales también).
Por tanto, realizaremos la extracción de características para read-text y para las vocales que se pueda.
Extraídas tanto: