Post about Deep Learning + NLP

[anibalsolon]

Deep learning and NLP for higher text representations

http://colah.github.io/posts/2014-07-NLP-RNNs-Representations/

[meneguzzi]

Anibal, tu leste os comentários? Eu dei uma lida no artigo, e me parece que ele só usa Deep Learning como buzzword, já que ele só fala de uma rede neural com alguns níveis escondidos. Em tempo, não te esquece de colocar os outros artigos aqui como issue, por favor.

[anibalsolon]

Sim, tem um comentário de um cara mega decepcionado com o post por usar o termo Deep Learning (DP, mas não aquele DP) de forma supostamente erronea, mas o autor afirma na conclusão: "The representation perspective of deep learning is a powerful view that seems to answer why deep neural networks are so effective.".

Ou seja, o que ele quis foi utilizar do que (eu concordo ser) é o ponto-chave do DP: o conceito de multiplas representações, abstrações e afins. Talvez o chororô foi por não ter empilhado RBMs. Mesmo pelos artigos referenciados, como o do Buttou¹ ou o do próprio Bengio², o foco são justamente as representações das palavras.

¹ http://arxiv.org/pdf/1102.1808v3.pdf ² http://machinelearning.wustl.edu/mlpapers/paper_files/BengioDVJ03.pdf

[meneguzzi]

Então por que não usar o artigo mesmo (a tua footnote 1) como sugestão para as leituras do grupo?

[anibalsolon]

Porque o post está mais didático, mas ambos os artigos estão bem legais para discutir. O Buttou acaba com "Is this new path to Artificial Intelligence?", parece bom.

[meneguzzi]

Então me cola o link, o título do paper e os autores aqui, que eu coloco lá no schedule, por favor. Facilita minha vida :-)

[anibalsolon]

From Machine Learning to Machine Reasoning - Léon Bottou http://arxiv.org/pdf/1102.1808v3.pdf

A Neural Probabilistic Language Model - Yoshua Bengio, Réjean Ducharme, Pascal Vincent and Christian Jauvin http://machinelearning.wustl.edu/mlpapers/paper_files/BengioDVJ03.pdf

[meneguzzi]

Done