Phase05-NLP With Neural Networks-Z.Dehghani

[ZahraDehghani99]

• [x] Section 1: Text Classification
  • [x] Follow tutorial
  • [x] Text preprocessing
  • [x] EDA on data
  • [x] Word cloud
  • [x] Train model
  • [x] Evaluate model
• [x] Section 2: Sentiment Analysis
  • [x] Lookup table method [FILL HERE WITH RIGHT ANSWERS TO QUESTION 1] [FILL HERE WITH RIGHT ANSWERS TO QUESTION 2] [FILL HERE WITH RIGHT ANSWERS TO QUESTION 3]
  • [x] Train RNN model [FILL HERE WITH RIGHT ANSWERS TO QUESTION 1] [FILL HERE WITH RIGHT ANSWERS TO QUESTION 2]
  • [x] Train CNN model [FILL HERE WITH RIGHT ANSWERS TO QUESTION 1] [FILL HERE WITH RIGHT ANSWERS TO QUESTION 2] [FILL HERE WITH RIGHT ANSWERS TO QUESTION 3]
• [x] Section 3: Embedding
  • [x] Extract embedding of words from NN
  • [x] Train Gensim word embedding on persian corpus
  • [x] Train NN with word embedding from Gensim
  • [ ] Train NN with word embedding from Fasttext
  • [ ] Compare results from Gensim and Fasttext embeddings

[ZahraDehghani99]

Lookup table method

این روش چه ایراداتی داره؟

ممکن است جمله ای وجود داشته باشد که طولانی باشد و شامل کلمات مختلف با قطبیت های مثبت و منفی باشد و با جمع کردن قطبیت کلمات نتوان قطبیت کل جمله رو تشخیص داد یا ممکن است کلمه ای در جمله باشد که در دایره واژگان قطبیت های ما وجود نداشته باشد. در این روش یک جمله را به کلماتش تجزیه می کنیم و به دنبال قطبیت هر کلمه در دایره واژگان قطبیت می گردیم ولی ممکنه در دایره واژگان اون کلمه به تنهایی نیومده باشه و همراه یه کلمه ی دیگه استفاده شده باشه که باعث میشه قطبیت اون کلمه تشخیص داده نشه و از ضعف های دیگر این روشه.

اگر در جمله ای که میخواهیم قطبیت آن را مشخص کنیم، کلمه ای بود که قبلا در دایره واژگان قطبیت های ما نبود، چه کاری انجام میدی؟

بجای اون صفر در نظر می گیرم که همین از ایرادات این روش است و باعث میشه قطبیت یه سری از کلمه ها در نظر گرفته نشود

Train RNN model

نتایج این شبکه رو با نتایجی که از روش یا روش های غیر شبکه عصبی بدست آوردی مقایسه کن.

نتایج بدست آمده از روش شبکه عصبی بازگشتی بهتر از نتایج بدست آمده برای مدل پایه (غیر شبکه عصبی) است. بهترین دقت مدل غیرشبکه عصبی روی داده های تست برابر با 54 درصد و بهترین دقت مدل شبکه عصبی بازگشتی روی داده های تست برابر با 79 درصد است.

روش شبکه عصبی بارگشتی بهتره یا روش غیر شبکه ای؟ چرا؟

روش شبکه عصبی بازگشتی، زیرا در این روش ما یک واژه نامه می سازیم که در آن واژه هایی که بیش از 2 بار در متن ظاهر شده باشند هستند و برای هر واژه یک عدد نسبت داده می شود. سپس در شبکه عصبی، اولین لایه یعنی لایه اِمبدینگ، مانند یک جدول عمل می کند که کلید در این جدول اندیس های کلمات است و مقدار در این جدول، یک بردار است که طول آن به سایز مشخص شده در لایه ی اِمبد است. و سپس با دادن داده ها به شبکه عصبی ، شبکه عصبی را روی داده ها آموزش می دهیم. همچنین این روش ضعف روش قبل را ندارد که یک سری از واژه های در دایره واژگان قطبیت نباشد و از آن ها صرف نظر کنیم.

Train CNN model

نتایج این چند روش رو با هم مقایسه کن

طبق نتایج بدست آمده، مدل شبکه بازگشتی دقت بیشتری نسبت به بقیه روش ها داشته است. سپس مدل شبکه کانولوشنی دقت بیشتری داشته و مدل بر اساس قطبیت کلمات کمترین دقت را دارد.

کدوم شبکه ی عصبی بهتره برای طبقه بندی احساسات

شبکه عصبی بازگشتی ال اس تی ام. زیرا در این شبکه ها می توانیم اطلاعاتی که مربوط به چند کلمه پیش نیز بوده را حفظ کنیم و به خاطر داشته باشیم تا بتوانیم بر اساس اطلاعات پیشین و اطلاعات فعلی تصمیم گیری کنیم.