Yandex.Market smartphone reviews

natasha / corus

Links to Russian corpora + Python functions for loading and parsing

MIT License

275 stars 20 forks source link

Yandex.Market smartphone reviews #72

Open kkospit opened 3 years ago

kkospit commented 3 years ago

Здравствуйте! Посоветовали скинуть Вам мою сборку отзывов на смартфоны с яндекс.маркета. Небольшой json-файл, содержит около 50к отзывов на разные смартфоны. Структура {"model_1": [ {Рейтинг: "", "Достоинства": "", "Недостатки": "", "Комментарий": ""}, ... ], "model_2: {}" }. Кое-где есть только ключ "Комментарий". Ссылка: https://disk.yandex.ru/d/8zH4z0DHlUIZIg

kuk commented 3 years ago

Спасибо! Как планируете использовать? Какую задачу решаете?

kkospit commented 3 years ago

Спасибо! Как планируете использовать? Какую задачу решаете?

Да, собственно, пока никакую... Изучал инструменты для парсинга после ознакомления с NLP. Хотел собрать датасет для генерации текста и/или определения оценки по отзыву. Пока знаний мало. Но вдруг эта сборка кому-нибудь ещё пригодится.

kuk commented 3 years ago

Спасибо! Несколько хороших практик по формату данных:

Сериализовать не словарь, а json lines https://jsonlines.org/. В памяти нужно хранить не все данные, а одну строчку
В json.dump ставить ensure_ascii=False. Русские буквы не будут кодироваться, удобно смотреть глазами
Сжимать файл gzip, зачем гонять по сети лишние байты

kkospit commented 3 years ago

Спасибо за советы! Если что, сделал всё так(кажется) - https://disk.yandex.ru/d/cWu1YDJXwkSt6Q.