bigscience-workshop / data_tooling

Tools for managing datasets for governance and training.
Apache License 2.0
77 stars 48 forks source link

Create dataset vietnamese_poetry_from_fsoft_ai_lab #259

Closed albertvillanova closed 2 years ago

albertvillanova commented 2 years ago
KhalidAlt commented 2 years ago

self-assign

KhalidAlt commented 2 years ago

Done! The link: https://huggingface.co/datasets/bigscience-catalogue-data/vietnamese_poetry_from_fsoft_ai_lab

albertvillanova commented 2 years ago

Thanks @KhalidAlt! Good job!

Sample instance:

{'id': 139248,
 'content': 'ngày đông se sắt lạnh trong lòng\ncó việc đi ngang qua chỗ đó\nbắt gặp ánh mắt ai say đắm\nnụ cười ai khiến tôi hoảng loạn\nngày hôm nay tôi lướt qua ai\nthấy tim mình xốn xang loạn nhịp\nsao thế c
ó phải mình say nắng\nchiều đông đâu có nắng mà say\nsay ngất say ngây say không tỉnh\nlâng lâng như uống phải men tình\nthả hồn theo gió lộng mênh mông\nmộng mơ bồng bềnh khi sương xuống\nmây chiều đã nhuộm đỏ
 hoàng hôn\nchim khôn đã cùng nhau về tổ\nngất ngây đắm chìm say gì thế\nmà đứng chôn chân chả muốn về\nsương nhẹ rơi vương đầy trên cỏ\nsao lòng buồn bỗng thấy bâng khuâng\ngiật mình chợt tỉnh cơn mộng mị\ntỉn
h lại đi tôi ơi tỉnh lại\ncòn các con đang ngóng chờ cửa\ncòn bạn đời đang đợi tôi về',
 'title': 'SAY NẮNG',
 'url': 'https://www.facebook.com/groups/486407735098594/permalink/971442129928483/',
 'genre': '7 chu'}
albertvillanova commented 2 years ago

DONE: https://huggingface.co/datasets/bigscience-catalogue-lm-data/lm_vi_vietnamese_poetry

Sample:


{'text': 'ngày đông se sắt lạnh trong lòng\ncó việc đi ngang qua chỗ đó\nbắt gặp ánh mắt ai say đắm\nnụ cười ai khiến tôi hoảng loạn\nngày hôm nay tôi lướt qua ai\nthấy tim mình xốn xang loạn nhịp\nsao thế có phải mình say nắng\nchiều đông đâu có nắng mà say\nsay ngất say ngây say không tỉnh\nlâng lâng như uống phải men tình\nthả hồn theo gió lộng mênh mông\nmộng mơ bồng bềnh khi sương xuống\nmây chiều đã nhuộm đỏ hoàng hôn\nchim khôn đã cùng nhau về tổ\nngất ngây đắm chìm say gì thế\nmà đứng chôn chân chả muốn về\nsương nhẹ rơi vương đầy trên cỏ\nsao lòng buồn bỗng thấy bâng khuâng\ngiật mình chợt tỉnh cơn mộng mị\ntỉnh lại đi tôi ơi tỉnh lại\ncòn các con đang ngóng chờ cửa\ncòn bạn đời đang đợi tôi về'}