search

SEACrowd / seacrowd-datahub

A collaborative project to collect datasets in SEA languages, SEA regions, or SEA cultures.
Apache License 2.0
55 stars 54 forks source link

Closes #576 | Add Dataloader `Vimqa` #678

Closed chenxwh closed 1 month ago

chenxwh commented 1 month ago

Closes #576

Checkbox

Here is the output of the unit-tests:


INFO:__main__:args: Namespace(path='seacrowd/sea_datasets/vimqa/vimqa.py', schema=None, subset_id=None, data_dir='seacrowd/sea_datasets/vimqa/data', use_auth_token=None)
INFO:__main__:self.PATH: seacrowd/sea_datasets/vimqa/vimqa.py
INFO:__main__:self.SUBSET_ID: vimqa
INFO:__main__:self.SCHEMA: None
INFO:__main__:self.DATA_DIR: seacrowd/sea_datasets/vimqa/data
INFO:__main__:Checking for _SUPPORTED_TASKS ...
module seacrowd.sea_datasets.vimqa.vimqa
INFO:__main__:Found _SUPPORTED_TASKS=[<Tasks.QUESTION_ANSWERING: 'QA'>]
INFO:__main__:_SUPPORTED_TASKS implies _MAPPED_SCHEMAS={'QA'}
INFO:__main__:schemas_to_check: {'QA'}
INFO:__main__:Checking load_dataset with config name vimqa_source
/home/codespace/.local/lib/python3.10/site-packages/datasets/load.py:2516: FutureWarning: 'use_auth_token' was deprecated in favor of 'token' in version 2.14.0 and will be removed in 3.0.0.
You can remove this warning by passing 'token=<use_auth_token>' instead.
  warnings.warn(
/home/codespace/.local/lib/python3.10/site-packages/datasets/load.py:926: FutureWarning: The repository for vimqa contains custom code which must be executed to correctly load the dataset. You can inspect the repository content at seacrowd/sea_datasets/vimqa/vimqa.py
You can avoid this message in future by passing the argument `trust_remote_code=True`.
Passing `trust_remote_code=True` will be mandatory to load this dataset from the next major release of `datasets`.
  warnings.warn(
Generating train split: 8041 examples [00:02, 2769.70 examples/s]
Generating validation split: 1003 examples [00:00, 3201.78 examples/s]
Generating test split: 1003 examples [00:00, 3808.02 examples/s]
INFO:__main__:Checking load_dataset with config name vimqa_seacrowd_qa
/home/codespace/.local/lib/python3.10/site-packages/datasets/load.py:2516: FutureWarning: 'use_auth_token' was deprecated in favor of 'token' in version 2.14.0 and will be removed in 3.0.0.
You can remove this warning by passing 'token=<use_auth_token>' instead.
  warnings.warn(
/home/codespace/.local/lib/python3.10/site-packages/datasets/load.py:926: FutureWarning: The repository for vimqa contains custom code which must be executed to correctly load the dataset. You can inspect the repository content at seacrowd/sea_datasets/vimqa/vimqa.py
You can avoid this message in future by passing the argument `trust_remote_code=True`.
Passing `trust_remote_code=True` will be mandatory to load this dataset from the next major release of `datasets`.
  warnings.warn(
Generating train split: 8041 examples [00:03, 2574.40 examples/s]
Generating validation split: 1003 examples [00:00, 2909.58 examples/s]
Generating test split: 1003 examples [00:00, 3087.20 examples/s]
INFO:__main__:Dataset sample [source]
{'_id': '01899ad3-1544-4a3f-80d0-78807558bf96', 'question': 'Film điện ảnh mà Margalit Ruth "Maggie" Gyllenhaal nhận được vai phụ độc lập vào năm 2001 có kinh phí là 4,5 triệu USD phải không?', 'answer': 'đúng', 'type': 'bridge', 'supporting_facts': {'title': ['Maggie Gyllenhaal', 'Maggie Gyllenhaal', 'Donnie Darko'], 'sent_id': [0, 1, 1]}, 'context': {'title': ['Donnie Darko', 'Kinh tế Việt Nam', 'Danh sách 100 phim hay nhất của Viện phim Mỹ', 'Theranos', 'Maggie Gyllenhaal', 'John Wayne', 'Jake Gyllenhaal', 'Martin Landau', 'Viện Hàn lâm Khoa học và Nghệ thuật Điện ảnh', 'Giải Mâm xôi vàng'], 'sentences': [['Ban đầu, bộ phim dự kiến phát hành đĩa phim luôn trước khi được phân phối bởi hãng Newmarket Films.', 'Kinh phí làm phim này là 4,5 triệu USD và được quay trong vòng 28 ngày.', 'Không như dự kiến, bộ phim chỉ thu về 4,1 triệu trên toàn cầu.', 'Mặc dù vậy, bộ phim nhận được rất nhiều lời khen ngợi từ giới phê bình và lượng người xem tăng rất nhanh.', "Do đó năm 2004, bộ phim phát hành bản Director's Cut."], ['Tổng sản phẩm nội địa GDP năm 2016 là 202 tỷ USD theo danh nghĩa hoặc 595 tỷ USD theo sức mua tương đương .'], ['Danh sách 100 phim hay nhất của Viện phim Mỹ (tiếng Anh: AFI’s 100 Years...100 Movies) là danh sách 100 bộ phim Mỹ được coi là hay nhất của nền điện ảnh nước này trong vòng 100 năm qua do Viện phim Mỹ (American Film Institute, viết tắt là AFI) đưa ra năm 1998 nhân kỉ niệm 100 năm ra đời của điện ảnh.', 'Danh sách này được lập ra sau quá trình bầu chọn từ danh sách đề cử gồm 400 bộ phim do một ban giám khảo với hơn 1500 nghệ sĩ điện ảnh (bao gồm các đạo diễn, biên kịch, diễn viên, biên tập viên, nhà quay phim), các nhà phê bình phim, các nhà nghiên cứu lịch sử điện ảnh và cả các nhà lãnh đạo của nền công nghiệp điện ảnh Hoa Kỳ.'], ['Được thành lập vào năm 2003 bởi Elizabeth Holmes , 19 tuổi , Theranos đã huy động được hơn 700 triệu USD từ các quỹ đầu tư và nhà đầu tư tư nhân , dẫn đến việc nó được định giá 10 tỷ USD vào thời điểm cao nhất trong năm 2013 và 2014 .'], ['Margalit Ruth "Maggie" Gyllenhaal ( JIL-ən-hawl; sinh ngày 16 tháng 11 năm 1977) là một nữ diễn viên người Mỹ.', 'Cô khởi đầu sự nghiệp điện ảnh với các bộ phim được đạo diễn bởi cha mình, Stephen Gyllenhaal, và nhận được vai phụ trong phim điện ảnh độc lập Donnie Darko (2001), bộ phim với em trai cô Jake Gyllenhaal đóng vai chính.', 'Vai diễn đột phá của cô là vai thư ký trong phim.'], ['Marion Robert Morrison (26 tháng 5 năm 1907 – 11 tháng 6 năm 1979), thường được biết đến với nghệ danh John Wayne và biệt danh Duke, là một nam diễn viên và nhà làm phim người Mỹ, một biểu tượng văn hóa đại chúng nhờ các vai diễn trong những bộ phim điện ảnh ra đời vào Kỷ nguyên Vàng của Hollywood, đặc biệt là hai dòng phim Viễn Tây và chiến tranh.', 'Sự nghiệp của ông thăng hoa từ kỷ nguyên phim câm của thập niên 1920 thông qua trào lưu New Hollywood; ông xuất hiện trong tổng cộng 179 tác phẩm điện ảnh và truyền hình.', 'Ông nằm trong số những diễn viên có doanh thu phòng vé phim cao nhất trong ba thập kỷ, và hiện diện cùng nhiều ngôi sao Hollywood quan trọng khác trong kỷ nguyên của mình.', 'Năm 1999, Viện phim Mỹ lựa chọn Wayne là một trong những nam minh tinh điện ảnh vĩ đại nhất của nền điện ảnh Mỹ thời hoàng kim.Wayne sinh ra ở Winterset, Iowa nhưng lớn lên ở miền Nam California.', 'Ông đánh mất học bổng bóng bầu dục vào Đại học Nam California do bị tai nạn lướt sóng, và bắt đầu làm việc cho Tập đoàn điện ảnh Fox.', 'Ông chủ yếu đóng các vai phụ, ông có vai chính đầu tiên trong phim Viễn Tây The Big Trail (1930) của Raoul Walsh - một bộ phim sử thi chiếu trên màn ảnh rộng thất bại về mặt doanh thu.', 'Ông thủ vai chính trong nhiều phim hạng B ở thập niên 1930, đa số là phim Viễn Tây mà vẫn chưa thể trở thành một tên tuổi lớn.', 'Phải đến phim Stagecoach (1939) của John Ford thì Wayne mới trở thành một ngôi sao điện ảnh, ông đóng vai chính trong tổng cộng 142 tác phẩm điện ảnh.', 'Theo một người viết tiểu sử về ông: "đối với hàng triệu người, John Wayne là hiện thân di sản biên giới của quốc gia."', 'Các vai diễn trong những bộ phim Viễn Tây khác của Wayne gồm có một người chăn nuôi trâu bò trên Đường mòn Chisholm trong Red River (1948), một cựu binh Nội chiến có cháu gái bị một bộ tộc người Comanche bắt cóc trong The Searchers (1956), một chủ trại nuôi gia súc gặp khó khi chạm trán với một vị luật sư (James Stewart) để tranh giành trái tim của một phụ nữ trong The Man Who Shot Liberty Valance (1962), và một vị cảnh sát trưởng chột một mắt khó tính trong True Grit (1969).', 'Vai diễn trong True Grit đã đem về cho ông giải Oscar cho nam diễn viên chính xuất sắc nhất.', 'Ông còn được ghi nhớ với những vai diễn trong các phim The Quiet Man (1952), Rio Bravo (1959) với Dean Martin và The Longest Day (1962).', 'Trong vai diễn màn ảnh cuối cùng, ông hóa thân thành một tay súng cao tuổi chống chọi với căn bệnh ung thư trong The Shootist (1976).', 'Ông có lần xuất hiện cuối cùng trước công chúng tại lễ trao giải Oscar được tổ chức vào ngày 9 tháng 1 năm 1979, để rồi sau đó hai tháng phải chống chọi với căn bệnh ung thư dạ dày.', 'Ông đã được truy tặng Huân chương Tự do Tổng thống, tước hiệu công dân cao quý nhất của Hoa Kỳ.'], ['Jacob Benjamin Gyllenhaal (; tiếng Thụy Điển: [ˈjʏ̂lːɛnˌhɑːl]; sinh ngày 19 tháng 12 năm 1980) là một nam diễn viên người Mỹ.', 'Sinh ra trong gia đình Gyllenhaal, anh là con trai của đạo diễn Stephen Gyllenhaal và nhà biên kịch Naomi Foner, Gyllenhaal bắt đầu diễn xuất từ năm lên mười.', 'Tiếp sau vai chính đầu tiên trong bộ phim October Sky (1999), anh tiếp tục thủ vai chính trong bộ phim gây tiếng vang Donnie Darko (2001) với vai diễn một cậu bé gặp vấn đề về thần kinh cùng chị gái Maggie Gyllenhaal.', 'Năm 2002, anh góp mặt trong một bộ phim độc lập khác, The Good Girl.', 'Năm 2004, anh xuất hiện trong một phim khoa học giả tưởng The Day After Tomorrow khi vào vai một sinh viên mắc kẹt trong một trận đại hồng thủy do sự mát dần toàn cầu.'], ['Martin Landau  (20 tháng 6 năm 1928 – 15 tháng 7 năm 2017) là một diễn viên điện ảnh và phim truyền hình người Mỹ.', 'Sự nghiệp của ông bắt đầu vào những năm 1950, với vai phụ trong North by Northwest (1959) của Alfred Hitchcock.', 'Ông đóng vai trong loạt phim truyền hình Mission: Impossible (mà ông đã nhận được một số đề cử giải Emmy) và Space: 1999.', 'Ông đã được trao Giải Quả cầu vàng cho nam diễn viên điện ảnh phụ xuất sắc nhất và đề cử giải Oscar cho nam diễn viên phụ xuất sắc nhất cho vai Tucker trong Tucker: The Man and His Dream (1988); ông nhận thêm đề cử giải Oscar thứ hai cho diễn xuất trong Crimes and Misdemeanors (1989).', 'Vai phụ Bela Lugosi trong Ed Wood (1994) mang về cho ông một giải Oscar, một giải Nghiệp đoàn diễn viên màn ảnh và giải Quả cầu vàng.', 'Ông tiếp tục diễn xuất và đứng trong hàng ngũ của Actors Studio cho đến khi qua đời ngày 15 tháng 7 năm 2017, tại Trung tâm Y tế UCLA Ronald Reagan, California.'], ['Viện Hàn lâm Khoa học và Nghệ thuật Điện ảnh (tiếng Anh: Academy of Motion Picture Arts and Sciences, thường viết tắt là AMPAS) là một tổ chức được thành lập năm 1927 tại Hoa Kỳ với mục đích vinh danh những thành tựu sáng tạo trong nghệ thuật điện ảnh.', 'Hiện nay AMPAS có khoảng trên 6.000 hội viên là những người hoạt động trong lĩnh vực điện ảnh, phần lớn trong số họ là các nghệ sĩ điện ảnh Hoa Kỳ, ngoài ra trong thời gian gần đây AMPAS cũng kết nạp thêm các hội viên đến từ các nền điện ảnh khác, tính đến năm 2004 Viện có đại diện của 36 nền điện ảnh trên thế giới.AMPAS được biết đến nhiều nhất thông qua giải Oscar, giải thưởng điện ảnh lớn nhất của điện ảnh Hoa Kỳ.', 'Giải Oscar được AMPAS bầu chọn và tổ chức từ năm 1929.', 'Ngoài ra, AMPAS còn trao Giải Oscar sinh viên cho các nhà làm phim trẻ, một số học bổng chuyên ngành điện ảnh và quản lý Thư viện Margaret Herrick (Beverly Hills, California) cùng Trung tâm Nghiên cứu Điện ảnh Pickford (Hollywood, California).'], ['Giải Mâm xôi Vàng (tiếng Anh: Golden Raspberry Awards hay Razzies) là một giải thưởng điện ảnh do John Wilson lập ra vào năm 1980 với mục đích làm giải thưởng điện ảnh ngược so với giải Oscar, theo đó, giải Mâm xôi Vàng sẽ được trao cho những tác phẩm điện ảnh, các vai diễn và các hạng mục khác liên quan đến điện ảnh được coi là dở nhất trong năm của điện ảnh Hoa Kỳ.', 'Người nhận giải sẽ được trao tặng một mô hình quả mâm xôi màu vàng gắn trên đế nhựa, mô hình này có giá khoảng 4,89 USD.']]}}
INFO:__main__:Dataset sample [seacrowd_qa]
{'id': '0', 'question_id': '01899ad3-1544-4a3f-80d0-78807558bf96', 'document_id': '', 'question': 'Film điện ảnh mà Margalit Ruth "Maggie" Gyllenhaal nhận được vai phụ độc lập vào năm 2001 có kinh phí là 4,5 triệu USD phải không?', 'type': 'bridge', 'choices': [], 'context': '', 'answer': ['đúng'], 'meta': {'supporting_facts': {'title': ['Maggie Gyllenhaal', 'Maggie Gyllenhaal', 'Donnie Darko'], 'sent_id': [0, 1, 1]}, 'context': {'title': ['Donnie Darko', 'Kinh tế Việt Nam', 'Danh sách 100 phim hay nhất của Viện phim Mỹ', 'Theranos', 'Maggie Gyllenhaal', 'John Wayne', 'Jake Gyllenhaal', 'Martin Landau', 'Viện Hàn lâm Khoa học và Nghệ thuật Điện ảnh', 'Giải Mâm xôi vàng'], 'sentences': [['Ban đầu, bộ phim dự kiến phát hành đĩa phim luôn trước khi được phân phối bởi hãng Newmarket Films.', 'Kinh phí làm phim này là 4,5 triệu USD và được quay trong vòng 28 ngày.', 'Không như dự kiến, bộ phim chỉ thu về 4,1 triệu trên toàn cầu.', 'Mặc dù vậy, bộ phim nhận được rất nhiều lời khen ngợi từ giới phê bình và lượng người xem tăng rất nhanh.', "Do đó năm 2004, bộ phim phát hành bản Director's Cut."], ['Tổng sản phẩm nội địa GDP năm 2016 là 202 tỷ USD theo danh nghĩa hoặc 595 tỷ USD theo sức mua tương đương .'], ['Danh sách 100 phim hay nhất của Viện phim Mỹ (tiếng Anh: AFI’s 100 Years...100 Movies) là danh sách 100 bộ phim Mỹ được coi là hay nhất của nền điện ảnh nước này trong vòng 100 năm qua do Viện phim Mỹ (American Film Institute, viết tắt là AFI) đưa ra năm 1998 nhân kỉ niệm 100 năm ra đời của điện ảnh.', 'Danh sách này được lập ra sau quá trình bầu chọn từ danh sách đề cử gồm 400 bộ phim do một ban giám khảo với hơn 1500 nghệ sĩ điện ảnh (bao gồm các đạo diễn, biên kịch, diễn viên, biên tập viên, nhà quay phim), các nhà phê bình phim, các nhà nghiên cứu lịch sử điện ảnh và cả các nhà lãnh đạo của nền công nghiệp điện ảnh Hoa Kỳ.'], ['Được thành lập vào năm 2003 bởi Elizabeth Holmes , 19 tuổi , Theranos đã huy động được hơn 700 triệu USD từ các quỹ đầu tư và nhà đầu tư tư nhân , dẫn đến việc nó được định giá 10 tỷ USD vào thời điểm cao nhất trong năm 2013 và 2014 .'], ['Margalit Ruth "Maggie" Gyllenhaal ( JIL-ən-hawl; sinh ngày 16 tháng 11 năm 1977) là một nữ diễn viên người Mỹ.', 'Cô khởi đầu sự nghiệp điện ảnh với các bộ phim được đạo diễn bởi cha mình, Stephen Gyllenhaal, và nhận được vai phụ trong phim điện ảnh độc lập Donnie Darko (2001), bộ phim với em trai cô Jake Gyllenhaal đóng vai chính.', 'Vai diễn đột phá của cô là vai thư ký trong phim.'], ['Marion Robert Morrison (26 tháng 5 năm 1907 – 11 tháng 6 năm 1979), thường được biết đến với nghệ danh John Wayne và biệt danh Duke, là một nam diễn viên và nhà làm phim người Mỹ, một biểu tượng văn hóa đại chúng nhờ các vai diễn trong những bộ phim điện ảnh ra đời vào Kỷ nguyên Vàng của Hollywood, đặc biệt là hai dòng phim Viễn Tây và chiến tranh.', 'Sự nghiệp của ông thăng hoa từ kỷ nguyên phim câm của thập niên 1920 thông qua trào lưu New Hollywood; ông xuất hiện trong tổng cộng 179 tác phẩm điện ảnh và truyền hình.', 'Ông nằm trong số những diễn viên có doanh thu phòng vé phim cao nhất trong ba thập kỷ, và hiện diện cùng nhiều ngôi sao Hollywood quan trọng khác trong kỷ nguyên của mình.', 'Năm 1999, Viện phim Mỹ lựa chọn Wayne là một trong những nam minh tinh điện ảnh vĩ đại nhất của nền điện ảnh Mỹ thời hoàng kim.Wayne sinh ra ở Winterset, Iowa nhưng lớn lên ở miền Nam California.', 'Ông đánh mất học bổng bóng bầu dục vào Đại học Nam California do bị tai nạn lướt sóng, và bắt đầu làm việc cho Tập đoàn điện ảnh Fox.', 'Ông chủ yếu đóng các vai phụ, ông có vai chính đầu tiên trong phim Viễn Tây The Big Trail (1930) của Raoul Walsh - một bộ phim sử thi chiếu trên màn ảnh rộng thất bại về mặt doanh thu.', 'Ông thủ vai chính trong nhiều phim hạng B ở thập niên 1930, đa số là phim Viễn Tây mà vẫn chưa thể trở thành một tên tuổi lớn.', 'Phải đến phim Stagecoach (1939) của John Ford thì Wayne mới trở thành một ngôi sao điện ảnh, ông đóng vai chính trong tổng cộng 142 tác phẩm điện ảnh.', 'Theo một người viết tiểu sử về ông: "đối với hàng triệu người, John Wayne là hiện thân di sản biên giới của quốc gia."', 'Các vai diễn trong những bộ phim Viễn Tây khác của Wayne gồm có một người chăn nuôi trâu bò trên Đường mòn Chisholm trong Red River (1948), một cựu binh Nội chiến có cháu gái bị một bộ tộc người Comanche bắt cóc trong The Searchers (1956), một chủ trại nuôi gia súc gặp khó khi chạm trán với một vị luật sư (James Stewart) để tranh giành trái tim của một phụ nữ trong The Man Who Shot Liberty Valance (1962), và một vị cảnh sát trưởng chột một mắt khó tính trong True Grit (1969).', 'Vai diễn trong True Grit đã đem về cho ông giải Oscar cho nam diễn viên chính xuất sắc nhất.', 'Ông còn được ghi nhớ với những vai diễn trong các phim The Quiet Man (1952), Rio Bravo (1959) với Dean Martin và The Longest Day (1962).', 'Trong vai diễn màn ảnh cuối cùng, ông hóa thân thành một tay súng cao tuổi chống chọi với căn bệnh ung thư trong The Shootist (1976).', 'Ông có lần xuất hiện cuối cùng trước công chúng tại lễ trao giải Oscar được tổ chức vào ngày 9 tháng 1 năm 1979, để rồi sau đó hai tháng phải chống chọi với căn bệnh ung thư dạ dày.', 'Ông đã được truy tặng Huân chương Tự do Tổng thống, tước hiệu công dân cao quý nhất của Hoa Kỳ.'], ['Jacob Benjamin Gyllenhaal (; tiếng Thụy Điển: [ˈjʏ̂lːɛnˌhɑːl]; sinh ngày 19 tháng 12 năm 1980) là một nam diễn viên người Mỹ.', 'Sinh ra trong gia đình Gyllenhaal, anh là con trai của đạo diễn Stephen Gyllenhaal và nhà biên kịch Naomi Foner, Gyllenhaal bắt đầu diễn xuất từ năm lên mười.', 'Tiếp sau vai chính đầu tiên trong bộ phim October Sky (1999), anh tiếp tục thủ vai chính trong bộ phim gây tiếng vang Donnie Darko (2001) với vai diễn một cậu bé gặp vấn đề về thần kinh cùng chị gái Maggie Gyllenhaal.', 'Năm 2002, anh góp mặt trong một bộ phim độc lập khác, The Good Girl.', 'Năm 2004, anh xuất hiện trong một phim khoa học giả tưởng The Day After Tomorrow khi vào vai một sinh viên mắc kẹt trong một trận đại hồng thủy do sự mát dần toàn cầu.'], ['Martin Landau  (20 tháng 6 năm 1928 – 15 tháng 7 năm 2017) là một diễn viên điện ảnh và phim truyền hình người Mỹ.', 'Sự nghiệp của ông bắt đầu vào những năm 1950, với vai phụ trong North by Northwest (1959) của Alfred Hitchcock.', 'Ông đóng vai trong loạt phim truyền hình Mission: Impossible (mà ông đã nhận được một số đề cử giải Emmy) và Space: 1999.', 'Ông đã được trao Giải Quả cầu vàng cho nam diễn viên điện ảnh phụ xuất sắc nhất và đề cử giải Oscar cho nam diễn viên phụ xuất sắc nhất cho vai Tucker trong Tucker: The Man and His Dream (1988); ông nhận thêm đề cử giải Oscar thứ hai cho diễn xuất trong Crimes and Misdemeanors (1989).', 'Vai phụ Bela Lugosi trong Ed Wood (1994) mang về cho ông một giải Oscar, một giải Nghiệp đoàn diễn viên màn ảnh và giải Quả cầu vàng.', 'Ông tiếp tục diễn xuất và đứng trong hàng ngũ của Actors Studio cho đến khi qua đời ngày 15 tháng 7 năm 2017, tại Trung tâm Y tế UCLA Ronald Reagan, California.'], ['Viện Hàn lâm Khoa học và Nghệ thuật Điện ảnh (tiếng Anh: Academy of Motion Picture Arts and Sciences, thường viết tắt là AMPAS) là một tổ chức được thành lập năm 1927 tại Hoa Kỳ với mục đích vinh danh những thành tựu sáng tạo trong nghệ thuật điện ảnh.', 'Hiện nay AMPAS có khoảng trên 6.000 hội viên là những người hoạt động trong lĩnh vực điện ảnh, phần lớn trong số họ là các nghệ sĩ điện ảnh Hoa Kỳ, ngoài ra trong thời gian gần đây AMPAS cũng kết nạp thêm các hội viên đến từ các nền điện ảnh khác, tính đến năm 2004 Viện có đại diện của 36 nền điện ảnh trên thế giới.AMPAS được biết đến nhiều nhất thông qua giải Oscar, giải thưởng điện ảnh lớn nhất của điện ảnh Hoa Kỳ.', 'Giải Oscar được AMPAS bầu chọn và tổ chức từ năm 1929.', 'Ngoài ra, AMPAS còn trao Giải Oscar sinh viên cho các nhà làm phim trẻ, một số học bổng chuyên ngành điện ảnh và quản lý Thư viện Margaret Herrick (Beverly Hills, California) cùng Trung tâm Nghiên cứu Điện ảnh Pickford (Hollywood, California).'], ['Giải Mâm xôi Vàng (tiếng Anh: Golden Raspberry Awards hay Razzies) là một giải thưởng điện ảnh do John Wilson lập ra vào năm 1980 với mục đích làm giải thưởng điện ảnh ngược so với giải Oscar, theo đó, giải Mâm xôi Vàng sẽ được trao cho những tác phẩm điện ảnh, các vai diễn và các hạng mục khác liên quan đến điện ảnh được coi là dở nhất trong năm của điện ảnh Hoa Kỳ.', 'Người nhận giải sẽ được trao tặng một mô hình quả mâm xôi màu vàng gắn trên đế nhựa, mô hình này có giá khoảng 4,89 USD.']]}}}
INFO:__main__:Checking global ID uniqueness
INFO:__main__:Found 1003 unique IDs
INFO:__main__:Gathering schema statistics
INFO:__main__:Gathering schema statistics
train
==========
id: 8041
question_id: 8041
document_id: 8041
question: 8041
type: 8041
choices: 0
context: 8041
answer: 8041
meta: 16082

validation
==========
id: 1003
question_id: 1003
document_id: 1003
question: 1003
type: 1003
choices: 0
context: 1003
answer: 1003
meta: 2006

test
==========
id: 1003
question_id: 1003
document_id: 1003
question: 1003
type: 1003
choices: 0
context: 1003
answer: 1003
meta: 2006

INFO:__main__:QA ONLY: Checking multiple choice
.
----------------------------------------------------------------------
Ran 1 test in 15.912s

OK
elyanah-aco commented 1 month ago

Hi @chenxwh, is it possible to upload the dataset via Google Drive? Want to review this ASAP since I'll be out next week, thanks!

chenxwh commented 1 month ago

Hi @chenxwh, is it possible to upload the dataset via Google Drive? Want to review this ASAP since I'll be out next week, thanks!

Hi! Not sure what's the best way, the authors required signing some form and they will give you access to their Google drive. I'm not sure if I can upload it publicly.

elyanah-aco commented 1 month ago

Hi! Not sure what's the best way, the authors required signing some form and they will give you access to their Google drive. I'm not sure if I can upload it publicly.

Got it, let me see if I can get the dataset before the end of the week. Otherwise will let Holy reassign this to someone else

MJonibek commented 1 month ago

I am waiting for the dataset. I sent request one week ago but didn`t get any response

holylovenia commented 1 month ago

Hi @elyanah-aco and @MJonibek, I would like to let you know that we plan to finalize the calculation of the open contributions (e.g., dataloader implementations) in 31 hours, so it'd be great if we could wrap up the reviewing and merge this PR before then.

Since @chenxwh provided the unit test result, could you please do the review based on the implementation code? 🤔 Also feel free to ask @chenxwh to generate any outputs that would help your review process for this local dataloader.

chenxwh commented 1 month ago

Hi @elyanah-aco and @MJonibek, I would like to let you know that we plan to finalize the calculation of the open contributions (e.g., dataloader implementations) in 31 hours, so it'd be great if we could wrap up the reviewing and merge this PR before then.

Since @chenxwh provided the unit test result, could you please do the review based on the implementation code? 🤔 Also feel free to ask @chenxwh to generate any outputs that would help your review process for this local dataloader.

Thanks @holylovenia that sounds good, yes I am happy to address any concerns @MJonibek may have :)