fix database

[GoogleCodeExporter]

tổng hợp nhiều database thành 1 database hoàn chỉnh, xóa trùng 
lặp, xóa những kí tự không phải tiếng việt, xóa những line 
có 1 kí tự, xóa line nhiều hờn 4 kí tự

Original issue reported on code.google.com by tuannm01...@fpt.edu.vn on 30 May 2013 at 8:31

[GoogleCodeExporter]

Original comment by quangpl0...@fpt.edu.vn on 30 May 2013 at 1:46

[GoogleCodeExporter]

Tối mai (31/5/2013) anh up database đã sửa lên nhé.

Original comment by quangpl0...@fpt.edu.vn on 30 May 2013 at 4:43

[GoogleCodeExporter]

hi all,
a fix xong, mọi người xem và check hộ phát nhé, a check mấy lần, 
thấy cũng khá ổn, nhưng chắc chắn là ko thể cover hết 70k line 
đc

Original comment by tuannm01...@fpt.edu.vn on 31 May 2013 at 9:14

Attachments:

• datafix.txt

[GoogleCodeExporter]

OK nhìn qua có vẻ được, tuy vẫn còn 1 số từ tiếng anh như 
"áo pull" :D 
Cho em hỏi là file này anh tổng hợp từ những file nào đấy ạ?

Original comment by quangpl0...@fpt.edu.vn on 4 Jun 2013 at 3:36

[GoogleCodeExporter]

Đây là database éo nào thế :( sao em ko thấy có chữ Việt Nam nhỉ

Original comment by hieult01...@fpt.edu.vn on 4 Jun 2013 at 3:58

[GoogleCodeExporter]

Việt Nam ở trong từ điển tên riêng (proper_name). Cái này là từ 
điển tiếng việt tổng hợp (vietnamese_dictionary). Tớ vừa mới 
up bản đã thay mấy cái từ điển kia bằng 1 từ điển tổng 
hợp này.

Original comment by quangpl0...@fpt.edu.vn on 4 Jun 2013 at 6:40

[GoogleCodeExporter]

Original comment by quangpl0...@fpt.edu.vn on 5 Jun 2013 at 11:58

• Changed state: Done