search

heavyai / heavydb

HeavyDB (formerly OmniSciDB)
https://heavy.ai
Apache License 2.0
2.96k stars 448 forks source link

HeavyDB does not support Chinese throttling queries #800

Open su-momo opened 1 year ago

su-momo commented 1 year ago

When I use a query statement to query the results in a table, I find that when the query condition is Chinese through the where condition, I cannot find the results. The same select statement can query the results normally in the Oracle database

Results when I query in oracle: image Results when I query in heavydb: image

jieguolove commented 1 year ago

look this topic: https://support.heavy.ai/hc/en-us/community/posts/17453735510423-Why-is-the-Chinese-display-of-query-results-messy-with-dbeaver-

cdessanti commented 1 year ago

Hi @lzhanpeng

In the link, @jieguolove indicates that there is a small discussion on how to convert and load data in UTF-8 encoding, rather than using Gb2312, BIG5, etc., to work in a more standardized and consistent environment. Our database isn't performing any conversion; it's storing the TEXT data in UTF-8.

Here's a small example of a small table converted and loaded into the database using UTF-8 encoding.

 heavysql> select id,titleChinese from adminbk1_utf8
1|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭
2|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭
3|嚙踝蕭 吽 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 珨 嚙踝蕭 嚙踝蕭
4|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭
5|NULL
6|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭
7|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭
8|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭
9|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙誰湛蕭  嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭
10|啋 嚙踝蕭 嚙踝蕭 嚙踝蕭 祩
11|啋 嚙踝蕭 嚙踝蕭 嚙踝蕭 祩
12| 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 翹
13|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭
14|嚙踝蕭嚙踝蕭嚙踝蕭嚙踝蕭婺嚙踝蕭蛘嚙
16|嚙踝蕭 嚙踝蕭 吽 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭
17|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭
18|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭
19|嚙踝蕭 嚙踝蕭 嚙踝蕭 吽 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭
20|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭
21|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 芞 嚙踝蕭
22|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 芞 嚙踝蕭
23|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 芞 嚙踝蕭
24|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 芞 嚙踝蕭
25|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭
26|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 芞 嚙踝蕭
27|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭
28|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭
29|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭
30|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭
31|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 芞 嚙踝蕭
32|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 芞 嚙踝蕭
33|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 芞 嚙踝蕭
34|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 芞 嚙踝蕭
35|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 芞 嚙踝蕭
36|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 芞 嚙踝蕭
38|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 (1992)
39|嚙踝蕭 嚙踝蕭 袕 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭
40|嚙踝蕭 嚙踝蕭 吽 嚙踝蕭嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭
41|嚙請對蕭嚙踝蕭 嚙踝蕭 嚙踝蕭 怢 嚙踝蕭 嚙踝蕭 嚙踝蕭
42|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭
43|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭
44|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭
45|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭
46|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭
47|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭
48|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭
49|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭
50|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭
51|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭
52|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭
53|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭
54|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭
55|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 翹
56|  嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 翹
57|嚙踝蕭 嚙踝蕭 吽 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 祩
58|嚙踝蕭 嚙踝蕭 吽 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 祩
59|嚙踝蕭 嚙踝蕭 吽 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 祩
60|嚙踝蕭 嚙踝蕭 吽 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 祩 嚙
61|嚙踝蕭 嚙踝蕭 吽 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 祩
62|嚙踝蕭 嚙踝蕭 吽 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 祩 嚙
63|j嚙踝蕭 嚙踝蕭 吽 肣 嚙踝蕭 嚙踝蕭 祩
64|嚙踝蕭 嚙踝蕭 吽 嚙諍塚蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 祩
65|嚙踝蕭 嚙踝蕭 吽 嚙踝蕭 朘 嚙踝蕭 嚙踝蕭 祩
66|嚙踝蕭 嚙踝蕭 吽 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 祩
67|嚙踝蕭 嚙踝蕭 吽 怢 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 祩
68|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭
69|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭
70|嚙踝蕭 阨 嚙踝蕭 嚙踝蕭 嚙踝蕭  祩
71|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭
72|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭
73|嚙踝蕭  嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭  嚙踝蕭
74|嚙踝蕭  嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭  嚙踝蕭
75|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭
heavysql> select id,titleChinese from adminbk1_utf8 where titleChinese like '%芞%';
id|titleChinese
21|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 芞 嚙踝蕭
22|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 芞 嚙踝蕭
23|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 芞 嚙踝蕭
24|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 芞 嚙踝蕭
26|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 芞 嚙踝蕭
31|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 芞 嚙踝蕭
32|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 芞 嚙踝蕭
33|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 芞 嚙踝蕭
34|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 芞 嚙踝蕭
35|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 芞 嚙踝蕭
36|嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 嚙踝蕭 芞 嚙踝蕭
heavysql> select id,titleChinese from adminbk1_utf8 where titleChinese = '啋 嚙踝蕭 嚙踝蕭 嚙踝蕭 祩';
id|titleChinese
10|啋 嚙踝蕭 嚙踝蕭 嚙踝蕭 祩
11|啋 嚙踝蕭 嚙踝蕭 嚙踝蕭 祩

If you need further clarification or if you encounter anything we haven't already discussed, feel free to add it to the discussion.

let me know if we can mark this issue solved.