词汇表里没看到中文

[SidneyLann]

public static void utf8ToGbk() throws Exception { String fileName = "c:/tokenizer.json"; List lines = Files.readAllLines(Paths.get(fileName), Charset.forName("utf-8")); String sentence = null; int size = lines.size(); for (int i = 0; i < size; i++) { sentence = lines.get(i); //System.out.println(sentence); System.out.println(new String(sentence.getBytes("GBK"))); } }

这样也看不到中文，该怎么操作才能看到词汇表里的中文token?

[ZHangZHengEric]

这个不是这样看的

[SidneyLann]

这个不是这样看的

文本编辑器已设为utf-8也看不到，怎样才能看到呢？

[ZHangZHengEric]

这个不是这样看的

文本编辑器已设为utf-8也看不到，怎样才能看到呢？

我建议读一下llama3 的tokenizer的方式。里面应该没有办法直接读取到中文。中文都被拆解开了。

[SidneyLann]

llama3代码很少，看不出怎么读中文，怎么训练？