Codeと `、`が連続すると、`、`が間隔値として無視されてしまう

[azu]

関数宣言で関数`fn1`、関数式で関数`fn2`を定義する

これを"で"が連続していると判定してしまう。 、があるので

で -> 、 -> で

なので、間隔が1+空いているので問題ないはず。

問題

マスクの処理によって、、が___、というトークンの一部になってしまってる。

関数宣言で関数___、関数式で関数___を定義する

https://kuromojin.netlify.app/#%E9%96%A2%E6%95%B0%E5%AE%A3%E8%A8%80%E3%81%A7%E9%96%A2%E6%95%B0___%E3%80%81%E9%96%A2%E6%95%B0%E5%BC%8F%E3%81%A7%E9%96%A2%E6%95%B0___%E3%82%92%E5%AE%9A%E7%BE%A9%E3%81%99%E3%82%8B

[azu]

https://azu.github.io/morpheme-match/?text=%E9%96%A2%E6%95%B0%E5%AE%A3%E8%A8%80%E3%81%A7%E9%96%A2%E6%95%B0%E3%83%BC%E3%83%BC%E3%83%BC%E3%80%81%E9%96%A2%E6%95%B0%E5%BC%8F%E3%81%A7%E9%96%A2%E6%95%B0%E3%83%BC%E3%83%BC%E3%83%BC%E3%82%92%E5%AE%9A%E7%BE%A9%E3%81%99%E3%82%8B

ーーー、 なら意図した通りのトークンになる。

[azu]

助詞なのでーーーは特に問題ないから、ーーーにするかな。 ＿＿＿、 もできるが、＿はそれぞれがトークンになって無駄なトークンが増える