Closed skitheom closed 2 months ago
word splitting 関数のリファクタリングと, token系関数との統合
word splitting
word splitting の処理が expander 内に存在し、word_token のトークンの生成がlexer側の関数とロジックが重複している部分がある。リファクタリングの余地あり
expander
word_token
lexer
word splitting
関数のリファクタリングと, token系関数との統合概要
word splitting
の処理がexpander
内に存在し、word_token
のトークンの生成がlexer
側の関数とロジックが重複している部分がある。リファクタリングの余地あり