update tokenize

[habvi]

197 tokenize の validate, token_kind を set するあたりの実装。

token を 1 つずつ見ていき

• [x] token_kind を持たせる
• [x] token_quote を持たせる
• [x] 各 token の基本的な validate
  • [x] quote " ", ' 'が閉じてない
  • [x] error : ( ) ペアの個数が不正

refactor, fix

• [x] get_token_tail.c : const char -> int, char [2] へのキャストは大丈夫…？
• [x] fix : set_default_environ() var, set_context_default_value() var
• [x] fix : ft_realloc
• [x] fix : ft_itoa_int
• [x] add : -pedantic
• [x] sep : enum
• [x] enum : 2進数表記 -> shift 表記

↓ ここからはやっぱり parser …？heredoc で色々試してみると bash ではどこまでがどっちの責任かわかるらしい…？ 例外的に & とかを 3文字以上で tokenize するのは良くなさそう、なので相談… → 有効な token に分割してから parser ですることに。