Ответ

moko 20.09.2016 17:26 / 20.09.2016 17:27

Может и должен, но поменять весьма проблематично по многим причинам. Код зависит от кодировки, в Windows-1251 0xA0, В x-mac-cyrillic 0xCA, в UTF-8 это два байта - 0xC2 0xA0. Но основная сложность - именно двухбайтовость, метод yylex под 800 строк и 20Кб кода, ' ' встречается в нем 7 раз. Вероятно надо делать look-ahead и как-то пропускать лишний байт. Опять же время компиляции замедлится, а делать копии метода размером 20Кб тоже никакого желания нет. В to-do занес, но едва ли это будет сделано в обозримом будущем. :)

case '\n': case ' ': case '\t':
case '\n': case ' ': case '\t':
case ' ': case '\t': case '\n': case '"': case '\'': case '^': case '$':
case ' ': case '\t': case '\n':
case ' ': case '\t': case '\n':
case ' ': // ^if ( wrong. bailing out
case '\n': case ' ': case '\t':

---