18a19,21
> #if SLANG_HAS_KANJI_SUPPORT
> #include "slkanji.h"
> #endif
122a126,128
> #if SLANG_HAS_KANJI_SUPPORT
> #define JP_CHAR		ALPHA_CHAR
> #endif
207,270c213,343
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
<  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
---
> #if SLANG_HAS_KANJI_SUPPORT
>  { BAD_CHAR, 0 },	/* )B */	    {JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/*  */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { JP_CHAR, 0 },	/*  */
>  { JP_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
> #else
>  { BAD_CHAR, 0 },	/* )B */	   { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	     {BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/*  */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
>  { BAD_CHAR, 0 },	/* )B */	    { BAD_CHAR, 0 },	/*  */
> #endif
303a377,384
> #if SLANG_HAS_KANJI_SUPPORT
> 	if (iskanji(ch))
> 	  {
> 	     s[len++] = ch;
> 	     ch = prep_get_char ();
> 	  }
> 	else
> #endif
644c725
< 	if (ch == quote_char) break;
---
> 	else if (ch == quote_char) break;
646a728,731
> #if SLANG_HAS_KANJI_SUPPORT
> 	if (iskanji(ch))
> 	  s[len++] = prep_get_char();
> #endif
648c733
< 	if (len == (MAX_TOKEN_LEN - 1))
---
> 	if (len >= (MAX_TOKEN_LEN - 1))
658a744,747
> #if SLANG_HAS_KANJI_SUPPORT
> 	     if (iskanji(ch)) 
> 	       s[len++] = prep_get_char();
> #endif
697a787,794
> /*      case JP_CHAR: */
> #if SLANG_HAS_KANJI_SUPPORT
> 	if(iskanji(ch))
> 	  {
> 	     unget_prep_char (ch);
> 	     slen--; /* slen = 0 */
> 	  }
> #endif
710c807,815
< 	if (t == ALPHA_CHAR) return get_ident_token (tok, s, slen);
---
> 	if (t == ALPHA_CHAR)
> 	  {
> 	     if(iskanji(ch))
> 	       {
> 		  unget_prep_char (ch);
> 		  slen--; /* slen = 0 */
> 	       }
> 	     return get_ident_token (tok, s, slen);
> 	  }
1324a1430,1437
> #if SLANG_HAS_KANJI_SUPPORT
> 	if(iskanji(ch))
> 	  {
> 	     *buf++ = ch;
> 	     *buf++ = *s++;
> 	  }
> 	else
> #endif
