PROFESSIONAL GAME CREATOR SCHOOL G学院 用語集

OFFICIAL SITEへ戻る

トークン

 トークンとは、プログラミングにおいて、ソースコード上の文字列を、それ以上分けることのできない最小単位に分けたもののことを指します。ソースコードの内容を解析する時に、そこに記述されている文字を分割したとき、意味を持つ最小単位までに分割されたもので、例えば変数名や演算子などがそれに当たります。
 トークンを使用する場面は、例えばプログラミング言語から機械語に翻訳する場合です。ソースコード上の変数名や関数名、その他演算子等の記号等を、それぞれ意味をもった最小単位のトークンにまで分解した後、それらの意味を1つずつ解析し、翻訳していきます。
 簡単な解析例を上げると、以下の様な代入式があるとします。
 x=100+3×5-15
これをトークンに分けると以下の様になります。
1.x
2.=
3.100
4.+
5.3
6.×
7.5
8.-
9.15

このように、意味のある最小単位に分けたものがトークンとなります。
トークンは構文解析の時に必要となります。

用語集一覧へ戻る