[Programming] Lexemes, Tokens

 Lexemes, Tokens

---

 

Lexemes란?

Lexemes이란 코드에 작성되고 사용되는 모든 문자열, 숫자, 기호 등을 의미한다. 

 

Tokens란?

Tokens은 다양한 Lexemes에 대해서 카테고리로 묶어서 항목별로 분류해놓은 것을 의미한다.

아래의 예제를 통해 Lexemes와 Tokens에 관계에 대해서 살펴볼 수 있다.

 

tNum = 5*num+20;

Lexemes	Tokens
tNum	identifier
=	equal sign
5	int literal
*	multiplication operator
num	identifier
+	addition operator
20	int literal
;	semicolon