728x90 Lexeme1 [Programming] Lexemes, Tokens Lexemes, Tokens Lexemes란? Lexemes이란 코드에 작성되고 사용되는 모든 문자열, 숫자, 기호 등을 의미한다. Tokens란? Tokens은 다양한 Lexemes에 대해서 카테고리로 묶어서 항목별로 분류해놓은 것을 의미한다. 아래의 예제를 통해 Lexemes와 Tokens에 관계에 대해서 살펴볼 수 있다. tNum = 5*num+20; Lexemes Tokens tNum identifier = equal sign 5 int literal * multiplication operator num identifier + addition operator 20 int literal ; semicolon 2021. 7. 10. 이전 1 다음 728x90