토크나이저

💡 초보자 설명

글을 AI가 이해할 수 있는 작은 단위(토큰)로 잘게 쪼개주는 도구예요. 사람이 읽는 문장을 AI가 계산할 수 있는 숫자 단위로 바꿔주는 역할을 해요.

🧠 쉬운 비유·기억법

긴 문장을 레고 블록처럼 작은 조각으로 잘라주는 가위라고 생각하면 돼요. AI는 문장 전체가 아니라 이 조각(토큰) 단위로 글을 처리해요.

📌 실제 사용 상황

같은 문장이라도 언어(한글/영어)에 따라 토큰으로 쪼개지는 방식이 달라서, 한글이 영어보다 토큰을 더 많이 쓰는 경우가 흔해요.

⚠️ 주의사항

토크나이저 방식은 AI 서비스마다 조금씩 달라서 같은 글도 토큰 수가 다르게 계산될 수 있어요.