토큰1 거대언어모델 (LLM) 토큰 사이즈 이슈 거대언어모델에서 입력/출력하는 토큰 개수의 한도가 정해져있다.토큰은 단어와는 조금 다른 개념이다. 단어외에도 자주 쓰이는 문법 성분을 별도로 토큰으로 표기하기도 하기 때문이다.예를 들면, Eating 이라는 단어가 있으면 eat이라는 토큰과 ing 토큰으로 나뉠 수 있다. 아래 웹사이트에 문장을 입력해보면 token 수를 계산해준다.https://llmtokencounter.com/Eating healthy food makes me healthy 라는 문장을 입력하면 36개 글자, 6개 단어, 9개 토큰으로 구성된 문장이라고 알려준다. 아래는 클로드로 테스트를 해본 내용이다. 블로그 글을 입력해서 글을 다듬어보려고 했다. 프롬프트: 블로그에 작성한 내용인데 그냥 생각나는대로 구어체로 작성했음. 가독성을 .. 2024. 8. 19. 이전 1 다음