생성AI14 거대언어모델 (LLM) 토큰 사이즈 이슈 거대언어모델에서 입력/출력하는 토큰 개수의 한도가 정해져있다.토큰은 단어와는 조금 다른 개념이다. 단어외에도 자주 쓰이는 문법 성분을 별도로 토큰으로 표기하기도 하기 때문이다.예를 들면, Eating 이라는 단어가 있으면 eat이라는 토큰과 ing 토큰으로 나뉠 수 있다. 아래 웹사이트에 문장을 입력해보면 token 수를 계산해준다.https://llmtokencounter.com/Eating healthy food makes me healthy 라는 문장을 입력하면 36개 글자, 6개 단어, 9개 토큰으로 구성된 문장이라고 알려준다. 아래는 클로드로 테스트를 해본 내용이다. 블로그 글을 입력해서 글을 다듬어보려고 했다. 프롬프트: 블로그에 작성한 내용인데 그냥 생각나는대로 구어체로 작성했음. 가독성을 .. 2024. 8. 19. 일상 속 생성AI 챗GPT가 출시된 이후에도 사실 별 관심은 없었는데, 우연히 AI 교육을 할 기회가 생겨서 챗GPT를 접하게 되었다. 강의 준비용으로 테스트를 몇 번 하다 보니 너무 성능이 좋아서 점점 많이 사용하게 되었고, 지금은 하고 있는 일 대부분에 생성AI를 적극적으로 사용하고 있고, 교육할 때도 적극 활용하며, 일상에서도 꽤 많이 활용하고 있다. 내가 일상에서 얼마나 다양하게 사용하고 있는지 정리하면서 기록으로 한번 남겨봐야 겠다는 생각이 들었다. 시간이 지나면서 같은 input에도 다른 결과물이 나오기도 하니 기록으로 남겨두면 나중에도 공부가 될 것 같다는 생각을 했고, 가족이 함께 생성AI를 활용해서 시간을 보내는것도 좋겠다는 생각을 했다. 예를 들면 라스코 AI (Lasco.ai | AI image gen.. 2024. 8. 19. 이전 1 2 3 다음
