토큰2 알파폴드 이보다 단순하게 설명할 순 없다 알파폴드. 단백질 구조를 예측하는 AI. 이번에 노벨화학상을 수상했다. 그래서 이름은 들어봤을 법 하지만 어떻게 작동하는지까지 공부하는 사람은 드물다. 그냥 어려워 보인다. 그리고 인공지능 하면, 챗GPT를 떠올린다. 그래서 인공지능이라고 하면 뭔가 내가 대화를 해야 되는 프로그램이나 웹사이트라고 인지하는 경우도 많다. 일단 인공지능의 정체는 무엇일까?인공지능은 모델 내부에 있는 파라미터 값들의 집합이다. 파라미터 값들이 본체다. 챗GPT를 예로 들어보자. 챗GPT에 문장을 입력하면 각 문장을 숫자로 바꿔준다. 그러면 이 숫자값에 모델의 파라미터를 곱해주고 더해주고 하면서 계산이 이루어진다. 그리고 모델에서 최종적으로 계산된 숫자 값을 다시 문장으로 전환시킨다. 챗GPT는 이렇게 프롬프트를 이해하고 답변.. 2024. 11. 25. 거대언어모델 (LLM) 토큰 사이즈 이슈 거대언어모델에서 입력/출력하는 토큰 개수의 한도가 정해져있다.토큰은 단어와는 조금 다른 개념이다. 단어외에도 자주 쓰이는 문법 성분을 별도로 토큰으로 표기하기도 하기 때문이다.예를 들면, Eating 이라는 단어가 있으면 eat이라는 토큰과 ing 토큰으로 나뉠 수 있다. 아래 웹사이트에 문장을 입력해보면 token 수를 계산해준다.https://llmtokencounter.com/Eating healthy food makes me healthy 라는 문장을 입력하면 36개 글자, 6개 단어, 9개 토큰으로 구성된 문장이라고 알려준다. 아래는 클로드로 테스트를 해본 내용이다. 블로그 글을 입력해서 글을 다듬어보려고 했다. 프롬프트: 블로그에 작성한 내용인데 그냥 생각나는대로 구어체로 작성했음. 가독성을 .. 2024. 8. 19. 이전 1 다음
