ollama3 나를 위한 서류 요약 AI비서 만들기 5분이면 됩니다 (ft. AnythingLLM) 나를 위한 서류 요약 AI 비서를 전문용어로 RAG (Retrieval-augmented generation)라고 한다. 내가 제공한 문서에서 요약도 해주고 필요한 정보도 찾아줄 수 있다. 보안 문제 때문에 공개하기 어려운 서류도 AnythingLLM에 Ollama를 연결해서 사용하면 보안 문제 없이 RAG를 만들 수 있다. 먼저는 ollama를 설치해줘야 한다.https://ollama.com/ OllamaGet up and running with large language models.ollama.com 그리고 나서 AnythingLLM을 설치하면 된다.https://anythingllm.com/처음 실행시키면 어디서 언어 모델 연결할 건지 물어보는데 그때 ollama로 지정해주면 된다. 그러면 ol.. 2025. 2. 13. 보안 이슈 걱정 없이 DeepSeek-R1 오픈 모델 사용하는 방법 DeepSeek-R1은 무료 공개된 모델이다. 아래 링크에 접속해서 사용하는 방법도 있지만, 오픈 모델을 다운받아서 로컬 환경 (개인 PC 혹은 서버)에 설치해서 사용하는 것도 가능하다. 그러면 인터넷이 없는 환경에서도 deepseek-R1을 사용해볼 수 있기 때문에 보안 이슈로부터 걱정이 없다.https://www.deepseek.com/ 1. Ollama에서 사용하기Ollama는 다양한 언어모델들을 양자화(quantization)해서 제공하는 플랫폼이다. 인공지능 모델을 무료로 쉽게 사용할 수 있다. 사용방법도 꽤 쉽다. ollama를 설치하면, 커맨드창 (혹은 cmd 창)에서 ollama를 명령어로 사용해서 호출하면 된다. 커맨드창 입력어 예시: ollama run llama3.3llama3.3을 .. 2025. 2. 13. 생성AI 무료 API & 오픈소스 모델 (Ollama) API를 사용하면 프로그래밍 코드 안에서 인공지능 모델을 호출해서 사용할 수 있게 된다. 그래서 좀 더 입맛에 맞는 다양한 애플리케이션을 개발할 수 있다. API를 사용할 때는 비용이 사용한 만큼 지출되게 된다. 여기서 사용한 만큼이란 모델에 입력한 토큰수 / 모델이 출력한 토큰수를 의미한다. 토큰 별로 가격이 정해져 있고, 입력 토큰과 출력 토큰의 비용이 서로 다르다. 그래서 얼마나 많은 text를 모델에 입력했는지, 그리고 모델이 얼마나 많은 text를 출력했는지에 따라서 사용 요금이 과금되게 된다. 모델 별로 토큰 비용을 비교한 좋은 웹사이트가 있어서 소개해본다.https://context.ai/compare/gpt-4/claude-3-sonnet여기서 각 언어모델을 선택할 수 있고, 모델 별 가.. 2024. 9. 25. 이전 1 다음
