분류 전체보기17 챗GPT의 거짓말을 막아보자 (RAG, 환각 줄이기) 챗GPT 3.5 버전에서 나타나는 환각 현상을 줄이기 위해 RAG를 간단하게 만들어 봤다. langchain을 이용해서 답변을 개선하는 방법을 테스트해봤다. (colab에서 작업하다가 jupyter로 옮겼다. 계속 노트북이 멈추는 문제가 생겨서... colab 이나 주피터나 사용 방법은 대동소이 하기 때문에 크게 어렵지 않다고 생각함.)Anaconda에서 jupyter 사용하는 방법 영상: https://youtu.be/1oQCRniWDy0?si=8pPRJFG9RK6lBUzKJupyter 사용 방법: https://youtu.be/NJaZuqt839I?si=dgFA5T5LTIkB2G4W langchain에서 openAI API를 사용하기 위한 라이브러리를 먼저 설치해주고 테스트해봤다.저번 포스팅부터 테.. 2024. 9. 17. LLM간 할루시네이션 비교 (세종대왕이 맥북프로를 던진 사건) 할루시네이션은 우리 말로 환각이라고 한다. 소위 사람들이 AI가 거짓말한다고 하는게 할루시네이션이다. 환각은 모델이 모르고 있는 정보에 대해서 물어볼때 발생하는 것 같다. deeplearning.ai에서 upstage 강의를 들어보면 pretraining 과정에서 모델이 접하지 못한 정보에 대해서는 모델이 전혀 모른다는 이야기를 한다. 그래서 모델의 지식을 개선시키려면 pretraining 과정이 필수적이라고 한다. 모델이 지식은 없지만 말은 할 줄 아니 사용자의 질문에 대해서 부정확한 답변을 그럴듯한 문장으로 만들어내는 이유는 pretraining 과정에서 제대로 학습을 못한 정보이기 때문이라고 생각한다. 개인적으로 찾은 2가지 할루시네이션을 모델 별로 비교해보는 실험을 해보려고 한다.바로! 세종대왕.. 2024. 9. 16. Multi Agent로 신문기사 작성해보기 (AutoGen + OpenAI API) 'AI와 화학물질'이라는 책을 출간했다. 출판사에서 책 소개를 하는 신문 기사를 작성해보자고 제안하면서, 투고할 신문 기사 하나를 참고하라고 보내줬다. 그냥 코파일럿이랑 클로드를 써도 되긴 하지만, 그냥 쓰기는 어렵다고 생각을 했다. 왜냐하면 책이 출간된지 얼마 되지도 않았고 웹상에는 책 내용이 공개되어 있지 않았기 때문이다. 언어모델로 책을 소개하는 신문기사를 작성하려면 아래 단계들이 필요하다고 생각했다.1) 책의 전체 내용을 요약하는 글을 만들어야 함. (챕터별로 충분한 요약 내용 필요)2) 참고할 신문기사도 제공해야 함. (이 기사의 형식을 참고해서 글을 정리해야 함)3) 1번과 2번을 참고해서 신문기사를 작성. 책 내용은 웹에 공개된 내용이 아니기 때문에 모델이 책 내용에 대해서 접근할 수가 없다.. 2024. 9. 15. 프롬프트 작성 핵심 원칙 (ft. 생성AI로 인사말 써 보기!) 프롬프트는 인공지능 모델에게 입력하는 지시문을 의미한다. 그러니까 챗GPT한테 이메일 작성을 요구했다면, 그 요구 사항이 프롬프트다. 그런데 많은 경우 프롬프트를 굉장히 부실하게 작성한다. 한국사람의 프롬프트가 부실한 이유는 평소에 우리의 말에서 단어의 생략이 많기 때문이라고 생각한다. 한국어로 대화할 때 주어를 구체적으로 명시하는 경우가 많지 않고, 서로 알고 있다고 생각하는 내용들도 과감히 생략해서 이야기하는 경우가 많다. 그러다 보니 우리는 원래 쓸모없는 단어를 줄여가면서 굉장히 효율적으로 대화를 하고 있다. 하지만 그런 효율적인 문장은 좋은 프롬프트라고 보긴 어렵다. 프롬프트 작성법 혹은 프롬프트 엔지니어링이라고 검색을 해보면 많은 블로그에서 정리하고 있는 내용들을 볼 수 있다. 그러한 노하우를 .. 2024. 9. 14. 초고퀄 무료 AI 교육 자료! 인공지능의 대가 Andrew Ng 교수님이 만든 강의입니다. 비전공자들 대상으로 교육을 많이 하시기도 하셨고, 실무에 필요한 핵심적인 내용만 골라주셔서 강의 조금 들어보면 엄청나게 도움이 됩니다. 바로 실무 적용가능한 수준으로 알려주시는데요. 단점이 있다면,, 자료가 다 영어입니다. 뭐 코딩하면 영어로 적긴 합니다만,, 그래도 설명이 영어인데, 한국어 자막이 있는 강의들도 조금 있습니다. (서울대학교 인공지능학과에서 자막 작업을 한다고 했어요!) DeepLearning.AI: Start or Advance Your Career in AI DeepLearning.AI: Start or Advance Your Career in AIDeepLearning.AI | Andrew Ng | Join over 7 m.. 2024. 9. 3. 로고 생성 AI: Ideogram 이디오그램 (Ideogram) 발음은 조금 어렵지만, 무료이면서 로고 생성할 때 자주 쓰는 AI툴이다.이미지생성을 했을 때 사람의 얼굴이나 손을 정확하게 그리지 못하는 경우가 종종 발생한다. 거기에 이미지에 원하는 글씨를 정확하게 넣는 것도 사실 잘 못하는 경우가 많았었다. 최근에는 모델들 성능이 다들 좋아져서 그런 경우가 현저하게 줄어들긴 했지만, 그래도 이미지에 텍스트를 오기재 하는 경우는 꽤 자주 발생하는 편이라고 생각한다.예전에 만든 이미지이지만, 어떻게 틀리는지 예시를 올려본다. 프롬프트: a tiny cute cat on top of finger, a butterfly on top of the cat라스코에서 만들긴 했는데, 손가락이 이상한 형태를 보인다. 가끔 얼굴이 일그러진 형태로 나오기도.. 2024. 8. 29. 이전 1 2 3 다음
