Y combinator AI 스타트업 스쿨: 소프트웨어의 변화

Y combinator에서 진행한 AI 스타트업 스쿨. AI 최근 동향과 전문가들의 관점을 배울 수 있어서 매우 유익했음. 처음에 설거지하면서 가볍게 들었는데, 좀 더 내용을 잘 이해하고 싶어서 정리를 해보기로 했다.

 

첫번째 강의: Andrej Karpathy (테슬라 AI 책임자)

 

1. 소프트웨어 1.0은 컴퓨터 코드 (Github에 공유되고 있는 코드들!), 소프트웨어 2.0은 인공신경망. 이때의 신경망은 수행하는 task가 고정되어 있음. 소프트웨어 3.0은 현재의 LLM. 자연어를 통해 프로그램을 할 수 있는 길을 열어주었기 때문에 LLM이 소프트웨어의 새로운 세대를 열었다고 함.

 

2. 테슬라 자율주행을 보면 소프트웨어 1.0과 소프트웨어 2.0이 함께 동작하고 있음. 초기 버전은 C++ 코드로 구성된 소프트웨어 1.0이었지만 소프트웨어 2.0이 점점 개선되면서 초기의 C++ 코드를 점점 대체하게 되었다고 함. 그래서 소프트웨어 2.0이 소프트웨어 1.0을 잡아먹게 됨. 같은 방식으로 소프트웨어 3.0이 소프트웨어 2.0을 잡아먹으면서 소프트웨어의 스택이 변화하게 될 것이라고 전망.

 

3. Andrew Ng은 AI를 전기에 비교하고는 하는데, 비슷한 현상이 나타나고 있음. 정전이 되서 전자기기가 동작하지 않으면 일을 할 수 없는 것처럼 LLM 서비스가 일시적으로 장애가 있었을 때 비슷하게 업무를 하지 못하는 상황이 발생한 적이 있음. LLM에 의존적으로 일하는 사람들이 증가.

 

4. LLM은 운영체제와 같은 성격을 갖고 있음. LLM 생태계가 윈도우, MAC, 리눅스와 같은 운영체제처럼 성장해 갈 것으로 보임. 현재는 초기 단계이기 때문에 앞으로 어떻게 될지 구체적인 내용을 알 수는 없지만, 최근에 나오는 에이전트를 보면 LLM이 인터넷 검색 결과를 활용해서 답변을 하기도 하고, 코드를 작성하고 실행한 결과를 제공하기도 함. 파일 시스템에 접근해서 직접 파일을 수정하면서 일을 할수도 있고 (예: cursor, windsurf) 멀티모달이 도입되면서 비디오, 오디오 같은 입력값도 처리할 수 있게 됨. 운영체제에도 다양한 옵션이 있는 것처럼 사람들도 상황에 따라 다양한 LLM을 취사선택하고 있음.

 

5. 이제까지 대부분의 신기술들은 처음에 정부와 기업이 주 고객이었고 나중에 일반 대중에게까지 천천히 퍼져나감. (예: GPS, 인터넷 등) 하지만 LLM은 반대의 상황이 나타남. 일반 대중에게 먼저 퍼져나가기 시작.

 

6. LLM의 창발 현상은 결국 사람의 데이터를 학습하면서 발생했다고 봄. LLM을 레인맨에 나오는 Dustin Hoffman (자폐를 앓고 있는 사람을 연기)에 비교. 엄청난 암기 능력을 보여주는데, 전화번호부를 읽고 모든 내용을 기억. LLM도 학습된 다양한 텍스트를 기억하고 알려줌.

 

7. LLM이 엄청난 능력을 보여주지만, 동시에 환각과 같은 중대한 결점을 갖고 있음. 또한 사람이라면 절대 틀리지 않을 간단한 수학도 틀림. 사람은 자신이 소속된 곳에서 자신의 업무를 반복하면서 전문성을 강화하는 식으로 학습을 하지만, LLM은 이런식으로 학습하지 않음. 그래서 사람은 자신의 이전 기억을 바탕으로 계속 지식이 강화되지만, LLM은 그렇지 않음. 영화 메멘토와 비교를 했는데, 아침마다 새로운 기억을 갖고 삶을 시작하는 것처럼 LLM도 그렇게 동작.

 

8. LLM은 사용자의 프롬프트에 쉽게 속아넘어감. LLM은 이러한 단점과 사람에게서는 보기 어려운 초능력을 동시에 갖고 있음. 단점은 보완하고 모델의 초능력은 최대한 잘 활용하기 위한 방법이 필요.

 

9. 챗GPT에게 코딩 요구를 하고 답변에서 코드를 받아서 에디터에 붙여넣는 방식으로 일을 해오다가, cursor가 등장하면서 이러한 컨셉이 바뀜. 커서에서 바로 모델과 대화를 하고 모델의 답변을 바로 코드에 반영할 수 있게 됨. 사람이 복붙하는 과정이 대체되면서 효율성 개선.

 

10. LLM 앱이 나오면서 많은 부분이 자동화됨. 퍼플렉시티는 검색을 자동화 시킴. 다양한 소프트웨어의 GUI는 대부분 사람에게 맞춰져 있는데, LLM음 소프트웨어를 사용할 때 사람과 같은 방식으로 소프트웨어를 인식하지 않음. 사람 중심의 GUI에서 LLM 중심으로 변화하면 더 많은 자동화 빠르게 이루어질 수 있음.

 

11. cursor로 일을 할 때 초기에는 기능을 빠르게 구현할 수 있어서 좋지만, 업무를 확실하게 마무리할 때는 그렇게 편리하지 않음. 디테일을 조정할 때는 결국 사람이 많이 개입해야 함.

 

12. 챗GPT를 이용해서 교육 자료를 제작하는 경우, 지금은 챗GPT에 접속해서 질문을 해서 교안을 만들지만 앞으로도 이런 방식으로 일할 것으로 생각되지는 않음. 교육을 위한 cursor와 같은 무언가가 등장할 수 있음. 그래서 선생님들도 교안을 쉽게 AI를 통해 만들고, 학생들은 AI를 통해 학습 효율을 개선할 수 있음.

 

13. 자율주행은 dirving 에이전트로 볼 수 있음. 2013년에 처음으로 자율 주행을 경험해봄. 자율주행이 실현되는 데 얼마 걸리지 않을 것이라고 생각했지만 2025년에도 여전히 개선해야 할 점이 많이 있고, 운행 중에 사람의 개입이 필수적. 2025년에 에이전트의 시대가 열렸다고 하지만 여전히 개선해야 될 점이 많음. 10년 후에도 여전히 개선해야 될 것이 많을 수도..?

 

14. 현재 에이전트는 아이언맨 수트와 유사. 부분적으로 자동화되고 사람과 상호작용하면서 업무를 수행함. 향후 소프트웨어 GUI와 UIUX에 많은 변화가 있을 것으로 생각됨.

 

15. 영어(자연어)로 프로그래밍할 수 있는 시대가 열림. 바이브 코딩을 통해 다양한 사람들이 개발을 하기 시작함. 허깅페이스 Thomas Wolf는 아이들이 바이브 코딩으로 개발하는 모습을 영상으로 올림. 바이브 코딩을 통해 프로그래밍 언어에 대한 장벽이 상당 부분 해소됨. Swift에 대해서 몰랐지만 5일만에 아이폰 앱을 개발. 외국어로 된 메뉴를 사진으로 찍으면 메뉴를 이미지로 전화해서 보여주는 앱. (MenuGen) 처음으로 만들었을 때 기능은 몇시간 만에 만들었지만 실제 서비스로 런칭하기 위해서는 몇주간의 노력이 필요함. 막힐 때마다 LLM에게 질문하면서 진행했는데, LLM이 자신한테 업무를 지시한다는 느낌을 받음... 그걸 따라하면서 만들다가 들었던 생각. 그걸 왜 내가 하냐... 니가 해라... 앞으로는 이렇게 LLM이 무엇을 해야 되는지 알려주는 것이 아니라 내 요구사항을 직접 실행하는 방향으로 나아가지 않을까?

 

16. 사람은 GUI에 익숙. 화면에 보이는 아이콘을 클릭하는 방식에 익숙하지만, LLM은 API로 일하는 것이 더 편리한 방식. 사람에게 편리한 것과 LLM에게 편리한 것이 다름. 다양한 문서들도 사람을 위해 정리되어 있음. 그림도 있고 글의 구조도 복잡하지만, LLM에게는 편리한 구조가 아님.

 

17. Manim이라는 라이브러리를 소개. 새로운 라이브러리를 사용할 때 이전에는 문서를 열심히 읽고 쓸 수 있었지만 문서 전체를 LLM에게 집어넣고 정보를 찾는 방식으로 훨씬 빠르게 라이브러리를 사용할 수 있었음.

 

18. 사람은 클릭에 익숙하지만 LLM은 그렇지 않음. Git 또한 사람에게 익숙한 방식으로 되어 있으나, Github을 바로 LLM에게 입력하기에는 적합한 형식이 아님. Gitingest는 Github repository를 LLM에게 입력하기 쉬운 형태로 바꾸어 줌. computer use를 통해서 LLM이 클릭을 할 수는 있지만, LLM이 접근하기 쉬운 형태로 정보를 변형시키면 더 많은 부분에서 자동화가 일어날 것으로 생각됨.

 

원문 영상: https://youtu.be/LCEmiRjPEtQ?si=QnOTMZWDxgWTja88