헤엄치는 연어회 실험 (이미지 생성AI 환각 테스트)

환각 이미지

 

이미지 생성AI도 환각 이슈가 있다. 대표적인 사례가 이 헤엄치는 연어회 이미지다. 예전에 검색해본 결과에 따르면 일본에서 연어를 그려달라는 프롬프트를 입력했고 그 결과로 이렇게 헤엄치는 연어회 이미지가 얻어졌다고 한다. 과연 이렇게 환각이 발생하는 모델이 있을지 궁금해서 테스트를 해보았다.

 

이미지 생성모델은 아래와 같이 사용해보았다.

1. DALL-E: 코파일럿과 뤼튼에서 제공하는 생성이미지는 DALL-E가 생성해준 이미지다.

2. lasco.ai

3. ideogram

4. stable diffusion

5. flux

6. adobe firefly

 

프롬프트를 뭘로 할까 하다가... 

연어를 그려달라고 요청해봤다. 강에서 헤엄치는 연어를 그려달라고도 해봤는데 결과는 비슷했다. 그래서 예전같은 할루시네이션은 이제 거의 발생하지 않는 것 같다.

 

1. lasco.ai 

Lasco는 거의 무료로 사용할 수 있는 툴이기도 하고 해서 먼저는 라스코에서 테스트를 좀 해보고 프롬프트를 확정짓기로 했다.

라스코 연어 사진

 

환각이 발생한 이미지를 만들어내려면 이제는 구체적으로 요청을 해야 되나보다.

코파일럿에게 이런 느낌의 이미지를 생성하기 위한 프롬프트를 만들어달라고 해보았다. 그래서 얻은 프롬프트는...

 

강물에 떠다니는 연어회, 초현실적이고 할루시네이션 느낌의 그림. 물결이 부드럽게 흐르고, 연어회가 물 위에 떠다니며 빛을 반사하는 모습.

 

이렇게 적은 프롬프트로 이미지 생성을 요청하면 비슷한 느낌의 이미지가 만들어졌다.

누가 먹다 버린 것 같은 연어 조각들...

접시에 얌전히 담아둔 연어회가 떠내려가는 모습...

 

2. ideogram

환각이 발생한 이미지와 비슷한 결과물을 얻는 것이 목표였기 때문에, 애초에 프롬프트를 환각을 유도하도록 작성해봤다.

 

프롬프트: 연어 그려줘 (강물에 연어회가 떠다니는 그림)

 

연어 조각들이 줄지어 헤엄치는 모습

 

작게 보면 베이컨 같아 보이기도 한데, 아무튼 의도가 잘 반영되었다. 이 그림의 매직프롬프트는 아래와 같다.

A photo of a river with multiple pieces of raw fish floating on the water's surface. The fish are cut into sashimi-style slices and arearranged in a visually pleasing manner. The river is clear, and the bottom can be seen. The surroundings are lush with greenery, and there are rocks along the riverbank.

연어를 그냥 raw fish라고 번역을 해서 그런지 연어의 색감은 약한 것 같다.

 

연어에서 붕어빵으로..

 

이 결과물은,, 붕어빵이 헤엄치고 있어서 인상깊긴 하다만... 매직프롬프트를 보면 fish cake이라고 써 있다. fish cake은 어묵인데, 설명도 어묵처럼 해놓은 것 같은데... cake이라는 단어 때문에 붕어빵이 나온 건가 싶다. 아무튼 의도와는 상관없는 결과가 나왔다.

A photo of a river with a floating fish cake (yongeo). The fish cake is made of fish paste and is a popular street food in Korea. It is shaped like a fish and is often fried and served with a dipping sauce. The background contains trees and a bridge. The water is calm and has a greenish hue.

 

연어대신 장어

 

연어를 장어로 번역해서 이렇게 나왔다. 프롬프트를 영어로 주는 게 더 정확한 결과로 나올 듯 하다. 이런 문제 때문에 프롬프트를 영어로 번역해서 넣는 경우도 있다.

A photo of a river with floating fish. The fish are possibly eels, as the text "연어" (eels in Korean) is present in the prompt. The river iscalm and the water is clear. The background contains trees and rocks. The overall image has a serene atmosphere.

 

3. DALL-E

코파일럿에서는 깜찍한 연어회들을 그려줬다.

프롬프트: 강물에 떠다니는 연어회, 초현실적이고 할루시네이션 느낌의 그림. 물결이 부드럽게 흐르고, 연어회가 물 위에 떠다니며 빛을 반사하는 모습

코파일럿 DALL-E

 

연어와 연어회가 같이 헤엄치는 모습은 조금 잔인한 것 같긴 하다... 위 그림을 그리고 나서 이어서 프롬프트를 바꿔봤다.

 

프롬프트: 연어를 그려줘

연어 이미지!

 

위에서 연어회가 나와서 그런지 이번 연어는 식당에서 플레이팅 완료한 연어 구이가 나왔다.

그래서 프롬프트를 바꿔봤다.

 

프롬프트: 강물에서 헤엄치는 연어를 그려줘

헤엄치는 연어

 

연어들이 잘 나오긴 했는데, 첫번째 이미지에는 연어들이 물 밖에서 헤엄치고 있는 느낌이다. 강에서 헤엄치는 연어들이라고 입력했을 때 이런 환각이 발생하는 경우가 조금 있었다. 연어가 헤엄은 치고 있는데, 수면 위에서 자연스럽게 떠 있는 모습.. 등이 그런 사례다.

 

뤼튼에서도 테스트를 해봤다. 

그런데 초기 화면에서 바로 프롬프트를 입력하면 이미지 생성은 되지 않는다. 작업을 나눠놨기 때문.. 입력창 왼쪽에서 작업을 골라줘야 된다. 기본적으로 텍스트 생성으로 되어 있어서 언어 모델에게 요청을 하면 이미지를 만들 수 없다고 한다.

뤼튼에서 찾아준 환각 이미지 출처

 

하지만 이 결과 덕분에 환각이 발생한 연어 이미지의 출처를 찾았다. 이미지 생성으로 작업을 변경해서 그림을 그려봤다.

 

프롬프트: 강에서 헤엄치는 연어 그려줘

뤼튼에서 생성한 이미지

 

연어가 맞는지도 잘 모르겠지만,, 일단 물 밖에서 헤엄을 치고 있다. 연어는 그냥 물고기로 인식되는건가 싶기도 하다. 의도하지는 않았지만 이런 환각도 발생할 수 있다는 것을 알았다.

 

4. stable diffusion (https://stability.ai/)

Stability AI

 

stable diffusion이 오픈 소스이다 보니 허깅페이스에서 쓸 수 있게 구현해 놓은 것도 있었지만, 성능이 안 좋아서 조금 테스트해보다가 말았다. stability AI에서 개발한 것으로 알고 있고, 여기가 공식 웹사이트인 것으로 보인다. 전부 무료였는데 부분 무료로 전환되었다.

 

프롬프트: salmon swimming in the river

날으는 연어..

 

연어 그림이 자꾸 물밖에서 생성이 되는 문제가 있었다. 프롬프트에 물 속에서 헤엄치라고 해도 밖으로 튀어나온다.

연어회 느낌의 이미지를 만들어 보기 위해서 프롬프트를 바꿔 봤다.

 

프롬프트: Salmon sashimi floating in a river, surreal and hallucinatory illustration. Gently flowing water, salmon sashimi floating on the water, reflecting the light.

떠다니는 연어회

 

애니메이션 느낌으로 나오기도 했는데, 꼬리가 왜 있는지는 잘 모르겠다.

 

참고로 Gradio로 사용할 수 있게 구현해 놓은 곳도 있었다. https://stabledifffusion.com/

Stable Diffusion Online - Free AI Image Generator

여기서도 생성해보니 연어가 물 밖에서 헤엄치고 있었다.

 

프롬프트: a salmon swimming in the river

 

stable diffusion이 버전이 여러개여서 그런지 구현되있는 서비스 중에서 퀄리티들이 많이 다른 것 같다. 이번 이미지는 강물 배경도 조금 특이하다. 여전히 물밖으로 솟아 오르고 있다. 연어가 강물을 거슬러 올라가는 느낌 때문에 이렇게 나온 건가.. 하는 생각도 든다.

 

5. Flux (https://flux-ai.io/ko/flux-ai-image-generator/)

Flux Image AI - 온라인 Flux.1 AI 이미지 생성

 

이 모델은 전혀 모르고 있다가 코파일럿에 검색해서 찾아냈다. 여기서도 연어가 물 밖에서 헤엄치고 있다. 그림을 계속 생성해보다가 깨달았는데, 나는 연어 실제 모습을 본 적이 없다. 그래서 이미지에 있는 물고기가 연어인지 아닌지 구분이 불가능하다.

 

프롬프트: a salmon swimming in the river

 

6. Adobe firefly (https://www.adobe.com/kr/products/firefly.html)

Adobe Firefly - 크리에이티브를 위한 무료 생성형 AI

 

여기는 기능이 굉장히 많다. 텍스트로 이미지 생성도 있지만, 텍스트 수정하는 기능부터 이미지 편집 기능까지 굉장히 다양한 기능이 있다. 구현된 기능을 다 활용해보지도 못했고, 공부도 어느정도 필요할 것 같다.

 

프롬프트: Generate image of salmon swimming in the river

 

여기는 수면 밑에 있는 연어들로만 나왔다. 수면 경계선만 잘 그려도 자연스러울 텐데 그거를 잘 못하는 경우도 있나보다. 사실 adobe firefly는 얼마전에 사용했을 때는 성능이 별로여서 사용을 잘 안 했었는데, 이번 실험에서는 꽤 성능이 좋아 보였다.

 

연어 환각 이미지를 재현해보려는 생각에서 이번에 모델 별로 테스트를 해봤는데, 해보다 보니 다른 환각을 찾아냈다. 연어가 물 밖에서 헤엄치는 것은 사실 상식 밖의 일인데, 이러한 상식에 어긋나는 이미지가 생성되는 경우가 종종 있다. 그래서 이런 상황을 막으려다보면 프롬프트가 점점 길어지는 것 같다. 이미지 생성에 사용할 프롬프트도 언어 모델로 작성을 요청하는 경우가 있다. 공들여서 만들어야 되는 이미지라면 프롬프트를 잘 다듬어서 사용하면 좋다. 개인적으로는 클로드와 코파일럿으로 프롬프트를 만들고 다듬어간다.

 

딸한테 생성된 이미지가 어떤지 물어봤는데, 이미지에서 이질감을 못 느낀다. 앞으로 생성AI로 만들어진 이미지가 넘쳐날것 같은데, (가끔 방송에서도 생성AI로 그린 것 같은 느낌의 이미지들을 종종 보게된다) 아직 어린 아이에게는 이미지가 어색해 보이지 않을 수도 있다는 생각이 들었다. 그래서 생성AI 모델 사용에 연령 제한이 있구나 하는 생각도 든다. 오늘 실험은 여기까지 :D