티스토리챌린지21 속내를 알 수 없는 AI 속내를 절대로 드러내지 않는 사람. 무슨 꿍꿍이인지 알 수가 없다. 신뢰할 수가 없다. 전문가들이 AI를 불신하는 이유도 비슷하다. 모델이 왜 그렇게 답변을 했는지 의도를 파악하기가 어렵기 때문이다. 인공지능 모델을 블랙박스 모델이라고도 한다. 왜 그렇게 추론을 했는지 알기가 어렵기 때문이다. QSAR 모델에서도 마찬가지다. 모델이 어떤 물질을 독성이 있다고 예측을 했다. 왜 그렇게 예측을 했는지 근거가 있다면 좋을텐데, 근거가 없다면? 믿을 수가 없다. 화학물질로 실험을 하면 물질의 활성이나 독성을 확인할 수 있다. 하지만 실험 결과가 일치하지 않는 경우도 생긴다. 실제로 세포 실험에서는 독성을 했는데, 동일한 물질이 동물 실험에서는 독성이 나타나지 않는 경우도 빈번하게 있다. 이럴 때는 결과가 불일치.. 2024. 11. 21. 그래서 AI가 얼마나 정확한건데? 정확도. 중요하다. 평가하는 방법? 모델이 하는 일마다 다르다. QSAR 모델은? 실험 값과 예측 값을 비교해야 된다. 즉 실험값이 없으면 정확도 또한 판단할 수 없다는 뜻. 정확도를 파악하고 싶다면? 정답지 먼저 준비하는 것이 우선이다. OECD QSAR validation guideline 4번째 원칙. 모델의 정확도를 투명하게 공개할 것! 이 원칙은 굉장히 중요하고, 요즘엔 이렇게 안 하는 사람이 없다. 하지만 1900년대 후반이나 2000년대 초반에 발표된 QSAR 논문을 보면 모델 정확도를 공개하지 않은 경우가 있다. 그 당시에는 잘 몰라서 그랬나보다. 검증은 어떻게 해야 할까? VEGA의 간 독성 예측 모델의 QMRF 문서를 보자. 먼저 internal validation과 external v.. 2024. 11. 20. AI 얼마나 정확해요? AI 답변에 실망한 사람이 적지 않다. 챗GPT가 처음 출시되었을 때는 답변에 놀랐지만,, 황당한 답변, 말도 안되는 헛소리 등등. 말도 안되는 결과에 실망한 사람들이 많다. 전문적인 분야. 사실성이 중요한 내용. 이런 경우에는 챗GPT를 사용하기 꺼려하거나 기피하는 경우를 보게 된다. 화학물질에 사용되는 QSAR 모델도 AI 기술이 사용되고 있지만, 불신이 많다. 모델 개발한 사람에 따르면 정확도가 80%라고 한다. 그런데 사용하는 사람이 관심있는 화학물질 2개 정도 예측을 해봤더니 다 틀렸다. 그러면 개발한 사람이 80%라고 주장해도, 사용한 사람 입장에서 이 모델의 정확도는 0%. 이렇게 사용자 경험이 안 좋은 경우 다시 사용할 생각도 안 한다. 아무리 편하고 빠르게 답변을 얻을 수 있다고 해도, .. 2024. 11. 19. AI가 안전하다고 판단한 화학물질? 정말 안전할까? AI가 예측해준 결과를 믿어도 될까? 환각 현상이 난무하는데... 챗GPT를 상당 기간 사용해본 분들은 한 두번쯤 경험해봤을 것이다. 말도 안되는 답변이 나오는 경우를 심심치 않게 본다. 독성 예측 모델이라고 다를까? 다르지 않다. 이 녀석들도 안전한 물질인데 위험하다고 하기도 하고, 반대로 위험한 물질인데 안전하다고 답변을 할 때도 있다. 챗GPT 답변은 검색해서 찾아보기라도 하면 되지... 화학물질에 대한 예측 결과는 실험을 해봐야 한다. 한달 걸리는 실험도 있고, 반년 걸리는 실험도 있고, 2년 걸리는 실험도 있다... 이렇게 하지 않고도 모델의 답변 신뢰도를 알아낼 수 있는 방법은 없을까?답은 데이터에 있다. 모델을 훈련할 때 사용한 데이터를 바탕으로 모델의 예측 결과를 분석해보는 것이다. 이 내.. 2024. 11. 18. 간 독성 모델 알고리즘 해부 (이게 AI 모델이라고?) 모델의 세부내용. QMRF 문서를 보고 있다. 무슨 말인지 모르겠다면 '간 독성 AI 모델을 해부해봤습니 (데이터)' 편을 참고하시길... OECD QSAR validation guideline에서 2번째 원칙은 모델의 알고리즘을 정확하게 설명하는 것이다. 모델이 어떻게 개발되었는지 그리고 어떤 방식으로 작동하는지를 서술하는 부분이다. 아래 내용을 보면 어떤 모델인지 먼저 설명하고 있다. 이 모델은 3가지 답안만 제시할 수 있다: hepatotoxic (간 독성 있음) / non-hepatotoxic (간 독성 없음) / no prediction (알 수 없음)어떤 구조가 입력되도 3가지로 답변이 제공된다. 모델은 decision tree (의사결정나무). structural alerts (구조 경고)에.. 2024. 11. 17. 간 독성 AI 모델을 해부해봤습니다 (데이터) VEGA에서 방부제의 간 독성을 예측해봤다. 간 독성을 알려준 AI 모델은 어떻게 생겼을까? 사람의 안전과 직결된 결과를 제공해주는 AI 모델이기 때문에 이와 관련된 가이드라인이 여러가지 존재한다. 특히 예측 결과의 투명성이 중요하다. 이번에 사용해본 AI 모델 같은 경우 모델을 이해하기 위한 핵심 정보를 공개하도록 장려하고 있다. 사실 이 부분이 공개가 안된다면 믿고 사용하기 어렵다. 화학물질 구조로 실험값을 예측하는 모델을 QSAR 모델이라고 부른다. 이 모델의 세부 정보를 보고하는 양식이라고 해서 QMRF라고 하는 정보가 있다. QSAR Model Reporting Format의 약어다. VEGA는 개발된 모델의 QMRF 정보를 상세하게 기록해서 공개하고 있다. 그러니 투명성이 굉장히 높은 프로그램.. 2024. 11. 16. 이전 1 2 3 4 다음
