간 독성 AI 모델을 해부해봤습니다 (데이터)

VEGA에서 방부제의 간 독성을 예측해봤다. 간 독성을 알려준 AI 모델은 어떻게 생겼을까? 사람의 안전과 직결된 결과를 제공해주는 AI 모델이기 때문에 이와 관련된 가이드라인이 여러가지 존재한다. 특히 예측 결과의 투명성이 중요하다. 이번에 사용해본 AI 모델 같은 경우 모델을 이해하기 위한 핵심 정보를 공개하도록 장려하고 있다. 사실 이 부분이 공개가 안된다면 믿고 사용하기 어렵다.

 

화학물질 구조로 실험값을 예측하는 모델을 QSAR 모델이라고 부른다. 이 모델의 세부 정보를 보고하는 양식이라고 해서 QMRF라고 하는 정보가 있다. QSAR Model Reporting Format의 약어다. VEGA는 개발된 모델의 QMRF 정보를 상세하게 기록해서 공개하고 있다. 그러니 투명성이 굉장히 높은 프로그램이다.

VEGA QMRF

 

여기에서 인체 독성 부분에 보면 모델을 종류별로 나눠놨는데, 그 중에 간 독성 예측 모델에 대한 세부 정보를 찾아봤다. 아래 이미지에서 가장 마지막에 간독성 예측 모델의 QMRF 파일을 확인해볼 수 있다.

간 독성 모델의 QMRF

 

QMRF라고 적혀있는 부분을 클릭하면 pdf 파일이 하나 열린다. 이 문서에서 모델에 대한 모든 세부 사항을 공개하고 있다. 첫페이지에서는 간단한 프로그램에 대한 정보를 기록해두고 있다. 1번 2번은 개발한 사람 정보 및 소프트웨어에 대한 일반 정보를 정리하고 있다.

QMRF

 

3번 부터 중요하다. 아마도 OECD라는 곳의 이름은 한번쯤 들어봤을거다. 경제개발협력기구. 그런데 여기서 화학물질 안전과 연관된 다양한 문서를 발표하기도 한다. 경제랑 관련이 없는 것 같은데? 그렇긴 한데 아무튼 그런 문서를 발표한다. QSAR모델과 관련된 가이드라인도 여기서 발표를 했다. 이 가이드라인에서는 QSAR 모델을 검증하기 위해서 지켜야할 5가지 원칙을 정의하고 있다. 

https://www.oecd.org/en/publications/guidance-document-on-the-validation-of-quantitative-structure-activity-relationship-q-sar-models_9789264085442-en.html

Guidance Document on the Validation of (Quantitative) Structure-Activity Relationship [(Q)SAR] Models

 

5가지 원칙을 간략하게 소개하면 아래와 같다.

1) 예측하는 값이 뭔데? 어떤 실험 과정을 통해서 얻어진 값인지에 대한 설명

2) 모델은 어떻게 만들었는데? 개발 과정에 사용된 알고리즘에 대한 설명

3) 예측값은 믿어도 되는가? 모델의 예측 결과가 얼마나 믿을만한지에 대한 분석

4) 얼마나 잘 맞췄지? 모델의 예측 정확도를 분석한 내용

5) 그래서 구조랑 실험값이랑 무슨 상관이 있지? 모델에 사용된 구조 특성과 실험값간의 연관성을 

 

갑자기 이 내용을 장황하게 설명한 이유는

QMRF에서 이 원칙에 따라 모델의 세부 내용을 정리해놓았기 때문이다. 그래서 QMRF 3번부터 OECD 검증 가이드라인 원칙과 연계해서 모델을 상세하게 설명하고 있다. 아래 내용이 간 독성 모델의 세부내용이다. 데이터 출처도 모두 공개하고 있다.

QSAR 검증 가이드라인 1번

 

 AI 모델 개발에서 데이터는 핵심 중의 핵심이다. 아무리 기술력이 좋고 뛰어나도 데이터가 없으면 모델을 재현하는 것은 불가능하다. 그래서 사실 많은 경우 데이터를 절대로 공개하지 않는 경우가 대부분이다. 그래서 이렇게 데이터의 출처부터 모델의 세부사항을 투명하게 공개한 프로그램이 없다. 저 설명만 보고 세부사항을 어떻게 알 수 있지?

그래서 VEGA에서는 모든 데이터를 다운받을 수 있게 제공하고 있다. 바로 이 부분. 모델 왼쪽에 물음표 모양이 있다. 이 버튼을 누르면 데이터를 저장할 수 있다.

 

물음표를 누르면 보이는 이 창에서 Training set (훈련데이터)를 다운받으면 된다. 그러면 모델 개발에 사용한 모든 데이터가 저장된다. txt 파일로 저장이 되고 메모장에서 열어보면 이렇게 데이터가 보인다. 어떤 물질이 훈련(Training)에 사용되었고 어떤 물질이 검증 (Test)에 사용되었는지를 Status에 표기해놨다. 그 다음 실험 값과 예측 값이 있다. VEGA에서 훈련한 모델로 예측한 값을 같이 저장해뒀다. 그래서 이 정보만 있으면 VEGA 모델의 예측 정확도를 쉽게 계산해서 확인해 볼 수 있다.

 

txt 파일이지만 각 정보가 일정한 간격으로 나눠져 있는 것을 볼 수 있다. 이런 파일은 엑셀 파일에서 열면 자동으로 열을 구분해주기 때문에 더 보기 편해진다.

 

데이터에 대한 내용은 이렇게 확인할 수 있다. 다음 글에는 모델 개발에 대한 내용을 정리해봐야겠다.