AI가 얼마나 좋은지

2분 읽기

한눈에:

환자의 CT 스캔이나 X-ray에 대한 자세한 설명 보고서를 빠르고 정확하게 생성하는 AI 도구는 바쁜 방사선 전문의의 업무량을 크게 덜어줄 수 있습니다.

이러한 AI 보고서는 단순히 이미지의 이상 유무를 식별하는 대신 복잡한 진단 정보, 자세한 설명, 미묘한 결과 및 적절한 불확실성 정도를 전달합니다. 간단히 말해서, 이는 방사선 전문의가 스캔에서 본 내용을 설명하는 방식을 반영합니다.

여기에서 더 많은 HMS 소식을 받아보세요

상세한 내러티브 보고서를 생성할 수 있는 여러 AI 모델이 현장에 등장하기 시작했습니다. 이와 함께 이러한 도구를 정기적으로 평가하여 개발 정보를 제공하고 성과를 향상시키는 자동 채점 시스템이 등장했습니다.

그렇다면 현재 시스템은 AI 모델의 방사선 성능을 얼마나 잘 측정합니까?

8월 3일 Patterns 저널에 발표된 Harvard Medical School 연구원들의 새로운 연구에 따르면 대답은 좋지만 훌륭하지는 않습니다.

연구원들은 AI 도구가 지속적으로 개선되고 임상의가 이를 신뢰할 수 있도록 채점 시스템의 신뢰성을 보장하는 것이 중요하지만, 연구에서 테스트한 지표는 AI 보고서의 임상 오류를 안정적으로 식별하지 못했으며 그 중 일부는 중요하다고 말했습니다. 연구원들은 이번 발견이 개선의 긴급한 필요성과 도구 성능을 충실하고 정확하게 모니터링하는 충실도가 높은 채점 시스템 설계의 중요성을 강조한다고 말했습니다.

심장 건강. 영양물 섭취. 뇌 건강. 그리고 더.

팀은 AI가 생성한 내러티브 보고서에 대해 다양한 점수 지표를 테스트했습니다. 연구원들은 또한 6명의 방사선 전문의에게 AI가 생성한 보고서를 읽어보라고 요청했습니다.

분석에 따르면 인간 방사선 전문의와 비교했을 때 자동 채점 시스템은 AI 생성 보고서를 평가하는 능력이 더 나빴습니다. 그들은 AI 도구에서 발생한 임상 오류를 잘못 해석하고 경우에 따라 간과했습니다.

"AI 시스템을 정확하게 평가하는 것은 임상적으로 유용하고 신뢰할 수 있는 방사선학 보고서를 생성하기 위한 중요한 첫 번째 단계입니다."라고 HMS의 Blavatnik Institute 생의학 정보학 조교수인 연구 선임 저자인 Pranav Rajpurkar가 말했습니다.

더 나은 채점 지표를 설계하기 위해 팀은 의료 이미지에서 방사선 보고서를 자동으로 생성하는 AI 도구의 성능을 평가하기 위한 새로운 방법(RadGraph F1)을 설계했습니다.

또한 그들은 인간 방사선 전문의가 AI 모델의 성능을 평가하는 방법과 더 잘 일치하는 단일 점수로 여러 지표를 결합하는 복합 평가 도구(RadCliQ)를 설계했습니다.

연구원들은 여러 최첨단 AI 모델을 평가하기 위해 이러한 새로운 채점 도구를 사용하여 모델의 실제 점수와 가능한 최고 점수 사이에 눈에 띄는 차이를 발견했습니다.

공동 제1저자인 Rajpurkar 연구실 연구원인 Feiyang 'Kathy' Yu는 "의학 분야에서 AI를 다음 단계로 발전시키기 위해서는 진행 상황을 측정하는 것이 필수적입니다."라고 말했습니다. "우리의 정량적 분석을 통해 우리는 방사선 전문의를 강화하여 더 나은 환자 치료를 제공하는 AI에 더 가까워졌습니다."

장기적으로 연구원들의 비전은 이전에 발생하지 않았던 문제를 해결하는 능력을 포함하여 다양한 복잡한 작업을 수행하는 일반 의료 AI 모델을 구축하는 것입니다. Rajpurkar는 이러한 시스템이 진단 및 치료 결정을 돕기 위해 의료 이미지에 대해 방사선 전문의 및 의사와 유창하게 대화할 수 있다고 말했습니다.

또한 팀은 일상적인 일반 언어를 사용하여 영상 결과를 환자에게 직접 설명하고 맥락화할 수 있는 AI 보조 장치를 개발하는 것을 목표로 합니다.

Rajpurkar는 “방사선 전문의와 더 잘 협력함으로써 우리의 새로운 지표는 임상 워크플로우에 원활하게 통합되어 환자 치료를 개선하는 AI 개발을 가속화할 것입니다.”라고 말했습니다.

저자, 자금 지원, 공개

공동 저자로는 Mark Endo, Ryan Krishnan, Ian Pan, Andy Tsai, Eduardo Pontes Reis, Eduardo Kaiser, Ururahy Nunes Fonseca, Henrique Min, Ho Lee, Zahra Shakeri, Hossein Abad, Andrew Ng, Curtis P. Langlotz 및 Vasantha Kumar가 있습니다. Venugopal.