В недавнем исследовании, опубликованном в журнале «Анналы семейной медицины», исследователи оценили эффективность Chat Generative Pretrained Transformer (ChatGPT) при обобщении медицинских рефератов в помощь врачам. Исследование было направлено на определение качества, точности и предвзятости сводок, генерируемых ChatGPT, что дало представление о его потенциале как инструмента для обработки огромных объемов медицинской литературы в условиях ограниченности времени, с которой сталкиваются специалисты здравоохранения.
Высокие оценки качества и точности
В исследовании использовался ChatGPT для сжатия 140 медицинских рефератов из 14 различных журналов, сократив содержание в среднем на 70%. Несмотря на некоторые неточности и галлюцинации, обнаруженные в небольшой части сводок, врачи высоко оценили качество и точность сводок. Результаты показывают, что ChatGPT может помочь врачам эффективно просматривать медицинскую литературу, предлагая краткие и точные резюме среди огромного объема информации.
Исследователи выбрали по 10 статей из каждого из 14 журналов, посвященных различным медицинским темам и структурам. Они поручили ChatGPT обобщить эти статьи и оценить качество, точность, предвзятость и актуальность полученных резюме в десяти медицинских областях. Исследование показало, что ChatGPT успешно сокращает медицинские рефераты в среднем на 70%, получая высокие оценки от рецензентов-врачей за качество и точность.
Последствия для здравоохранения
Несмотря на высокие рейтинги, исследование выявило серьезные неточности и галлюцинации в небольшом количестве аннотаций. Эти ошибки варьировались от пропуска важных данных до неправильной интерпретации дизайна исследования, что потенциально могло изменить интерпретацию результатов исследования. Тем не менее, эффективность ChatGPT при обобщении медицинских рефератов была признана надежной с минимальной предвзятостью.
Хотя ChatGPT продемонстрировал четкое соответствие человеческим оценкам на уровне журнала, его эффективность в определении соответствия отдельных статей конкретным медицинским специальностям была менее впечатляющей. Это несоответствие подчеркивает ограничение способности ChatGPT точно определять релевантность отдельных статей в более широком контексте медицинских специальностей.
Исследование дает ценную информацию о потенциале искусственного интеллекта, в частности ChatGPT, в оказании помощи врачам в эффективном просмотре медицинской литературы. Хотя ChatGPT демонстрирует многообещающие результаты в качественном и точном обобщении медицинских рефератов, необходимы дальнейшие исследования для устранения ограничений и повышения его эффективности в конкретных медицинских контекстах.
Будущие исследования могут быть сосредоточены на совершенствовании способности ChatGPT распознавать актуальность отдельных статей для конкретных медицинских специальностей. Кроме того, усилия по устранению неточностей и галлюцинаций в создаваемых сводках могут еще больше повысить полезность инструментов искусственного интеллекта в медицинских учреждениях.
Источник: https://www.cryptopolitan.com/chatgpt-in-summarizing-medical-abstracts/