10-летняя модель обошла две фронтирные LLM. Та же задача.

ЧТО ПРОИЗОШЛО

Дерматолог проверил две фронтирные LLM против старой CNN

Доктор Магнус Линч дал 200 очагов, подтверждённых биопсией, двум фронтирным LLM и Inception v3, свёрточной сети 2015 года. CNN дообучили примерно за двадцать минут на открытых дерматологических изображениях. Все три выбирали из одних и тех же шести диагнозов.

ГЛАВНОЕ ЧИСЛО

62%

Точность CNN на 200 очагах. У обеих LLM: 42%.

CNN угадала 125. LLM — 84 и 85.

НАСТОЯЩАЯ ПРОБЛЕМА В КОМПАНИЯХ

Что я вижу в компаниях: самая большая модель — это выбор по умолчанию

1. 01Команды сначала выбирают фронтирную LLM, потому что это известный вариант.
2. 02Никто не проверяет маленькую, специально обученную модель на той же задаче.
3. 03Без общей точки отсчёта нельзя сказать, какой вариант лучше.

ГДЕ ЭТО ЛОМАЕТСЯ НА ПРАКТИКЕ

У результата есть ограничения, и автор это признаёт

Всего 200 очагов и 30 меланом, поэтому близкие результаты нельзя ранжировать. Каждый случай LLM запускали один раз. CNN — это базовая линия, а не state of the art. LLM могли видеть открытый датасет в обучении. CNN — нет.

МОЁ МНЕНИЕ

Измеряйте, а не предполагайте.

Исследование не исходило из того, что новейшая модель победит. Три модели получили одни и те же случаи, и их результаты сравнили с истиной. Прежде чем покупать фронтирную LLM, проверьте маленькую модель на своей задаче. Сравните обе на одной базовой линии.