Авторы утверждают, что такой подход значительно улучшает качество работы моделей даже без дополнительной настройки и обучения с подкреплением. Например, модель Gemini 1.5 Pro, выпущенная Google в начале 2024 года, с помощью этого метода смогла превзойти более новую модель от OpenAI (o1-preview). Для этого Gemini просто сгенерировала 200 вариантов ответа на задачу и затем выбрала лучший.
Однако многие эксперты относятся к этой новости скептически. Они считают, что такой подход эффективен только в ситуациях, где легко определить правильность ответа. Исследователь из Университета Альберты Мэттью Гуздиал пояснил, что метод хорошо работает, когда можно быстро и четко проверить результат. В сложных задачах, таких как общий разговор с пользователем, точно определить лучший ответ крайне трудно.
С ним согласен и Майк Кук из Королевского колледжа Лондона. По его мнению, этот подход не улучшает способность модели рассуждать по-настоящему, а лишь маскирует её ошибки. Например, если модель ошибается в 5% случаев, то среди 200 вариантов ответов легко обнаружить ошибки. Это не значит, что модель стала лучше мыслить или рассуждать.
Авторы подхода сами https://techcrunch.com/2025/03/19/researchers-say-theyve-dis... ограничения своего метода. Современные рассуждающие модели требуют огромных вычислительных затрат: решение одной математической задачи обходится в тысячи долларов. Поэтому эксперты продолжают искать новые способы улучшить работу ИИ, надеясь найти более эффективные подходы.
Свежие комментарии