Система ReALM использует большие языковые модели (БЯМ) для преобразования сложной задачи разрешения референции – включения семантических отсылок в визуальные элементы на экране – в проблему исключительно языкового моделирования. Таким образом ReALM достигает значительного прироста производительности по сравнению с существующими методами.
Главная инновация ReALM состоит в реконструкция экрана при помощи проанализированных сущностей на экране и их расположения, что позволяет генерировать текстовое представление, описывающее визуальную картинку. Исследователи продемонстрировали, что этот подход в сочетании с тонкой настройкой языковых моделей под задачи разрешения референции может породить модель, превосходящую GPT-4.
Исследование указывает на возможность для языковых моделей выполнять задачи разрешения референций в ситуациях, когда использование массивных сквозных моделей невозможно из-за слишком большим временем отклика или ограничения по вычислительной мощности. Вдобавок, Apple посылает сигнал о том, что продолжает работать над улучшением Siri и других своих продуктов, https://venturebeat.com/ai/apple-researchers-develop-ai-that... Venture Beat.
Компания, которая давно перестала быть законодателем в области ИТ, теперь вынуждена догонять лидеров вроде Google, Amazon или OpenAI на стремительно меняющемся под действием искусственного интеллекта рынке. В июне, на конференции WWDC 2024 Apple должна представить новую БЯМ, некий чатбот «Apple GPT», а также другие новинки с ИИ.
Генеральный директор Apple Тим Кук https://hightech.plus/2024/03/19/apple-dogovarivaetsya-s-goo. .. сделать в этом году большой анонс в области ИИ-систем. В этот раз ему, похоже, удастся удивить всех: Apple обсуждает возможность сотрудничества с Google. Новые айфоны получат некоторые функции на основе Gemini. Рынок положительно отреагировал на союз конкурентов — акции Alphabet и Apple уже выросли на 7% и 2% соответственно.
Свежие комментарии