Согласно сообщению в Bluesky оставленному Мустафой Сулейманом (Mustafa Suleyman), который является генеральным директором Microsoft AI, ИИ-ассистент от Microsoft под названием Copilot Vision, который может анализировать информацию на экране и помогать вам использовать приложения, теперь доступен для бесплатного использования в браузере Edge. Copilot Vision назвали именно так не зря, поскольку Vision позволяет Copilot видеть экран и понимать визуально, что происходит, а именно видеть открытые приложения, окна, документы, анализировать интерфейс давать контекстные подсказки исходя из того, что видно на экране. Также в рамках Edge браузера Vision понимает голосовое общение, как называет это Microsoft для того, что им воспользоваться вам достаточно проговорить свой голосовой запрос и затем ждать ответа от Copilot.
Также, по словам Сулеймана, если вы активируете эту функцию по своему желанию то Copilot Vision сможет “буквально видеть то, что вы видите на экране”. Сулейман предлагает, чтобы Copilot Vision в буквальном смысле сразу подсказывал вам рецепт, во время приготовления пищи, или “расшифровывал” описания вакансий таким образом, чтобы «сразу переходить к подготовке к индивидуальному собеседованию или мозговому штурму сопроводительного письма». (Также не лучшая идея использовать искусственный интеллект для составления резюме). Согласно информации на странице поддержки Microsoft, “Copilot Vision позволяет выделять части экрана, для того чтобы помочь вам найти соответствующую информацию”, но на самом деле он не может переходить по ссылкам и не делает ничего от вашего имени.
Более широкие, системные функции Copilot Vision по-прежнему доступны только для подписчиков Copilot Pro. Действие Copilot Vision с подпиской выходит далеко за рамки браузера Edge, позволяя вам попросить помощи во время использования программы Adobe Photoshop или программ для редактирования видео, а также сможет провести вас через игру наподобие Minecraft, как это сделал автор статей Том Уоррен из издания The Verge в начале этого месяца.
Для того чтобы опробовать Copilot Vision, вам достаточно открыть эту ссылку в браузере Edge ведущую на сайт Microsoft. После этого вам покажут сообщение, в котором будет предложено активировать эту функцию и как только вы дадите свое разрешение, вы сможете открыть на сайте боковую панель Copilot, затем нажать на значок микрофона, и начнется ваш сеанс с Vision, о чем будет свидетельствовать соответствующий звуковой сигнал а также изменение оттенка вашего браузера.
По крайней мере, так это должно происходить. В моем случае потребовалось сделать несколько попыток, прежде чем Edge спросил, хочу ли я включить эту функцию. А когда я смог подключиться и начать сессию с Copilot Vision, элементы управления так и не появились и на момент написания материала у меня просто плавает сообщение, расположенное в нижней части браузера с надписью «Одну минуту…». Но я в своей работе использую довольно старый и маломощный ноутбук, так что результаты у вас могут отличаться.
Согласно Microsoft, компания фиксирует ответы Copilot на ваши вопросы, но при этом не собирает ваши вводимые данные, изображения или содержимое страниц во время сессии с Copilot Vision. Когда вам необходимо будет прекратить демонстрировать свой экран Copilot, вы можете завершить текущую сессию или закрыть окно браузера.
Источник: TheVerge
Смотрите также:
Новейший драйвер от Nvidia устраняет множество ошибок и сбоев
В Google Pixel Watch 4 похоже улучшится аккумулятор
Владельцы PS5 хотят играть в Xbox игры, Microsoft возглавляет чарты предзаказов Sony
Microsoft начала тестирование Copilot Vision позволяющее ИИ видеть открытые приложения и экран
Сообщения о потере пульса теперь появятся в Pixel Watch 3
Похоже это новые иконки для Office
