微軟正全面推進其人工智能戰(zhàn)略，將 Copilot 集成作為 Windows11 的核心組成部分，推出一系列生成式 AI 功能，旨在徹底改變用戶與 PC 的交互方式。新功能涵蓋語音控制、屏幕內容分析以及有限的本地自動化代理，目標是讓 Copilot 成為用戶與 PC 交互的“主要方式”。

“嘿，Copilot”:語音控制成為主流

用戶現(xiàn)在可以通過說出“嘿，Copilot”來激活 Windows PC 上的 Copilot。該功能是可選的，激活后會顯示麥克風圖標和音頻信號。微軟聲稱，語音用戶與 Copilot 的互動次數(shù)是文本用戶的兩倍，表明語音交互具有更高的用戶粘性。會話可自動或通過“再見”命令結束。

為了便捷訪問，Copilot 將被添加到 Windows 任務欄，包含一個新的按鈕用于語音和視覺工具，用戶可通過語音命令訪問 Windows 設置。微軟同時計劃提供一個純文本選項，滿足用戶無需說話即可交互的需求。

Copilot Vision:實時屏幕分析與上下文幫助

“Copilot Vision”功能現(xiàn)已在全球所有支持 Copilot 的設備上推出。該功能能夠分析屏幕上的內容，并在用戶進行照片編輯、游戲或 Office 工作期間提供上下文相關的幫助。微軟表示，Copilot Vision 可以處理和分析 Word、Excel 和 PowerPoint 中的整個文檔，提供強大的生產(chǎn)力支持。

“Copilot Actions”:有限制的自主本地代理

微軟還推出了一個名為“Copilot Actions”的測試功能，允許 Copilot 在本地計算機上處理一些簡單的任務，例如搜索 PDF 或整理照片。該功能將首先在 Copilot Labs 中以預覽版的形式面向 Insider Program 用戶推出。用戶可以隨時觀察 Copilot 的工作過程，并隨時介入干預。

微軟承認，這些基于代理的功能目前仍是有限且可能出錯的，尚無法可靠地控制復雜的軟件。鑒于研究表明基于代理的 AI 系統(tǒng)可能帶來安全風險，微軟表示，用戶測試將是提高可靠性的關鍵。

與中國初創(chuàng)公司 Manus 合作:系統(tǒng)級本地文件訪問

此外，微軟與中國初創(chuàng)公司 Manus 進行了集成。據(jù)報道，Manus 代理使用了 Anthropic 模型，內置于 Windows 資源管理器中，允許用戶只需右鍵單擊即可從本地文件創(chuàng)建網(wǎng)站。Manus 使用由 Anthropic 設計的“模型上下文協(xié)議”，實現(xiàn)了系統(tǒng)范圍內對本地內容的訪問。

聯(lián)網(wǎng)服務與游戲應用擴展

Copilot Connectors 允許用戶從 OneDrive、Outlook、Gmail 或 Google Drive 等關聯(lián)服務中提取數(shù)據(jù)。用戶可以使用“查找我的牙醫(yī)預約詳情”等提示來搜索預約、聯(lián)系人或文檔，并將結果直接導入 Word、Excel 或 PowerPoint。

在游戲領域，“Gaming Copilot” 現(xiàn)已在華碩的 Windows 掌機 ROG Xbox Ally 上推出。用戶只需按下按鈕即可激活，無需暫停游戲即可在《我的世界》等游戲中幫助導航或解釋游戲機制。

大多數(shù)新功能均可在任何支持 Copilot 的 Windows11設備上運行，但微軟推薦使用 Copilot+ 電腦以提高處理速度和執(zhí)行本地 AI 任務。只有特定的 “Click to Do” Zoom 集成功能明確要求使用 Copilot+ 電腦并參與 Windows Insider 計劃。