豆包手機助手發聲:無法截屏銀行鍵盤等受保護內容體育·APP,??二生三??現(xiàn)在下載安裝,周周送518?;?dòng)娛樂(lè)在線直播平臺(tái),讓玩家遊戲的同時(shí),觀賞美女主播表演、參與互動(dòng)遊戲。設(shè)有多個(gè)真人荷官桌臺(tái),包括:百家樂(lè)、競(jìng)咪、龍虎、骰寶、輪盤等多款遊戲。
相關(guān)推薦: 1.2.3.4.5.6.7.8.9.10.11.12.13.14.15.16.17.18.19.20.21.22.23.24.25.26.27.28.29.30. 無(wú)法截屏銀行安全鍵盤等聲明受保護(hù)的豆包等受界麵內(nèi)容。但該方法以及權(quán)限無(wú)法讀取到包括銀行APP在內(nèi)的手機(jī)任何三方應(yīng)用設(shè)置為Secure的內(nèi)容。豆包手機(jī)助手采用的助手是原生截屏接口,豆包手機(jī)助手讓三方應(yīng)用運(yùn)行在虛擬屏空間中。發(fā)聲且無(wú)法截屏三方應(yīng)用Secure標(biāo)記頁(yè)麵,無(wú)法需要截圖上傳雲(yún)端處理,截屏鍵盤因此每一步操作後都需要再截圖上傳給雲(yún)端大模型分析,銀行也是保護(hù)同樣的實(shí)現(xiàn)原理,都可以自己寫一個(gè)帶有受保護(hù)頁(yè)麵的內(nèi)容APK進(jìn)行測(cè)試,也會(huì)使用READ_FRAME_BUFFER等係統(tǒng)權(quán)限。豆包等受
網(wǎng)友提到的手機(jī)READ_FRAME_BUFFER權(quán)限,僅能被用戶查看,助手
需要強(qiáng)調(diào)的發(fā)聲是,這是無(wú)法對(duì)豆包手機(jī)助手技術(shù)實(shí)現(xiàn)方式的錯(cuò)誤解讀,完成任務(wù)後不會(huì)存儲(chǔ)在雲(yún)端。截屏鍵盤所以需要READ_FRAME_BUFFER權(quán)限,還用了CAPTURE_SECURE_VIDEO_OUTPUT權(quán)限,
任何持有豆包手機(jī)助手技術(shù)預(yù)覽版的用戶,有網(wǎng)友稱“豆包手機(jī)助手通過(guò)READ_FRAME_BUFFER權(quán)限,
12月13日消息,
豆包手機(jī)助手官方表示,
CAPTURE_SECURE_VIDEO_OUTPUT權(quán)限的使用,可以獲取銀行安全鍵盤等受保護(hù)的界麵內(nèi)容”。上傳至雲(yún)端大模型的截屏僅用於視覺理解和推理,
豆包手機(jī)助手操作手機(jī)功能的實(shí)現(xiàn)原理是:用戶下達(dá)指令-截屏發(fā)送給雲(yún)端豆包大模型-模型理解後返回具體操作-手機(jī)端執(zhí)行操作指令,
所以需要此權(quán)限將受保護(hù)的內(nèi)容正常展示給用戶並能夠被用戶操作,讓AI講解頁(yè)麵內(nèi)容,不斷重複直到完成任務(wù)。嚴(yán)格遵循應(yīng)用聲明的Secure標(biāo)記,受保護(hù)的頁(yè)麵仍會(huì)標(biāo)記為Secure,豆包手機(jī)助手僅在有用戶指令時(shí)才會(huì)開始截屏,用戶無(wú)法查看和操作??梢则?yàn)證AI是無(wú)法看到的。每步操作間隔約為3秒鍾。目前國(guó)內(nèi)多家手機(jī)廠商具有AI操作能力的助手產(chǎn)品,受限於芯片性能暫時(shí)無(wú)法運(yùn)行在手機(jī)端側(cè),
由於分析界麵所需的大模型參數(shù)較大,是因?yàn)槭鼙Wo(hù)的頁(yè)麵在虛擬屏的投影(即點(diǎn)擊靈動(dòng)島打開的粉色邊緣的應(yīng)用界麵)中會(huì)顯示為黑屏,無(wú)法被截屏。但在投影後,
為了獲取虛擬屏中運(yùn)行的應(yīng)用截圖內(nèi)容(對(duì)應(yīng)方法WindowManagerService.captureDisplay)提供給豆包大模型推理,從GPU渲染的圖形緩衝區(qū)拿走圖像數(shù)據(jù),是為了讓AI可以在後臺(tái)完成操作,不需要走上層的截圖API。


