簡介
本新手指南將介紹 AutoML。如要瞭解 AutoML 與自訂訓練之間的主要差異,請參閱「選擇訓練方法」。
這項產品可以帶來下列好處:
- 假設您是一位足球隊的教練,
- 假設您在數位零售商的行銷部門工作。
- 您正在進行建築專案,需要識別建築物類型。
- 貴商家網站上有聯絡表單。
手動收錄影片、圖片、文字與表格的作業相當繁瑣又費時。試想如果可以讓電腦學習自動辨識指定內容,並在內容出現時加以標記,這樣是不是輕鬆多了?
圖片
您與建築保存委員會合作,試圖找出您所在城市中,擁有一致建築風格的社區。你有成千上萬張住家快照需要篩選。不過,手動分類所有圖片相當費時且容易出錯。幾個月前,有位實習生標記了幾百個標記,但沒有其他人查看這些資料。如果你能教電腦為你完成這項審查,那就太好了!
表格
假設您在數位零售商的行銷部門工作。您與團隊正在依據客戶人物角色,建立個人化電子郵件方案。您已建立人物角色,行銷電子郵件也準備好寄送。現在,您必須建立系統,依據零售偏好和消費行為將客戶放入各個人物角色,即使是新客戶也一樣。為了盡可能提高顧客參與度,您也想預測他們的消費習慣,以便在最佳時機傳送電子郵件。
由於您是數位零售商,因此可以取得客戶資料及其購物內容。但是新客戶怎麼辦?傳統方法可以針對長期購物的現有客戶計算這些值,但是不太能處理歷史資料很少的客戶。如果您可以建立系統預測這些值,並加快向所有客戶提供個人化行銷方案的速度,那麼呢?
幸好,機器學習和 Vertex AI 非常適合用於解決這類問題。
文字
貴商家網站上有聯絡表單。您每天都會收到許多表單訊息,其中許多訊息是可以處理的,因為所有訊息都同時湧入,很容易拖慢處理速度。不同員工會處理不同的訊息類型。如果能運用自動化系統分類訊息,對正確的處理人員顯示正確的留言,那就太好了。
您需要運用特定系統審視留言,並決定留言性質屬於投訴、稱讚過往服務、有意深入瞭解貴公司、預約時間,抑或是想與公司建立合作關係。
影片
而且您收集了大量的比賽影片存檔,您想要從這些影片研究比賽;但要審查的影片有上百小時。肯定要花上很多人力和時間,才能看完每部影片並手動標出需要的動作片段。而且您必須在每個季節重複執行這項工作。想像一下,如果電腦模型能夠自動辨識這些動作,並在影片中出現時加以標記,那該有多方便。
以下列舉幾種目標特定情境。
- 動作辨識:找出進球、犯規、罰踢等動作。教練可藉此研究球隊的優勢和弱點。
- 分類:將每個影片鏡頭分類為半場、比賽畫面、觀眾畫面或教練畫面。方便教練瀏覽感興趣的影片片段。
- 物件追蹤:追蹤足球或球員。教練可透過這項功能取得球員的統計資料,例如場上熱力圖、成功傳球率等。
本指南將逐步說明 Vertex AI 如何處理 AutoML 資料集和模型,並說明 Vertex AI 旨在解決的問題類型。
公平性注意事項
Google 致力遵循負責任的 AI 做法。為達成這項目標,我們設計的 ML 產品 (包括 AutoML) 皆以公平性和以人為本的機器學習等核心原則為依歸。如要進一步瞭解建構機器學習系統時,如何減輕偏見的最佳做法,請參閱包容性機器學習指南 - AutoML
為何 Vertex AI 是解決這個問題的最佳工具?
傳統程式設計要求程式設計人員為電腦指定逐步操作說明以供遵循,不過,請考慮在足球比賽中識別特定動作的用途。顏色、角度、解析度和光線的變化非常多,因此需要編寫太多規則才能告訴機器如何做出正確的決定。您可能很難想像要從何處著手。或者,客戶的留言內容廣泛涉及各種字彙與結構,組合之多,難以運用一組簡單的規則進行擷取。如果您嘗試建立手動篩選條件,很快就會發現無法將大部分客戶評論分類。您需要的系統必須能適用於各種評論。如果一連串特定規則的範圍必定會以指數方式擴大,您就需要一個能從範例中學習的系統。
幸好,機器學習可以解決這些問題。
Vertex AI 的運作方式
Vertex AI 會執行監督式學習作業,以達成所選結果。演算法和訓練方法的具體細節會因資料類型和用途而異。機器學習有許多不同的子類別,每個子類別都能解決不同的問題,並在不同的限制下運作。
圖片
您可以使用已加上分類標籤的範例圖片訓練、測試和驗證機器學習模型,或是使用加上物件偵測標籤和定界框的範例圖片。您可以使用監督式學習訓練模型,讓模型辨識圖片中您在意的模式和內容。
表格
您以範例資料訓練機器學習模型。Vertex AI 使用表格 (結構化) 資料訓練機器學習模型,以便針對新資料進行預測。資料集中有一個名為「target」(目標) 的欄,您的模型將由此學習進行預測。有一些其他資料欄屬於輸入,稱為「features」(特徵),模型將藉此學習模式。您只要變更目標欄和訓練選項,就可以使用相同的輸入特徵建構多種類型模型。就電子郵件行銷範例而言,這表示您可利用相同的輸入特徵建構模型,但目標預測結果不同。一個模型可預測客戶的人物角色 (類別目標),另一個模型可預測客戶的每月花費 (數值目標),而另一個模型則可預測產品在未來三個月的每日需求 (一系列數值目標)。
文字
Vertex AI 可讓您執行監督式學習。這項技術需要訓練電腦,讓電腦能從標記資料中識別模式。您可以使用監督式學習訓練 AutoML 模型,以便在文字中辨識您在意的內容。
影片
您可以使用已加上標籤的影片來訓練、測試和驗證機器學習模型。有了經過訓練的模型,您就可以將新影片輸入模型,然後由模型輸出加上標籤的影片片段。影片片段會定義影片中的開始和結束時間偏移量。片段可以是整部影片、使用者定義的時間片段、自動偵測的影片畫面,或是開始時間與結束時間相同的時間戳記。標籤是模型預測的「答案」。舉例來說,在先前提到的足球用途中,每部新的足球影片都會根據模型類型,
- 經過訓練的動作辨識模型會輸出影片時間偏移,並附上「進球」、「個人犯規」等動作鏡頭的標籤。
- 經過訓練的分類模型會輸出自動偵測到的鏡頭片段,並加上「遊戲畫面」和「觀眾畫面」等使用者定義的標籤。
- 經過訓練的物件追蹤模型會在物件出現的影格中,以定界框輸出足球或球員的軌跡。
Vertex AI 工作流程
Vertex AI 採用標準機器學習工作流程:
- 收集資料:根據您想達到的成果,判斷訓練及測試模型時需要的資料。
- 準備資料:確保資料格式正確並已加上適當標籤。
- 訓練:設定參數並建構模型。
- 評估:查看模型指標。
- 部署及預測:將模型投入運用。
不過在開始收集資料之前,您需要先思考要解決的問題。這會影響資料需求。
資料準備
評估用途
先從以下問題開始著手:您想要達到什麼成果?
圖片
彙整資料集時,請務必從用途著手。您可以先從以下問題開始:
- 您希望達到什麼成果?
- 您需要辨識哪些類別或物件才能達成這個結果?
- 人類是否能識別這些類別?雖然 Vertex AI 可處理的類別數量遠超過人類可記住和指派的數量,但如果人類無法辨識特定類別,Vertex AI 也會遇到困難。
- 系統會看到並嘗試分類的資料類型和範圍為何?
表格
目標欄的資料類型為何?您可以存取多少資料? 視您的答案而定,Vertex AI 會建立必要模型來因應您的用途:
- 「二元分類」模型可預測二元成果 (兩個類別之一)。這個模型可用於是非題,例如預測客戶是否會購買訂閱。在所有其他條件相同的情況下,二元分類問題需要的資料量少於其他模型類型。
- 「多元分類」模型可由三個以上的分離類別預測一種類別。請使用此模型分類事物。就零售範例而言,您可能想建構多元分類模型,將客戶區分為不同人物角色。
- 預測模型可預測一連串值。舉例來說,身為零售商,您可能會想預測未來 3 個月的產品每日需求,以便提前適當地備妥產品庫存。
- 「迴歸」模型可預測連續值。就零售範例而言,您可能想建構迴歸模型,預測客戶下個月的消費情形。
文字
彙整資料集時,請務必從用途著手。您可以先從以下問題開始:
- 您希望達到什麼成果?
- 您需要辨識哪些類別才能達成這個結果?
- 人類是否能識別這些類別?雖然 Vertex AI 可處理的類別比人類一次記得和指派的類別還多,但如果人類無法辨識特定類別,Vertex AI 也會遇到困難。
- 哪些類型的範例最能反映系統將分類的資料類型和範圍?
影片
視您要達到的成果而定,請選取適當的模型目標:
- 如要偵測影片中的動作片段 (例如進球、犯規或罰踢),請使用動作辨識目標。
- 如要將電視畫面分類為廣告、新聞、電視節目等,請使用分類目標。
- 如要找出並追蹤影片中的物件,請使用物件追蹤目標。
收集資料
建立用途後,您必須收集資料,才能建立所需模型。
圖片
確認所需資料後,您需要設法找到資料來源。您可以先考慮貴機構收集的所有資料,或許您會發現,您本來就在收集訓練模型所需的相關資料。如果您沒有這類資料,可以手動取得,或將資料外包給第三方供應商。
每種類別應包含足夠的有標籤樣本
Vertex AI Training 訓練的每個類別/標籤至少需要 100 張圖像樣本,才能進行分類。成功辨識標籤的可能性會隨著每個標籤的高品質範例數量增加而增加;一般來說,您在訓練程序中加入的標記資料越多,模型就會越好。每個標籤至少提供 1000 個樣本。
平均分布各類別的樣本
請務必為每個類別擷取數量相近的訓練範例。即使某個標籤的資料量豐富,也建議您將資料平均分配給各個標籤。舉例來說,假設您用來建立模型的圖片中,有 80% 都是現代風格的獨棟房屋相片。在標籤分布不均的情況下,模型很可能會學到,只要一看到相片,就會安全地告訴您這是現代化的獨棟房屋,而不會冒險嘗試預測較不常見的標籤。這就像如果寫選擇題測驗時,幾乎所有正確答案都是「C」,聰明的考生很快就會發現,每次都能猜到「C」這個答案,甚至不必看問題內容。
我們瞭解,要為每個標籤找到數量相當的範例不一定可行。有些類別很難找到公正而無偏見的高品質範例。在這種情況下,您可以遵循以下經驗法則:樣本數量最少的標籤至少應有樣本數量最多的標籤 10%。所以如果最大標籤有 10,000 個樣本,最小標籤應至少有 1,000 個樣本。
擷取問題空間中的變化版本
基於類似原因,請盡量確保資料能廣納問題空間的各種變化版本。模型訓練程序看到的選項越多,越能將經驗運用到新樣本。舉例來說,如果您想將消費性電子產品的相片分類,模型在訓練期間接觸的消費性電子產品種類越多,就越有可能區分出新款平板電腦、手機或筆記型電腦,即使模型從未見過該特定型號也一樣。
將資料與模型的預期輸出結果進行比對
找出與您要進行預測的圖片相似的圖片。如果您嘗試將在下雪天拍攝的住家圖片分類,即使您已為這些圖片加上您感興趣的類別標記,但如果模型只在陽光明媚的環境下拍攝住家圖片,則模型的效能可能不會太好,因為光線和景色可能會有所不同,進而影響效能。理想情況下,訓練範例應是從您打算使用模型進行分類的相同資料集擷取的實際資料。
表格
在建立用途後,您需要收集資料以訓練模型。資料來源和準備作業,是建構機器學習模型的關鍵步驟。您可以利用現有資料解決哪些問題。您有多少可用資料?您的資料是否與您要回答的問題相關?收集資料時,請注意下列重要事項。
選取相關特徵
特徵是用於模型訓練的輸入屬性。特徵是指您的模型識別模式以進行預測的方法,因此必須跟您的問題有關。舉例來說,如果要建構模型預測信用卡交易是否為詐欺,您需要建構含有交易詳細資料的資料集,例如買家、賣家、金額、日期與時間,以及購買的項目等等。其他實用特徵可能是買家及賣家的歷史資訊,以及購買項目牽涉詐欺的頻率。還有哪些其他特徵可能有關?
我們以簡介中提過的零售電子郵件行銷用途為例,以下是您可能需要的部分特徵欄:
- 購買項目清單 (包括品牌、類別、價格、折扣)
- 購買項目數量 (過去一天、一週、一個月、一年)
- 消費總金額 (過去一天、一週、一個月、一年)
- 每項商品每日售出總數
- 每個商品的每日庫存總數
- 是否在特定日期放送促銷活動
- 已知的購物者客層資料
納入足夠資料
一般來說,擁有的訓練樣本越多,成果會越理想。所需的樣本資料量,也會隨著您要嘗試解決問題的複雜度而增加。相較於多元分類模型,二元分類模型需要的資料量較少,因為從兩個類別中預測一種類別的難度,遠低於從多個類別中預測。
沒有完美的公式,但有建議的最低範例資料量:
- 分類問題:50 列 x 特徵數量
- 預測問題:
- 5000 列 x 特徵數量
- 時間序列 ID 欄中的 10 個不重複值 x 特徵數
- 「迴歸」問題:200 x 特徵數量
擷取變化版本
您的資料集應該要廣納問題空間的各種變化版本。模型在訓練期間看到的樣本越多樣,越能夠將經驗運用到實際遇到的新樣本或較罕見的樣本。假設您的零售模型僅使用冬季購物資料進行訓練,這樣模型是否能夠成功預測夏季服飾偏好或購物行為呢?
文字
確認所需資料後,您需要設法找到資料來源。您可以先考慮貴機構收集的所有資料,或許您會發現,您本來就在收集訓練模型所需的資料。如果您沒有所需資料,可以手動取得資料,或將資料外包給第三方供應商。
每種類別應包含足夠的有標籤樣本
成功辨識標籤的機率會隨著每個標籤的高品質範例數量增加而提高;一般來說,訓練程序中標記資料越多,模型的品質就越好。所需的樣本數量也會因您要預測的資料一致性程度和目標精確度等級而異。您可以使用較少的範例來取得一致的資料集,或達到 80% 準確度,而非 97% 準確度。訓練模型,然後評估結果。請新增更多範例並重新訓練,直到達到準確度目標為止。每個標籤可能需要數百或數千個範例。如要進一步瞭解資料需求和建議,請參閱「為 AutoML 模型準備文字訓練資料」。
平均分布各類別的樣本
請務必為每個類別擷取數量相近的訓練範例。即使某個標籤的資料量豐富,也建議您將資料平均分配給各個標籤。舉例來說,假設您用來建立模型的 80% 顧客留言都是預估要求,在標籤分布不均的情況下,模型很可能會學到,只要客戶留言是估價要求,就會安全地告訴您,而不會嘗試預測較不常見的標籤。這就像如果寫選擇題測驗時,幾乎所有正確答案都是「C」,聰明的考生很快就會發現,每次都能猜到「C」這個答案,甚至不必看問題就知道答案。
要為每個標籤都找到數量差不多的範例也許不太可能,有些類別很難找到公正而無偏見的高品質範例。在這種情況下,樣本數量最少的標籤至少應有 10% 的樣本,與樣本數量最多的標籤相同。所以如果最大標籤有 10,000 個樣本,最小標籤應至少有 1,000 個樣本。
擷取問題空間中的變化版本
基於類似原因,請盡量讓資料涵蓋問題空間的各種變化版本。提供更多樣本時,模型就能更有效地推論新資料。假設您想將有關消費性電子產品的文章分類為主題。提供的品牌名稱和技術規格越多,模型就越容易找出文章的主題,即使該文章所提及的品牌並未納入訓練集也一樣。您也可以考慮為不符合任一已定義標籤的文件加入「none_of_the_above」標籤,進一步提升模型效能。
將資料與模型的預期輸出結果進行比對
找出與您要進行預測的內容類似的文字範例。如果您嘗試將詞彙和風格可能不同的玻璃吹製資訊網站,訓練成玻璃吹製資訊網站的模型,可能無法取得良好成效。理想情況下,訓練範例應是從您打算使用模型進行分類的資料集擷取的實際資料。
影片
建立用途之後,您必須收集能讓您用來建立指定模型的影片資料。根據您收集的訓練資料,您可以知道能解決哪類型的問題。可以使用多少部影片?影片是否包含足夠的範例,讓模型預測您想要的內容?收集影片資料時,請注意下列事項。
納入足夠的影片
一般來說,資料集中的訓練影片越多,成效就越好。推薦影片的數量也會隨著您要解決的問題複雜度而增加。舉例來說,在分類作業中,相較於多標籤問題 (從多個類別中預測一或多個類別),二元分類問題 (從兩個類別中預測一種類別) 需要的影片資料較少。
您要執行的動作複雜度,也會影響所需的影片資料量。以足球分類用途為例,這類用途是建構能辨識動作鏡頭的模型,而非訓練能分類不同游泳類型的模型。舉例來說,如果要區分蛙泳、蝶泳、仰泳等,就需要更多訓練資料來識別不同的泳姿,以利模型學習如何準確識別各類型。請參閱「準備影片資料」一文,瞭解動作辨識、分類和物件追蹤功能所需的最少影片資料量。
由於需要納入的影片資料量可能高於您目前擁有的,因此不妨考慮透過第三方供應商補足其他影片。舉例來說,假如您的遊戲動作 ID 模型不夠,可以購買或取得其他蜂鳥影片。
平均分配每個類別的影片
請為每個類別提供數量差不多的訓練範例,原因如下:假設訓練資料集中有 80% 都是以進球為主的足球影片,只有 20% 是個人犯規或點球的影片,在類別分布不均的情況下,您的模型最有可能預測指定動作是進球。這就像如果寫選擇題測驗時,80% 的正確答案都是「C」,聰明的模型很快就會發現猜「C」的命中率很高。
要為每個類別都找到平均數目差不多的影片也許不太可能,而且有些類別甚至很難找到公正而無偏見的高品質範例。建議您遵循 1:10 的比例;也就是說,如果最大的類別包含 10,000 部影片,則最小的類別至少應有 1,000 部。
擷取變化版本
您的影片資料應該要廣納目標空間的各種變化版本。模型在訓練期間看到的樣本越多樣,越能夠將經驗運用到實際遇到的新樣本或較罕見的樣本。以本文提到的足球動作分類模型來說,您應該要納入各種攝影角度、白天及夜晚光線下的動作,以及眾多不同的球員動作。讓模型接觸多元資料,有助於提升模型辨別不同動作的能力。
將資料與理想的輸出進行比對

找到視覺效果上與您預計輸入到模型中進行預測的影片類似的訓練影片。舉例來說,假如您的所有訓練影片都是在冬天或晚上拍攝,則這些環境中的光線和顏色模式將會影響您的模型。如果您日後使用這個模型來測試夏天或白天拍攝的影片,可能就無法得到準確的預測。
請考量以下額外因素:影片解析度、每秒畫格數、攝影機角度、背景。
準備資料
圖片
決定好要手動或自動進行資料分割後,您可以使用下列任一方法在 Vertex AI 中新增資料:
表格
您識別自己的可用資料後,就需要確保這些資料已經就緒進行訓練。如果資料存有偏見,或含有遺漏或錯誤值,會影響模型的品質。開始訓練模型前,請考量下列事項。瞭解詳情。
預防資料外洩及訓練服務偏移
資料外洩是指您在訓練期間使用的輸入特徵,「洩漏」您嘗試預測目標的相關資訊,而這些資訊在模型實際服務時是無法取得的。若其中一項輸入特徵與目標欄具有高度關聯性,就可以偵測到此項問題。例如若您正建構模型,預測客戶下個月是否會註冊訂閱,而其中一項輸入特徵是該客戶的未來訂閱付款資訊。這在測試時可能會產生出色的模型效能,但是在實際工作環境部署時則並非如此,因為服務時並無法取得未來訂閱付款資訊。
訓練服務偏移是指訓練期間使用的輸入特徵,與提供給模型服務時使用的輸入特徵不同,造成在實際工作環境的模型品質不佳。例如建構模型預測每小時溫度,但訓練時使用的資料僅含每週溫度。另一個範例:在預測學生退學率時總是在訓練資料提供學生成績,但是服務時卻未提供此項資訊。
瞭解您的訓練資料,是預防資料外洩及訓練服務偏移的重要關鍵:
- 使用任何資料前,請確保自己瞭解資料意義,以及是否應使用資料作為特徵
- 在「訓練」分頁中查看關聯性。高關聯性應加以標記進行審查。
- 訓練服務偏移:確保您向模型提供的輸入特徵,也能在服務時以完全相同的形式取得使用。
清除遺漏、不完整及不一致的資料
樣本資料出現遺漏或不正確的值是常見的,因此,請花時間檢閱其中內容,可能的話,請在用於訓練之前提升資料品質。遺漏值越多,資料對機器學習模型訓練的實用性就越低。
- 檢查資料是否有遺漏值,並盡可能修正這些值。如果資料欄設為可為空值,請將值留空。Vertex AI 可處理缺少的值,但如果所有值皆可用,您更有可能獲得最佳結果。
- 如要進行預測,請確認訓練資料列之間的間隔一致。Vertex AI 可以填補缺少的值,但如果所有資料列都已提供,您更有可能獲得最佳結果。
- 請修正或刪除資料錯誤或雜訊以清除資料。請讓資料具有一致性:檢閱拼字、縮寫和格式。
匯入後分析資料
Vertex AI 會在資料集匯入後提供資料集總覽。請檢閱您匯入的資料集,確保每個欄都有正確的變數類型。Vertex AI 會根據欄值自動偵測變數類型,但建議您檢閱每個欄。您也應該檢閱每個欄的「是否可以為空值」;此條件可判定欄是否可擁有遺漏或 NULL 值。
文字
決定好要手動或自動進行資料分組後,您可以使用下列任一方法在 Vertex AI 中新增資料:
影片
將要納入資料集的影片都收集完成之後,您還必須確保影片包含與影片片段或定界框相關聯的標籤。在動作辨識中,影片片段是時間戳記,而在分類中,片段可以是影片鏡頭、片段或整部影片。在物件追蹤中,標籤會與定界框建立關聯。
為什麼我的影片需要定界框和標籤?
針對物件追蹤,Vertex AI 模型如何學習辨識模式?這就是定界框和標籤在訓練期間的任務。以足球為例,每部範例影片都必須在您想偵測的物件周圍畫出定界框。而且您還需要為這些定界框指派「person」和「ball」等標籤,否則模型就不知道要找什麼。為範例影片畫定界框及指派標籤可能很耗費時間;
如果資料尚未加上標籤,您也可以上傳未標示的影片,然後使用 Google Cloud 主控台套用邊框和標籤。詳情請參閱「使用 Google Cloud 控制台標示資料」。
訓練模型
圖片
想想 Vertex AI 如何運用資料集建立自訂模型
您的資料集包含訓練集、驗證集和測試集。如果您未指定分割方式 (請參閱「準備資料」),Vertex AI 會自動使用 80% 的圖片進行訓練、10% 進行驗證,最後的 10% 用於測試。
訓練集
絕大多數的資料都應該在訓練集中。這是模型在訓練期間會「看到」的資料:訓練集用於學習模型的參數,也就是類神經網路節點之間的連結權重。
驗證集
驗證集 (有時也稱為「dev」集) 也會在訓練程序中使用。模型學習架構在訓練程序的每個迭代期間納入訓練資料後,會使用模型在驗證集上的效能,調整模型超參數 (指定模型結構的變數)。如果您嘗試使用訓練集來調整超參數,模型很可能會過度專注於訓練資料,並難以推廣至與訓練資料不完全相符的範例。使用較新穎的資料集微調模型結構,可讓模型更能推廣。
測試集
測試集完全不參與訓練程序。模型完成完整訓練後,我們會使用測試集為模型帶來全新挑戰。模型在測試集上的效能,可讓您瞭解模型在實際資料上的表現。
手動分割
您也可以自行分割資料集。如果您想進一步控管這個程序,或是有特定範例想納入模型訓練生命週期的某個部分,手動分割資料會是個不錯的選擇。
表格
資料集匯入後,下一步就是訓練模型。Vertex AI 會以訓練預設產生可靠的機器學習模型,但您可能希望依據本身用途調整部分參數。
選擇用於訓練的特徵欄數量越多越好,但請檢閱每個欄以確保適合訓練使用。選擇特徵時請注意下列事項:
- 請勿選擇會產生雜訊的特徵欄,例如每個列有不重複值的隨機指派 ID 欄。
- 請確保自己瞭解每個特徵欄及其值。
- 如果您由單一資料集建立多個模型,請移除不屬於目前預測問題的目標欄。
- 請回想公平性原則:您訓練模型時使用的特徵,是否可能為邊緣化群組造成偏差或不公平的決策?
Vertex AI 如何使用您的資料集
您的資料集會分為訓練、驗證及測試集。Vertex AI 會根據您要訓練的模型類型,套用預設的切割方式。如有需要,您也可以指定分割 (手動分割)。詳情請參閱「AutoML 模型資料分割作業簡介」。
訓練集
絕大多數的資料都應該在訓練集中。這是模型在訓練期間會「看到」的資料:訓練集用於學習模型的參數,也就是類神經網路節點之間的連結權重。
驗證集
驗證集 (有時也稱為「dev」集) 也會在訓練程序中使用。模型學習架構在訓練程序的每個迭代期間納入訓練資料後,會使用模型在驗證集上的效能,調整模型超參數 (指定模型結構的變數)。如果您嘗試使用訓練集來調整超參數,模型很可能會過度專注於訓練資料,並難以推廣至與訓練資料不完全相符的範例。使用較新穎的資料集微調模型結構,可讓模型更能推廣。
測試集
測試集完全不參與訓練程序。模型完全完成訓練後,Vertex AI 會將測試集用於模型的全新挑戰。模型在測試集上的效能,可讓您瞭解模型在實際資料上的表現。
文字
想想 Vertex AI 如何運用資料集建立自訂模型
您的資料集包含訓練集、驗證集和測試集。如果您未按照「準備資料」一節所述指定分割方式,Vertex AI 會自動使用 80% 的內容文件進行訓練、10% 進行驗證,10% 進行測試。
訓練集
絕大多數的資料都應該在訓練集中。這是模型在訓練期間會「看到」的資料:訓練集用於學習模型的參數,也就是類神經網路節點之間的連結權重。
驗證集
驗證集 (有時也稱為「dev」集) 也會在訓練程序中使用。模型學習架構在訓練程序的每個迭代期間納入訓練資料後,會使用模型在驗證集上的效能,調整模型超參數 (指定模型結構的變數)。如果您嘗試使用訓練集來調整超參數,模型很可能會過度專注於訓練資料,並難以推廣至與訓練資料不完全相符的範例。使用較新穎的資料集微調模型結構,可讓模型更能推廣。
測試集
測試集完全不參與訓練程序。模型訓練完成後,我們會使用測試集為模型帶來全新挑戰。模型在測試集上的效能,可讓您瞭解模型在實際資料上的表現。
手動分割
您也可以自行分割資料集。如果您想進一步控管這個程序,或是有特定範例想納入模型訓練生命週期的某個部分,手動分割資料會是個不錯的選擇。
影片
訓練影片資料準備完成後,您就可以開始建立機器學習模型。請注意,您可以在同一個資料集中為不同的模型目標建立註解集。請參閱「建立註解集」。
Vertex AI 的優點之一就是預設參數能引導您建立可靠的機器學習模型,但您可能需要根據資料品質和想要的結果來調整參數,例如:
- 預測類型:影片處理的精細程度。
- 如果您要分類的標籤對動作變化敏感 (例如動作辨識),影格速率就很重要。舉例來說,跑步和走路。每秒影格數 (FPS) 較低的走路短片可能看起來像跑步。至於物件追蹤,它也會對影格速率敏感。基本上,被追蹤的物件在相鄰影格之間必須有足夠的重疊。
- 物件追蹤的解析度比動作辨識或影片分類更重要。如果物體很小,請務必上傳高解析度影片。目前的管道會在一般訓練時使用 256x256,如果使用者資料中有太多小物件 (面積小於圖片面積的 1%),則會使用 512x512。建議使用至少 256p 的影片。使用較高解析度的影片可能無法改善模型效能,因為系統會在內部將影片影格降採樣,以加快訓練和推論速度。
評估、測試及部署模型
評估模型
圖片
模型訓練完成後,您會收到一份模型效能摘要。按一下「評估」或「查看完整評估」,即可查看詳細分析。
為模型除錯的重點在於針對資料進行除錯,而非針對模型。在您評估將模型推送至實際工作環境前後的效能時,如果模型開始出現異常行為,請回頭檢查資料,以確認是否有需要改進之處。
我可以在 Vertex AI 中執行哪些類型的分析?
在 Vertex AI 評估部分,您可以透過模型的測試樣本輸出內容和常見的機器學習指標來評估自訂模型的效能。在本節中,我們將說明這些概念的含義。
- 模型輸出
- 分數門檻
- 真陽性、真陰性、偽陽性和偽陰性
- 精確度和喚回度
- 精確度/喚回率曲線
- 平均精確度
如何解讀模型的輸出內容?
Vertex AI 會從測試資料提取樣本,為您的模型帶來全新考驗。模型會針對每個樣本輸出一串數字,用於表達每個標籤與該樣本的相關程度。數字越大,表示模型判斷標籤適用於該文件的信心就越高。
什麼是分數門檻?
我們可以設定分數門檻,將這些機率轉換成二元的「開/關」值。分數門檻是指模型指派測試項目的類別時必須達到的信心程度。 Google Cloud 控制台中的分數門檻滑桿是一種視覺工具,用於測試資料集中所有類別和個別類別的不同門檻的影響。如果分數門檻偏低,模型會將較多圖片進行分類,但會在處理過程中產生將幾張圖片分類錯誤的風險。如果分數門檻偏高,模型會將較少的圖片進行分類,但是將圖片分類錯誤的風險也較小。您可以在 Google Cloud 控制台中調整每個類別的門檻來進行實驗。然而,在實際工作環境中使用模型時,則必須採用您認為效能最高的門檻。
真陽性、真陰性、偽陽性、偽陰性分別是什麼?
套用分數門檻後,模型所做的預測分為以下四種類別的其中一種:
您認為效能最高的門檻。
我們可以使用這些類別來計算精確度和喚回率,這兩個指標能協助我們衡量模型的有效性。
精確度和喚回率是什麼?
精確度和喚回率能協助我們瞭解模型擷取資訊的效能,以及模型漏掉的資訊量。精確度可透過所有獲指派標籤的測試樣本來衡量實際上應使用該標籤來進行分類的樣本數量。喚回度會告訴我們,在所有應已獲指派該標籤的測試樣本中,有多少樣本實際上已獲指派該標籤。
我應該以精確度還是喚回率進行最佳化調整?
視用途而定,您可能需要針對精確度或喚回率進行最佳化。決定最適合您的做法時,請考慮下列兩種用途。
用途:圖片中的隱私權
假設您要建立一個能夠自動偵測敏感資訊並加以模糊處理的系統。
在這種情況下,偽陽性是指不需模糊處理的內容遭到模糊處理,雖然令人困擾,但不會造成損害。
在這種情況下,偽陰性是指需要模糊處理的資訊未經過模糊處理,例如信用卡,這可能導致身分資訊遭到盜用。
在這種情況下,您應該要針對喚回率進行最佳化。這項指標會針對所有已完成的預測衡量遺漏數量。高喚回度的模型較有可能標示相關程度不高的範例。若類別包含的訓練資料稀少,就非常適合使用喚回度。
用途:圖庫搜尋
假設您想建立一個系統,找出特定關鍵字的最佳相片素材。
在此情況下,傳回不相關圖片就是偽陽性。由於您的產品自豪只會傳回最相符的圖片,因此這會是重大失敗。
在這種情況下,偽陰性是指系統未能傳回關鍵字搜尋的相關圖片。許多搜尋字詞都有成千上萬張相片可能符合,因此這並無妨。
在這種情況下,您應針對精確度進行最佳化。這項指標會針對所有已完成的預測衡量其正確程度。精確度越高的模型,只為最相關的範例加上標籤的可能性越高,若您的類別在訓練資料中屬於常見類別,非常適合採用這種方式。
如何使用混淆矩陣?
如何解讀精確度/喚回率曲線?
您可以運用分數門檻工具瞭解所選的分數門檻對精確度和喚回度有何影響。拖曳分數門檻列上的滑桿時,您可以看到門檻將您置於精確度和喚回度取捨曲線上的哪一個位置,以及該門檻對精確度和喚回度分別造成什麼樣的影響 (若是多類別模型,圖上的精確度和喚回度代表唯一用於計算精確度和喚回度指標的標籤,在傳回的標籤集中是分數最高的標籤)。這可以協助您在偽陽性和偽陰性之間找到良好的平衡點。
選擇模型整體可接受的門檻之後,您可以按一下各個標籤,查看門檻落在其標籤精確度和喚回度曲線上的哪一個位置。在某些情況下,這可能表示少數標籤出現許多不正確的預測,這種情況可以協助您決定選擇根據標籤自訂且以類別為準的門檻。舉例來說,假設您查看房屋資料集,發現門檻 0.5 用於每種圖片類型都能發揮合理的精確度和喚回率,唯獨「Tudor」例外,或許是因為這個類別非常籠統。於是,這個類別就會出現相當多的偽陽性。在這種情況下,您可以決定在呼叫預測所用的敏感內容類別時,只有「Tudor」這一項採用 0.8 的門檻。
何謂平均精確度?
精確度和喚回度曲線下面積是相當實用的模型準確度指標。這項指標會衡量模型使用所有分數門檻的執行效益。在 Vertex AI 中,這項指標稱為「平均精確度」。這項分數越接近 1.0,代表模型的測試集表現效能越好;若模型隨機猜測每個標籤,平均精確度大約會是 0.5。
表格
模型訓練完成後,您會收到一份成效摘要。模型評估指標是依據模型對部分資料集 (測試資料集) 執行的成效。在判斷模型是否已準備好搭配實際資料使用時,請考量幾個重要指標和概念。
分類指標
分數門檻
假設有一個機器學習模型,要預測客戶明年是否會購買夾克。模型在預測特定客戶是否購買夾克前,需要具備多高的信心?在分類模型中,每項預測都會獲得「信心分數」,這是對模型確信其預測類別正確無誤的數值評估。「分數門檻」是指判定特定分數轉換為是或否決策的數值,也就是指達到這樣的值時,模型會表示「是,此項信心分數夠高,認為此客戶明年將會購買外套」。
如果分數門檻偏低,模型就有可能將影片片段分類錯誤。因此指定分數門檻時應以實際用途為依據。
預測結果
套用分數門檻後,模型所做的預測分為以下四種類別的其中一種。為了瞭解這些類別,請再次假設夾克二元分類模型。在此範例中,正類 (模型嘗試預測的類別) 為客戶「將會」在明年購買夾克。
- 真陽性:模型正確預測正類。模型正確預測客戶購買夾克。
- 偽陽性:模型未正確預測正類。模型預測客戶會購買夾克,但客戶並未購買。
- 真陰性:模型正確預測負類。模型正確預測客戶不會購買夾克。
- 偽陰性:模型未正確預測負類。模型預測客戶不會購買夾克,但客戶購買了。
精確度和喚回率
精確度和喚回率指標可協助您瞭解模型擷取資訊的效能,以及模型漏掉的資訊量。進一步瞭解查準率和查全率。
- 精確度是指正確正向預測的比例。在客戶購物的所有預測中,有多少比例是實際購物?
- 喚回率:模型正確預測出含有此標籤的列的比例。在所有可識別的客戶購物中,比例是多少?
視用途而定,您可能需要針對精確度或喚回率進行最佳化。
其他分類指標
- AUC PR:精確度和喚回度 (PR) 曲線下的面積。這個值的範圍從零到一,值越大代表模型品質越好。
- AUC ROC:接收者操作特徵 (ROC) 曲線下的面積。範圍從零到一,值越大代表模型品質越高。
- 準確率:模型產生的正確分類預測比例。
- 對數損失:模型預測與目標值之間的交叉熵。範圍從零到無限大,值越低代表模型品質越高。
- F1 分數:精確度與喚回度的調和平均數。如果您要在精確度與喚回度之間取得平衡,且類別分布不均,F1 這個指標很有用。
預測和迴歸指標
模型建構完成後,Vertex AI 會提供各種標準指標供您檢閱。評估模型沒有所謂的完美解答;選擇評估指標時,應考量您的問題類型,以及您希望模型達成的成果。下列清單概略說明 Vertex AI 可提供的部分指標。
平均絕對誤差 (MAE)
MAE 是目標與預測值之間的平均絕對差異。這項指標可在一組預測中衡量誤差的平均幅度,也就是目標與預測值之間的差異。由於 MAE 使用絕對值,因此不會考量關係方向,也不會顯示效能不彰或效能優異。評估 MAE 時,值越小代表模型品質越高 (0 代表完美預測因子)。
均方根誤差 (RMSE)
RMSE 是指目標與預測值之間均方差的平方根。RMSE 對離群值比 MAE 更敏感,所以如果您擔心大型誤差,RMSE 可作為更實用的評估指標。和 MAE 一樣,值越小代表模型品質越高 (0 代表完美預測因子)。
均方根對數誤差 (RMSLE)
RMSLE 是對數尺度的 RMSE。RMSLE 對相對誤差的敏感度高於絕對誤差,對效能不彰的關注程度則高於效能優異。
觀察到的分位數 (僅限預測)
針對指定的目標分位數,觀察到的分位數會顯示實際觀察到的值低於指定分位數預測值的實際分數。觀察到的分位數會顯示模型與目標分位數的距離或相似程度。兩個值之間的差異越小,代表模型品質越高。
經調整的彈珠機損失 (僅限預測)
評估指定目標分位數的模型品質。數字越低,代表模型品質越高。您可以比較不同百分位數的經過調整的彈珠檯損失值指標,藉此判斷模型在不同百分位數之間的相對準確度。
文字
模型訓練完成後,您會收到一份模型效能摘要。如要查看詳細分析,請按一下「評估」或「查看完整評估」。
開始評估模型之前該注意哪些事項?
為模型除錯的重點在於針對資料進行除錯,而非針對模型。在您評估將模型推送至實際工作環境前後的效能時,如果模型開始出現異常行為,請回頭檢查資料,以確認是否有需要改進之處。
我可以在 Vertex AI 中執行哪些類型的分析?
在 Vertex AI 評估部分,您可以使用模型的測試樣本輸出內容和常見的機器學習指標,評估自訂模型的效能。本節將說明下列各個概念的意義:
- 模型輸出
- 分數門檻
- 真陽性、真陰性、偽陽性和偽陰性
- 精確度和喚回度
- 精確度/喚回度曲線
- 平均精確度
如何解讀模型的輸出內容?
Vertex AI 會從測試資料中提取示例,為您的模型帶來新挑戰。模型會針對每個樣本輸出一串數字,用於表達每個標籤與該樣本的相關程度。數字越大,表示模型判斷標籤適用於該文件的信心就越高。
什麼是分數門檻?
分數門檻可讓 Vertex AI 將機率轉換為二元的「開/關」值。分數門檻是指模型指派測試項目的類別時必須達到的信心程度。控制台中的分數門檻滑桿是一種視覺工具,用於測試資料集中不同門檻的影響。在上述範例中,如果我們將所有類別的分數門檻設為 0.8,系統會指派「Great Service」和「Suggestion」,但不會指派「Info Request」。如果分數門檻偏低,模型會將較多的文字項目進行分類,但會在處理過程中產生將較多文字項目分類錯誤的風險。如果分數門檻偏高,模型會將較少的文字項目進行分類,但將文字項目分類錯誤的風險也較小。您可以在 Google Cloud 控制台中調整每個類別的門檻來進行實驗。然而,在實際工作環境中使用模型時,則必須採用您認為效能最高的門檻。
真陽性、真陰性、偽陽性、偽陰性分別是什麼?
套用分數門檻後,模型所做的預測分為以下四種類別的其中一種。
您可以使用這些類別來計算精確度和喚回率,這兩個指標能協助您衡量模型的有效性。
精確度和喚回率是什麼?
精確度和喚回率能協助我們瞭解模型擷取資訊的效能,以及模型漏掉的資訊量。精確度可透過所有獲指派標籤的測試樣本來衡量實際上應使用該標籤來進行分類的樣本數量。喚回度可讓我們瞭解,在所有應已獲指派該標籤的測試樣本中,實際上有多少個樣本已獲指派該標籤。
我應該以精確度還是喚回率進行最佳化調整?
視用途而定,您可能需要針對精確度或喚回率進行最佳化。決定最適合您的做法時,請考慮下列兩種用途。
用途:緊急文件
假設您想建立一個系統,能夠將緊急文件的優先順序,高於非緊急文件。
在這種情況下,偽陽性是指非緊急文件,但遭標示為緊急文件。使用者可以將其視為非緊急事件而關閉,並繼續操作。
在這種情況下,偽陰性是指系統未將急件標示為急件。這可能會造成問題!
在這種情況下,您應該針對喚回率進行最佳化。這項指標會針對所有已完成的預測衡量遺漏數量。喚回度越高的模型,越有可能標示相關程度不高的範例。若類別包含的訓練資料稀少,就非常適合使用喚回度。
用途:垃圾郵件過濾
假設您要建立一個能夠自動篩選垃圾郵件並保留非垃圾郵件的系統。
在此情況下,未篩選出來而仍出現在收件匣中的垃圾郵件就是偽陰性。通常這種情況只是稍微令人厭煩。
在此情況下,如果電子郵件遭錯誤標示為垃圾郵件,並從收件匣中移除,就屬於偽陽性。如果是重要電子郵件,使用者可能會受到不利影響。
在這種情況下,您應針對精確度進行最佳化。這項指標會針對所有已完成的預測衡量其正確程度。精確度越高的模型,只為最相關的範例加上標籤的可能性越高,若您的類別在訓練資料中屬於常見類別,非常適合採用這種方式。
如何使用混淆矩陣?
我們可以使用混淆矩陣比較模型之於每個標籤的效能。在理想模型中,對角線上的所有值都會偏高,而其他值則會偏低。這表示能夠正確識別所需類別。若有其他任何值偏高,我們就能瞭解模型將測試項目分類錯誤的原因。
如何解讀精確度與喚回度曲線?
您可以運用分數門檻工具瞭解所選的分數門檻對精確度和喚回度有何影響。拖曳分數門檻列上的滑桿時,您可以看到門檻將您置於精確度和喚回度取捨曲線上的哪一個位置,以及該門檻對精確度和喚回度分別造成什麼樣的影響 (若是多類別模型,圖上的精確度和喚回度代表唯一用於計算精確度和喚回度指標的標籤,在傳回的標籤集中是分數最高的標籤)。這可以協助您在偽陽性和偽陰性之間找到良好的平衡點。
選擇模型整體可接受的門檻之後,您可以按一下各個標籤,查看門檻落在其標籤精確度和喚回度曲線上的哪一個位置。在某些情況下,這可能表示少數標籤出現許多不正確的預測,這種情況可以協助您決定選擇根據標籤自訂且以類別為準的門檻。舉例來說,假設您在查看客戶留言資料集時,發現門檻 0.5 用於每一種留言類型都能發揮合理的精確度和喚回率,唯獨「Suggestion」(建議) 例外,或許是因為這個類別非常籠統。於是,這個類別就會出現相當多的偽陽性。在這種情況下,您可以決定在呼叫預測所用的敏感內容類別時,只有「Suggestion」(建議) 這一項採用 0.8 的門檻。
什麼是平均精確度?
精確度和喚回度曲線下面積是相當實用的模型準確度指標。這項指標會衡量模型使用所有分數門檻的執行效益。在 Vertex AI 中,這項指標稱為「平均精確度」。這項分數越接近 1.0,代表模型的測試集表現效能越好;若模型隨機猜測每個標籤,平均精確度大約會是 0.5。
影片
模型訓練完成後,您會收到一份成效摘要。模型評估指標是依據模型對部分資料集 (測試資料集) 執行的成效。判斷模型是否可搭配新資料使用時,請考量幾個重要指標和概念。
分數門檻
機器學習模型如何判斷進球?每項預測都會獲得一個「信心分數」,這是對模型確信其預測影片片段包含某個類別的數值評估。分數門檻是指判定特定分數轉換為是或否決策的數值,也就是指達到這樣的值時,模型會表示「是,這個可信度分數夠高,可將這個影片片段歸納為包含進球動作」。
如果分數門檻偏低,模型就有可能將影片片段標籤錯誤。因此指定分數門檻時應以實際用途為依據。假設是癌症篩檢這類醫療用途,標籤錯誤的後果可能遠比標錯球賽影片來得嚴重;所以在癌症篩檢模型中,指定高一點的分數門檻比較恰當。
預測結果
套用分數門檻後,模型所做的預測分為以下四種類別的其中一種。為瞭解這些類別,我們假設您建構了一個模型來偵測指定片段是否包含足球進球動作。在本例中,進球是正向類別 (也就是模型嘗試預測的項目)。
- 真陽性:模型正確預測正類。模型在影片片段中正確預測進球動作。
- 偽陽性:模型未正確預測正類。模型在片段中預測有進球動作,但事實上並沒有。
- 真陰性:模型正確預測負類。模型正確預測在影片片段中沒有進球動作。
- 偽陰性:模型未正確預測負類。模型在片段中預測沒有進球動作,但事實上有。

精確度和喚回率
精確度和喚回率指標可協助您瞭解模型擷取資訊的效能,以及模型漏掉的資訊量。進一步瞭解精確度和喚回率
- 精確度是指正確正向預測的比例。在所有標籤為「進球」的預測中,有多少比例實際上真的有進球動作?
- 喚回率是指已實際識別的正向預測比例。在所有可識別的足球進球動作中,比例是多少?
視用途而定,您可能需要根據精確度或喚回率進行最佳化。請參考下列用途。
用途:影片中的私人資訊
假設您要開發一個能在影片中偵測敏感資訊並加以模糊處理的軟體,則錯誤的結果可能會連帶造成一些影響,包括:
- 正向誤判 - 識別出不具敏感性的資訊,但卻做了模糊處理;雖然令人困擾,不過沒有什麼負面影響。
- 負向誤判 - 未能識別需要模糊處理的資訊,例如信用卡號碼。這會導致流露私人資訊,因此是最差的情況。
在這個用途中,最佳化喚回率就非常重要,這能確保模型找出所有相關的案例。最佳化喚回度的模型較有可能標示相關程度不高的範例,但同時也較有可能標出不正確的範例 (不需要遮蔽卻模糊處理的情況更多)。
用途:影片庫搜尋
假設您想要開發一個能讓使用者以關鍵字搜尋影片庫的軟體,不正確的結果可能包括:
- 正向誤判 - 傳回不相關的影片;由於您的系統應試著只提供相關的影片,這樣就代表您的軟體無法發揮原本預期的用途。
- 負向誤判 - 未傳回相關的影片;但由於很多關鍵字可能與上百部影片相關,因此這個問題並不如傳回不相關的影片嚴重。
在本例中,您應最佳化精確度,確保模型能提供高度相關的正確結果。高精確度的模型較有可能只為最相關的範例加上標籤,但可能會有一些漏網之魚。進一步瞭解模型評估指標。
測試模型
圖片
Vertex AI 會自動使用 10% 的資料 (如果您自行選擇資料組別,則為任何您選擇使用的百分比) 來測試模型,您可以透過「Evaluate」(評估) 頁面瞭解模型使用該測試資料的效能。不過,假設您想針對模型進行例行性檢查,可以透過幾種方式進行。最簡單的方法是在「部署與測試」頁面上傳幾張圖片,然後查看模型為範例選擇的標籤。希望這項服務符合您的期望。請嘗試提供幾張您預期會收到的圖片示例。
如果您想改為在自己的自動化測試中使用模型,一樣可以透過「Deploy & test」(部署及測試) 頁面瞭解如何利用程式輔助呼叫模型。
表格
評估模型指標主要是瞭解如何判定模型已經就緒部署,不過,您也可以使用新資料進行測試。請上傳新資料,瞭解模型預測是否符合您的預期。若您要依據評估指標或以新資料進行測試,就可能需要繼續改善模型效能。
文字
Vertex AI 會自動使用 10% 的資料 (如果您自行選擇資料組別,則為任何您選擇使用的百分比) 來測試模型,您可以透過「Evaluate」頁面瞭解模型使用該測試資料的效能。不過,假設您想檢查模型,可以透過幾種方式進行。部署模型後,您可以將文字範例輸入「部署及測試」頁面的欄位,並查看模型為範例選擇的標籤。希望這項服務符合您的期望。請試著提供幾個你預期會收到的各類型留言範例。
如果您想在自己的自動化測試中使用模型,部署及測試頁面會提供 API 要求範例,說明如何以程式輔助方式呼叫模型。
如果您想在自己的自動化測試中使用模型,部署及測試頁面會提供 API 要求範例,說明如何以程式輔助方式呼叫模型。
您可以在「批次預測」頁面上建立批次預測工作,將多個預測要求整合在一個工作中。批次預測為非同步作業,也就是說,模型會等待處理完所有預測要求,才會傳回結果。
影片
Vertex AI Video 會自動使用 20% 的資料 (如果您自行選擇資料組別,則為任何您選擇使用的百分比) 來測試模型。控制台中的「Evaluate」(評估) 分頁可讓您瞭解模型使用該測試資料的效能。不過,假設您想針對模型進行檢查,可以透過幾種方式進行。一種方法是提供包含影片資料的 CSV 檔案,以便在「Test & Use」(測試及使用) 分頁中進行測試,並查看模型為影片預測的標籤。希望這項功能符合您的期望。
您可以調整預測視覺化的門檻,也可以透過 3 種時間尺度查看預測結果:1 秒間隔、進行自動鏡頭界線偵測後的影片拍攝鏡頭,以及整個影片片段。
部署模型
圖片
等您滿意模型的效能,就可以實際使用了。這可能是在實際工作環境使用,或是單次的預測要求。視用途而定,您可以以不同方式使用模型。
批次預測
批次預測功能可用於一次提出多項預測要求。批次預測是異步作業,也就是說,模型會等到處理完所有預測要求後,才會傳回含有預測值的 JSON 行檔案。
線上預測
部署模型,讓模型可透過 REST API 使用預測要求。線上預測是同步 (即時) 的,也就是說,系統會快速傳回預測結果,但每個 API 呼叫只接受一項預測要求。如果模型是應用程式的一部分,且系統的部分功能需要快速的預測處理時間,線上預測就非常實用。
表格
等您滿意模型的效能,就可以實際使用了。這可能是在實際工作環境使用,或是單次的預測要求。視用途而定,您可以以不同方式使用模型。
批次預測
批次預測功能可用於一次提出多項預測要求。批次預測為非同步作業,也就是說,模型會等到處理完所有預測要求後,才會傳回含有預測值的 CSV 檔案或 BigQuery 資料表。
線上預測
部署模型,讓模型可透過 REST API 使用預測要求。線上預測是同步 (即時) 的,也就是說,系統會快速傳回預測結果,但每個 API 呼叫只接受一項預測要求。如果模型是應用程式的一部分,且系統的部分功能需要快速的預測處理時間,線上預測就非常實用。
影片
等您滿意模型的效能,就可以實際使用了。 Vertex AI 採用批次預測,可讓您上傳內含影片 (託管於 Cloud Storage) 檔案路徑的 CSV 檔案。模型會處理每部影片,並在另一個 CSV 檔案中輸出預測結果。批次預測為非同步作業,也就是說模型會先處理所有預測要求,再輸出結果。
清除所用資源
如要避免產生不必要的費用,請在模型未使用時取消部署。
使用模型後,請刪除所建立的資源,以免產生不必要的帳戶費用。