學習筆記

TL;DR

Jev 1.14 的 Box 能回報圖片中目標的大致位置，但座標框不代表目標確實存在或框得準確，實際使用前應分別檢查存在機率、位置信心度，並用自己的圖片驗證。

快速結論

Box 回答類型會為目標輸出圖片中的上、下、左、右邊界座標，並附上存在機率與位置信心度。測試中，清楚且較大的目標（如筆記本）能得到位置接近的框；小目標也能找到，但邊界仍有變動。

位置看起來合理，不代表模型對框有高度把握；反過來說，位置信心度也不能直接當成框的準確度。控制圖中的圖形都落在正確區域，但位置信心度差異很大，逐字稿指出它不等同於衡量框與目標重疊程度的 IOU。

Box 即使遇到圖片裡不存在的目標，也會回傳座標框。因此，不能只因為回應格式正確就採用結果；應另外判斷目標是否存在，再依位置信心度、錯誤代價與人工檢查方式，決定是否接受框選結果。

這支影片在說什麼

影片介紹 Jev 1.14 新增的 Box 回答類型，並以自然照片和簡單控制圖測試定位表現。測試涵蓋清楚目標、小目標、邊界含糊的目標，以及圖片中不存在的目標。影片也提醒，這些固定樣本的結果不足以代表模型在所有圖片上的定位準確率。內容適合評估圖片定位功能的開發者，或考慮把 Box 用於產品流程的人閱讀。

最重要的 3-5 個重點

1. Box 回傳位置，不會單靠座標確認目標存在。 測試中的自行車和紫色星星都不存在，但模型仍回傳四條邊界座標。
2. 存在機率與位置信心度回答不同問題。 前者表示模型認為目標是否存在；後者表示模型對位置回答的把握。兩者都應納入判斷。
3. 位置信心度不等同於框選準確度。 控制圖中三個形狀的位置都落在正確區域，但信心度分別為 0.89、0.44 和 0.23。
4. 目標是否有明確邊界，會影響如何評估結果。 「窗戶」可能沒有唯一合理框；三次結果相近，只能說選到了相近區域，不能單憑穩定性判定完全正確。
5. 適不適合使用 Box，取決於錯誤代價與檢查機制。 若框錯後果重大，就需要更嚴格地判斷目標存在與否，並建立檢查或容錯流程。

知識架構

• 功能定位：Box

  • 依據圖片中的目標產生邊界框。
  • 座標描述框的上、下、左、右邊。
  • 另回傳目標存在機率與位置信心度。

• 理解輸出

  • 存在機率：模型認為目標存在的程度。
  • 位置信心度：模型對位置回答的把握。
  • 邊界座標：目標框在圖片中的位置。
  • 三種資訊不可互相替代；座標框存在不等於目標存在。

• 評估結果

  1. 目標描述是否明確、是否有唯一合理邊界。
  2. 目標是否存在。
  3. 框的位置是否合理，重複執行是否穩定。
  4. 信心度與實際框選品質是否相符。
  5. 錯誤的影響是否可接受，是否需要人工檢查。

• 使用決策

  • 用存在機率排除部分疑似不存在的結果。
  • 依自己的圖片驗證位置信心度與框選品質。
  • 按照錯誤代價設定接受、人工複核或拒絕的條件。

關鍵概念

• Box 回答類型：Jev 1.14 新增的功能，可回報圖片中目標的位置框。
• 邊界座標：以上、下、左、右四條邊表示框的位置。逐字稿稱座標值介於 0 到 1，並以圖片高度、寬度換算成像素位置。
• 存在機率：模型對目標是否出現在圖片中的判斷。
• 位置信心度：模型對位置回答的把握；逐字稿提醒，不能直接視為框選準確度或 IOU。
• IOU：逐字稿提到它是衡量框與目標邊界重疊程度的常用指標；但這次測試未把位置信心度等同於 IOU。
• 實驗性圖片功能：逐字稿表示，官方將圖片能力標記為實驗性功能，要求在請求中明確開啟，也不建議直接用於生產環境。圖片格式與尺寸亦有限制；逐字稿轉錄的格式名稱與尺寸數字不清楚，詳見「待確認資訊」。

重要例子與細節

• 測試設定：使用一張 1280 × 850 的自然照片，畫面中有筆記本、檯燈、多肉植物與窗戶；每個目標固定詢問三次，使用 Jev 1.14.0，並保留三次結果。
• 筆記本：三次框的位置接近，位置信心度都是 0.90；框覆蓋整個筆記本，沒有明顯

框到旁邊物體。

• 多肉植物：三次框的位置接近，位置信心度約 0.74–0.77；框包含花盆與植物主體。
• 檯燈：框涵蓋燈罩、燈桿與底座，畫面上看起來完整，但位置信心度約 0.52–0.56。這說明框看似合理不代表信心度高。
• 窗把手：把手在整張照片中很小，且顏色接近背景。三次都定位到窗戶上方附近，但邊界有變化。
• 窗戶：三次都選到右側主要窗戶區域；不過「完整窗戶」沒有唯一界線，因此結果穩定不等於存在唯一正解。
• 控制圖形：紅色圓形、藍色方塊與三角形都被定位到正確區域，位置信心度依序為 0.89、0.44、0.23。逐字稿未交代這些信心度差異的原因。
• 不存在的目標：
  • 自然照片中沒有自行車：三次存在機率為 0.02、0.03、0.03，位置信心度都是 0.06，但仍回傳座標框。
  • 控制圖中沒有紫色星星：存在機率為 0.02、位置信心度為 0.04，但仍回傳座標框。
• 限制：少量樣本不能證明模型在所有錯誤情況下都會給出低分，也不足以建立適用所有圖片的分數門檻。

可學習的洞察

1. 先確認任務定義，再評估模型表現。 像「窗戶」這種邊界不唯一的目標，應先說清楚什麼算完整框。
2. 不要把「有座標」當成「有目標」。 必須另看存在機率或採用其他存在判斷方式。
3. 信心分數需要用實際資料校準。 這次測試顯示信心度與框看起來是否合理並不總是直接相符。
4. 評估框選時應查看原圖脈絡。 小目標的框即使在放大圖上似乎合理，也應放回整張圖片檢視位置。
5. 使用方式要配合錯誤成本。 若錯誤只需人工稍作調整，偶爾偏差可能可接受；若結果會影響重要決策，應增加檢查與容錯措施。

可行動的整理

• 用自己的圖片與目標類型進行測試，記錄存在機率、位置信心度、框的位置及重複執行的差異。
• 針對每種目標先定義邊界標準，尤其是「窗戶」這類可能有多種合理框法的目標。
• 分開設計「目標是否存在」與「位置框是否可用」的判斷條件。
• 依產品的錯誤成本決定自動接受、人工複核或拒絕結果；不要直接套用這次少量樣本的分數作為通用門檻。
• 記錄測試圖片、原始 API 回應和畫回原圖的框，方便後續比較與調整。
• 若要實際使用，先確認圖片功能的啟用方式、支援格式與尺寸限制。[資訊不足：逐字稿中的格式名稱與尺寸範圍無法可靠辨識。]

複習問題

1. Box 回答會提供哪些資訊？每種資訊分別用來判斷什麼？
2. 為什麼回傳了邊界座標，不代表圖片中真的存在該目標？
3. 控制圖形測試中，為什麼位置信心度不能直接當作框選準確度？
4. 為什麼「窗戶」這種目標不適合只用重複結果是否穩定來評分？
5. 若 Box 用在錯誤代價很高的流程，應採取哪些判斷或檢查措施？

待確認資訊

• 逐字稿轉錄中的圖片格式名稱無法辨識，支援格式為「[資訊不足]」。
• 逐字稿轉錄中的圖片長、寬尺寸限制數字無法可靠辨識，需回看影片或查閱官方文件。
• 逐字稿提及圖片功能需要在請求中明確開啟，但具體參數名稱未清楚轉錄。[資訊不足]
• 測試中窗把手、窗戶及不存在目標的完整三次結果未全部列出；若需逐次比較，需回看影片或原始回應。