Skip to content

[experiment] W&Bで比較するフレーム処理時間の計測条件を統一する #92

Description

@ucn-yushin

概要

Issue #88 の2ライン方式と Issue #89 のROI方式を公平に比較できるよう、フレーム処理時間の計測区間と集計方法を統一する。

現状は、ROI方式が cap.read() 後から推論・カウントまでを計測する一方、2ライン方式は cap.read() を含み、描画・動画書き込みを除外している。このままでは frame_mseffective_fpsrealtime_ok を方式間で直接比較できない。

開発目的

  • 検出方式選定に使う速度指標を同一条件で取得する
  • Raspberry Pi上でリアルタイム動作可能かを正しく判断する
  • 平均値だけでなく、カクつきや締切超過も評価できるようにする

考えられる開発内容

  • 共通の計測区間を定義する
    • read_ms: フレーム取得
    • inference_tracking_ms: YOLO推論・トラッキング
    • counting_logic_ms: ROI/ライン判定
    • output_ms: 描画・動画書き込み
    • end_to_end_ms: 1ループ全体
  • 方式比較の主指標を明示的に決める
  • warm-upフレーム数をconfigへ記録し、速度summaryから除外する
  • CUDA等の非同期デバイスでは計測前後の同期方法を統一する
  • p50/p95/p99に加えてフレーム予算超過率を記録する
  • 同一動画・モデル・入力解像度・tracker設定・deviceで比較する

完了条件

  • 2方式で同じ名前の速度指標が同じ計測区間を表す
  • warm-upを除外した統計値がW&B summaryへ保存される
  • テスト用動画で両方式の計測結果を比較できる
  • 計測定義がW&B連携仕様書へ記載される

考えられる開発時間

1〜2日

備考

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions