読み込み中…
ランキング
実行時間は、提出物が初めて gateway に接続してから、finish() を呼ぶ(呼ばなければプロセスが終了する)までの時間です。モデルの読み込みは含みません。
評価キュー
経過時間は、評価が始まってから(待機中はキューに入ってから)の実時間です。コンテナの起動とモデルの読み込みを含みます。
提出履歴
各チームの最新の提出を新しい順に表示します。
各チームの行には、順位評価の提出(submission_ranking.yaml)の受付の検査の結果も出します。中身は締切まで評価しません。締切の時点の main にあったものが「締切で確定」になり、締切の後に1回だけ評価します。
ステータスの説明
- 完了
- すべてのベンチマークを終えた
- 評価中
- 現在評価中
- 待機中
- キューで待機中。数字は順番
- 保留
- そのチームの評価中の提出が終わるまで待っている新しい push
- 取消
- 開始前に新しい push に置き換えられた、または締切で打ち切られた(結果は出ない)
- 時間切れ
- あるベンチマークで時間を使い切った。終わった分で採点し、届かなかったタスクは 0
- 却下
- 実行前に拒否された(submission.yaml の不備、イメージの欠落やサイズ超過、不正な重み)
- 失敗
- 評価が最後まで行えなかった。提出物のプロセスが途中で終了したとき(書き込める量を超えて止めたときを含む)は、それまでの記録で採点し、順位にも入る
- ベスト
- そのチームの順位に使われる提出
- 37%
- 評価終了後に表示:全ベンチマークの試行のうち終了した割合(切り捨て)
エラーコード
提出が却下・失敗した理由。履歴の行ではステータスの横にコードが出ます(マウスを重ねると意味が出ます)。