TEF/テスト技法/信頼度成長曲線

TEF/テスト技法

技法名　信頼度成長曲線 †

技法名（英語）Software Reliability Growth Curve †

説明 †

縦軸にバグの累積発見数、横軸にテスト項目消化数、またはテスト時間をとると、S字型の成長曲線を描くことが知られています。 この曲線を信頼度成長曲線やバグ曲線と呼びます。

「ソフトウェア信頼度成長モデル（software reliability growth model (SRGM) ）」や ソフトウェア信頼度モデル（software reliability model (SRM) ）」に基づいています。

宿口さんによる解説

ソフトウェア信頼性評価における最近の話題土肥 正(広島大学）詳しい説明があります。（信頼度成長曲線作成ツール SRATSを開発された研究室）

• 横軸が「日付」の場合
  • 利点：BTSのデータからすぐ作成できる(バグの登録日の日毎の累計をとればよい)
  • 欠点：試験していない日はバグもでないため、「試験をしてもバグがでない」のか「試 験をしないからバグがでない」のか判断ができない。 （実際テストをしなければ曲線が横になる）※プロジェクトの現在の状態を見るのに便利
• 横軸が「延べテスト時間」の場合
  • 利点：「日付」の場合の欠点がなくなりより成長曲線に近づく
  • 欠点：テスト実施者の延べテスト時間を集計する必要がある
• 横軸が「テスト項目数」の場合
  • 利点：「日付」の場合の欠点がなくなりより成長曲線に近づく

    BTSとテスト管理ツールを導入している場合、BTSからバグ数がテスト管理ツールからテスト項目数がわかるため、集計の手間が不要になる

前提条件 †

1. 非同次ポアソン過程モデル（NHPPモデル）
   • 指数系モデル（Goel-Okumotoモデル）
     • 単位時間当たりの障害発見数は、その時刻の残存障害数に比例する
     • 障害一個あたりの発見率は一定である
   • 修正指数系モデル
     • 「発見が容易な障害」と「発見が困難な障害」の二種類が存在する
     • テスト時間の経過とともに障害の発見が困難になるのは、上記の発見困難度の比率が原因
   • 遅延S字形モデル
     • 障害発見率は、残存障害数ではなく、その時点で故障として発見されていはいるが障害として認知されていないものに比例する
   • 習熟S字形モデル
     • 障害発見率は一定ではなく、時間の経過により向上する（テスト習熟ファクターの要素が入る）
2. 統計的データ解析モデル
   • テスト工程における発見障害数はS字型やゴンペルツ曲線を示す傾向がある

「オープンクローズチャート」(「バグ管理曲線」) †

信頼度成長曲線の元になるものとして、
バグの発生数、対策数、テストケース消化数などをグラフにした「オープンクローズチャート」(「バグ管理曲線」)があります。
プロジェクトの進捗状況の見える化に役立ちます。

基礎から学ぶソフトウエア・テスト（6）にサンプル図があります。

「ソフトウェア品質保証の考え方と実際」保田勝通著／日科技連出版社 で解説されているようです。

SESSAMEの初級テキストの８章でバグ管理図の見方の解説があります。

使用例 †

信頼度成長曲線例 国広さんより

試験時間(日)を横軸にした例　信頼度成長曲線作成ツール SRATS使用

補足 †

• 信頼度成長曲線作成ツール SRATS

機能を、例えばゴンペルツ曲線にフィットする（形が似る）とか、
テストの初期や中期でバグ件数が予測できると考えると、まず機能しませんね。
後者は、ある意味では論外。

バグ収束率が99%を超えないと出荷判定で合格にならないのでテストを止めようとか、
「バグ見つけてたけど、今言うと大変だから出荷判定が終わるまで黙ってた」
というのは本末転倒です。

横軸を日付に採るのは、決して好ましくありません。
普段なら、テスト日数を横軸に、テスト消化件数を縦軸に追加します。

横軸にはテスト件数またはのべテスト時間を使います。日数だけでグラフを書いた場合、「試験をしてもバグがでない」のか「試験をしていないからバグがでない」のかの区別がつかないからです。

TEF/テスト技法/信頼度成長曲線/アンケート

参考文献 †

ソフトウェア品質知識体系ガイド (SQuBOK Guide) ベータ版（無償公開）

「ソフトウェア信頼性モデル−基礎と応用」，山田茂著，日科技連出版

「品質指向ソフトウェアマネジメント」山田茂著、福島利彦著、森北出版、

ソフトウェア信頼性研究会 第２回ワークショップ

マルコフモデルに基づくソフトウェアの運用信頼性評価法と最適リリース問題への応用　得能　貢一著、山田　茂著

情報処理 31(12)　特集 ソフトウェア信頼性モデルの現状と課題

特集 ソフトウェア信頼性モデルの現状と課題
・ソフトウェア信頼性モデル入門  大場 充
・非定常ポアソン過程モデル  尾崎 俊治
・超幾何分布にもとづくソフトウェア残存フォールト数推定モデル  当麻 喜弘
・ソフトウェアの信頼性におけるベイズ統計モデル  三道 弘明
・ソフトウェア信頼度成長モデルの適用技術  松本 健一,菊野 亨,鳥居 宏次

大場さんの論文では、地雷源のアナロジ、クジラの個体数推定のアナロジ、人口予測のアナロジ、などの解説があります(以前、TEFで話題になっていたと思います)。

辰巳さんより

※下記URLの右上にあるCiNii（PDF）のボタンをクリックすると論文がダウンロードで きます。

エラー発見率に基づくS字形ソフトウェア信頼度成長モデルの考察 山田 茂著、大場 充著

ソフトウェア信頼度成長モデルにおける新しい統合モデルの厳密解と有効性の検証 古山 恒夫著

パスベクトル法によるソフトウェア信頼度成長曲線の分析 若杉 忠男著

残存エラー数の推定が可能なプログラムの試験法 (5) : 信頼度成長曲線 若杉 忠男著

バグデータ分析によるソフトウェア品質向上手法 オムロン

傾向曲線に基づいたソフトウェア信頼性モデルに対するパラメータ推定 岡村 寛之著 古村 仁志著 土肥 正著　

国広さんより

total 2263 today 3 yesterday 4