株式会社デンソー（最先端のオートモーティブテクノロジー、システムおよびコンポーネントのサプライヤー）は、コンパイラテストと検証用のパッケージとして、Solid Sands社のSuperTestを支持している。　
 
“新しいバージョンのコンパイラを入手するたびに、コンパイルされたコードが旧バージョンと一致することをチェックする必要があります。以前はアセンブラレベルでの手動比較や、機能テストを実施していましたが、いずれも膨大な時間と労力を必要とし、また再現性のない結果が出ることもありました。また同じことはC言語の規格やCPU種別を切り替える際にも起こり得ます。” - 株式会社デンソー　基盤ソフト技術部　谷　充弘氏
 
SuperTestは定期的にアップデートされるので、ライブラリコードを採用する際に必要となる検証にも有効である。例えばSupetTestで検出される欠陥には、数学関数のC言語規格との不一致動作や、異なるコンパイラバージョン、メーカ間でのライブラリのふるまいの違いなどがある。
 
“コンパイラに潜む問題点が、製品開発途中や製品出荷後に見つかり手戻りが発生する可能性があったことを考えると、コンパイラ入手時に検出できるSuperTestの採用は、大きな投資対効果があったと言えます。” - 株式会社デンソー基盤ソフト技術部　中里　弘樹氏
 
SuperTestに提供される相当な規模のテストスイートを自前で開発することや、様々なコンパイラの問題を検出するコードサンプルを入手することを考えると、SuperTestへの投資効果は非常に高い。大規模なテストから、欠陥の検出と特定に必要なテストを素早く効果的に選別できるし、コンパイラがC言語標準に準拠することのチェックは自動実行で1～2日で済むので、多くの工数と費用を削減できる。
 
車載システムの機能安全規格に準拠して、顧客からの高い信用を維持するには、コンパイラの品質は常に問題になる。コンパイラが十分な信頼水準であることの判断に活用できるSuperTestは、今や必須のソフトウエア開発ツールとして位置付けられる。
 

更に詳しく： デンソー事例

ローム 社が新たに開発したコンパイラは、Clangフロントエンドと LLVMバックエンドに基づいており、ターゲットである組込み ソフトウェアが要求する低消費電力かつ省ROMサイズという 特性を満たす、高度な最適化機能を持っています。この開発フローには、バージョン管理にGit、プロジェクト管理と問題追跡にRedmine、定期的なソフトウェア開発タスクの自動化に Jenkins、そしてコンパイラテストと検証にはSolid Sands社 のSuperTestを活用しています。
 
Redmineに登録されたコンパイラのバグは1つずつ修正され、結果の新しいソースコードはGitに登録されます。毎日の終わりに、 JenkinsプロセスフローはGitから最新のソースコードを自 動的に抽出し、ビ ルドして 、4 つ の 異 なる最 適 化レ ベ ル で SuperTestを一晩かけて実行します。翌朝、SuperTestの 結果がチェックされ、新たに特定された欠陥は反復プロセスの 一部としてRedmineに登録されます。ローム社がSuperTest の使用を開始する前に、この開発環境の大部分がすでに整って いたため、SuperTestをツールチェーンに統合するのに1週間 もかかりませんでした。
 
ローム社のエンジニア大岡徹也氏は「SuperTestを選択し た理由はいくつかあります。一番重要だったのはSuperTestが C言語仕様をカバーし、ISO 26262準拠の実績があり、自動 テストを実行し、自動検証レポート出力機能を備えていることです。また、日本国内にSolid Sands社の代理店があることも、 重要なことでした。」と話しています。
現在、ローム社のコンパイラ開発チームは、コンパイラの開発 がほぼ完了したため、機能安全規格ISO 26262で求められる コンパイラツールの認定に必要なドキュメントの作成に取り組んでいます。 大岡氏は続けて「SuperTestを使用してから1年半の間に、 コンパイラの品質を継続的に向上させ、SuperTestの合格率 が99.9％を超えるようになりました」と話しました。 ローム社は、ツールの品質改善の継続的なプログラムの一環 として、SuperTestを引き続き使用する予定です。
 

更に詳しく： ローム社事例

eSOL の eMCOS 開発チームでは現在、eSOL のオペレーティングシステムを新しくリリースするごとに SuperTest を実行し、SuperTest がカバーする多くのオペレーティングシステム API が期待どおりに機能していることを検証しています。
 
「当社では SuperTest を、機能テストスイート、カバレッジテストスイート、そしてコンプライアンステストスイートとして使用しています。お客様は、eSOL が完全にテストされ規格に準拠するオペレーティングシステムを提供することを期待しているからです」
 
「お客様やパートナー企業の中ではすでに SuperTest をよく知っており、自身で SuperTest を使用してコンプライアンス検証されていることも多いという利点もあります。SuperTest によってオペレーティングシステムとライブラリを事前にテストしたということが、お客様の信頼につながっています」と続けます。
 
「SuperTest には大きな価値が二つあり、第一にテストスイートの能力そのもの、第二にそれらのテストは十分に文書化して開発されているということです。そのため当社の特定の要件を満たす新しいテストを追加することはそれほど難しくありませんでした。SuperTestに含まれるC++ のライブラリテストがその一部となり、弊社のオペレーティングシステムに固有の側面をカバーする他のテストを追加しました」
 
「初めての SuperTest のインストールに苦労は無く、コードも分かりやすく、すぐにツールを使えるようにできました。また、Solid Sands の日本代理店を通じて受けたサポートは、質が高く、すばやい対応でした」
 
「当社は、Solid Sands を単にサプライヤーとしてだけでなく、パートナーとして見ています。SuperTest が当社の多くのお客様にも使用されることを認識しているからです」

更に詳しく： eSOL社事例

「最新の規制、特にISO 26262のASIL（Automotive Safety Integrity Level）Dまでに準拠したコンパイラの認定を受けるために、Solid Sandsとの協業を開始しました。従来当社では、コンパイラの使用証明に基づいてツールチェーンの認定を行っていましたが、より厳しい要件を満たすためには、独立した第三者機関による専門のコンパイラ認定サービスを利用することが理想的だと判断しました」
 
「Solid Sandsは、特定のコンパイラオプションを使用することが、特定の状況下では推奨されないということを教えてくれ、それを回避するか、Solid Sandsと協力して必要な回避策を適用できるようになったケースもあります。また、潜在的な問題の回避策や特定するための検査を開発する際にも、強力な協業が行われました。その結果、関連する事例すべてを探し出す手順を迅速に開発することができました」
 
「数社を調査し、コンパイラの問題点を発見する能力が非常に高いことが証明されたので、Solid Sandsを選びました。技術報告を受けるだけでなく、コンパイラのより良い使用方法を学ぶことができ、非常に協力的な関係でした。当社はSolid Sandsに非常に満足しており、今後も彼らのサービスを利用するつもりです」
 

更に詳しく： Marelli 社事例

コンパイラまたはライブラリの認定に、多くの企業がSuperTestを採用しています。そのなかでKUKA社（自動化システムの第一人者）は、プロジェクトごとで使用するC/C++コンパイラと標準ライブラリを決定するためにもSuperTestを活用しています。
 
「CPUアーキテクチャを変更すると、それをサポートする新しいコンパイラのバックエンドによっては、ソフトウェアに多くの作業が強いられることになりかねないという問題があります。SuperTestで利用可能なコンパイラを評価することで、それを支援しています」 
 
「SuperTestは、プロジェクトチームが、例えばGCCあるいはClangのいずれの使用を推奨するのかを決定するのに役立ちます。また、コンパイラを新しいバージョンに切り替えるかどうかの決定にも役立ちます。プロジェクトチームが使用したい機能を備えた新しいGCCまたはClangのバージョンがリリースされた場合、SuperTestでテストを実行して、欠点があるかどうかを確認し、新しい機能をテストできます。新しい標準ライブラリの評価に関しては、SuperTestを使用して、新しいライブラリの動作が以前に使用したライブラリと等価であるかどうかを確認できます」
 
「新しい言語規格への移行に問題があるかどうかは、SuperTestを使用して確認できます。たとえば古いバージョンの言語規格のC++コンパイラから、より多くの機能を含む新しいバージョンに移行する場合です。これにより、コンパイラが新しい言語規格にどれだけうまく対応しているかを確認し、事前に修正する必要のある問題があるかどうかを判断できます」
 
「SuperTestの統合をサポートする機能に満足しています。スクリプトを実行して、コマンドラインからすべての実行可能ファイルを呼び出すことができるからです。必要があるのはコンフィグレーションデータだけです。その結果、プロセス自体は大幅に自動化されています。手作業のほとんどは結果の分析にあります」

更に詳しく： KUKA社事例

カリフォルニアに拠点を置くAI ビジョンの半導体企業Ambarella 社は、自動運転と自動車ビジョンシステム用のチップにディープニューラルネットワーク人工知能 (AI) を実装しています。最新のAI アルゴリズムを組み込んだ総合的なハードウェア/ソフトウェアソリューションを提供するため、同社は世界最先端のAI ソフトウェア開発者と提携しています。最近では、ドライバー監視のためのAI を搭載した目・口・頭のトラッキング技術のリーダーであるスウェーデンSmart Eye 社や、高度運転支援システムのためのインテリジェントな視覚認識ソフトウェアのリーダーであるドイツHELLA Aglaia 社と提携しています。ハードウェア/ソフトウェア統合の効率を最適化することは、このビジョンチップに搭載されているオンチッププロセッサに向けて完全に検証されたコンパイラを提供することを意味し、同時に自動車市場がもつセーフティクリティカルな性質のため、ISO 26262 などの業界標準に準拠することが求められます。主にこの理由によりAmbarella 社は、自社のコンパイラ開発ツールチェーンにSuperTest を採用することを選んだのです。
 

SuperTest_Ambarella社事例

関連記事： 「16ビット浮動小数点数のテスト 」

英国に拠点を置くSOMNIUM Technologies社は、コンパクトで、より高い性能・エネルギー効率で動作する組込みシステムを短期間で開発するためのソフトウェア開発支援ツールを提供しています。そのようなツールセットの品質を重視する企業にとって、網羅的なコンパイラテストは必須要件です。
｢SOMNIUM®はFreescale社のパートナーとして、FreescaleのKinetis Design Studio (KDS) IDE製品を開発しています。その中で、コンパイラ出力の正しさを証明できたことはKDSの開発契約を獲得する上で非常に重要でした」とSOMNIUM社のCTO、Dave Edwards氏は言及しています。
SOMNIUMでは、開発の初期段階からSuperTest™を使用して、コンパイラのコード生成のバグを特定できるようにしました。
 

更に詳しく： SuperTest_SOMNIUM社事例

機械知能プロセッサメーカーのGraphcore社（英国、ブリストル）は、イノベーターが次世代のAI製品を作り出す超並列計算プラットフォームを開発しています。同社は、独自の知能処理ユニットアーキテクチャをテスト・検証するため、コンパイラ開発ツールチェーンの一環としてSuperTestを使用しています。
 
徹底的なコンパイラテストが要請される理由はいくつかあります。第一は、プロプライエタリなターゲットアーキテクチャ用にコンパイラを開発している場合で、開発者コミュニティでの豊富な経験が活用できないことです。次には、そのコンパイラがアプリケーションに依存する複雑な最適化を実施しなければならない場合で、ターゲットアーキテクチャの特性や命令を最大限に利用するコードの並べ替えや変更があるということです。
 
英国に拠点を置き、人工知能（AI）アプリケーション加速のシリコンプラットフォームを開発するチップメーカーGraphcore社にとって、この状況が当てはまります。同社の超並列知能処理ユニット（IPU：Intelligence Processing Unit）は一片のシリコン上に1200を超えるプロセッサコアを統合するもので、その命令セットとメモリアーキテクチャは、エンジニアが新たな分野のAIモデルと製品を創生しつつ、今日のAIアプリケーションを加速できるように独自に設計されたものです。同社のPoplar®と呼ぶソフトウェアスタックのバックエンドは、多層からなる最適化を使用してタスク群をコアに分配し、それらが最高の速度と効率で実行されることを保証します。
 
AI応用の領域での探求と革新を促進するため、同社はアプリケーション開発者がIPUをC++レベルでプログラムできるようにする取り組みも行っており、このことが、開発者が投入するものすべてを扱える高度にロバストなコンパイラを提供することを非常に重要にしている理由です。
 
「我々は、今日存在するすべてのものとまったく異なる構造で、既存のソリューションを超えてAIの新たな応用を開拓できる新しいシリコンプラットフォームを開発しました。この新たな応用への扉を開くために我々は、ユーザーがC++のような標準のプログラミング言語を使用して自由に探査できるよう、高度にロバストなプログラミング環境を提供することに全力を尽くします。これが、我々のコンパイラをテスト・検証するためにSuperTestを選んだ理由です。」‐Graphcore社Matt Fyles副社長
 
ユーザーの信頼と利便の点から他にもGraphcoreのIPUに対するC++コンパイラが厳格なテストと検証を必要とする理由があります。
例えば、C++レベルでのプログラミングに加えて、Poplarソフトウェア開発スタックは、高度に抽象化されたディープラーニングAIフレームワークからの入力を受け付けます。これによって抽象化されたモデルとターゲットハードウェアのマシンコードとの間に層が追加されるのです。
 
「我々のソリューションの主要部はソフトウェアプラットフォームとそれがアプリケーションをIPUにマップする方法です。トップレベルにはTensorFlowやPyTorchのようなAIフレームワークがあり、それらによって基盤のハードウェアをプログラムすることなくニューラルネットワークを構築できる抽象レイヤーが提供されています。Poplarソフトウェアスタックはそれらフレームワークの出力を得、中間言語を介してIPUの個々のハードウェアコアにコンパイルします。中間言語は我々の場合C++です。アプリケーションの機能テストではユーザーは、問題を起こしているのはコンパイラではないことに全幅の信頼を置けることが必要です。」‐Matt Fyles副社長
 
「SuperTestの強みは、言語機能のカバレッジとテストできることの広さにあります。このことが、カスタムメイドのバックエンドでスクラッチからコンパイラを作る場合にSuperTestが特に有用となる点です。この能力と利用できるユーティリティ全般があるので、我々は繰り返しSuperTestを使うようになりました。SuperTestはほとんど業界標準といっていいものです。」‐Matt Fyles副社長
 
Graphcore社の知能処理ユニット（IPU）技術の詳細については、こちらをご覧ください。
 
会社概要
Graphcore社は、機械知能向けに専用に設計されたまったく新しいプロセッサである知能処理ユニット（IPU）を創り出しました。このIPU独特のアーキテクチャが意味するのは、開発者が現状の機械学習モデルを桁違いに高速に実行できるということです。さらに重要なことは、AI研究者が汎用の機械知能における次の大きなブレークスルーを実現するという、現在の技術ではできない完全に新しいタイプの仕事ができるようになることです。
 
我々のIPU技術が機械知能計算における世界標準となることを確信しています。Graphcore社IPUの性能は、すべての産業や部門にまたがって、医療技術者やロボット技術者、自立走行車などいずれに対しても変容して行くものです。

カリフォルニアに本拠を置く、運航自動化ソフトウェアの世界トップメーカーPeloton Technology社はソフトウェアシステムが安全であることの重要性を認識しています。同社の高度な車両間通信と制御技術は、2台のトラックを一定の距離約20メートルを保って隊列走行させますが、これは前方のトラックが急ブレーキを踏んだ時や、追い越し車両が割り込んだ場合でも、後方のトラックのドライバーの反応時間に頼ることなく衝突を回避します。
 
トラックの隊列走行の利点は単純で、先導車と後続車の燃料消費量が総計で7%ほど削減されます。（主に後続のトラックが受ける空気抵抗が小さくなり燃費を高められる）
これは米国のトラック輸送業界だけで年間800億ドル分以上の燃料消費に相当し、目覚ましい節約となります。ただこれが市場に受け入れられるには、「全ては安全第一」と、Peloton社のRod McLaneマーケティング副社長が指摘しています。
 
「現在我々が考えている車間距離では、前方のトラックがブレーキをかけると後方のトラックは10分の1秒以内にブレーキをかけることが必要で、これは後方トラックのドライバーが反応できるよりずっと速いものです。トラックを電子的に接続することで、短い車間距離を保ち、アクセルとブレーキを同期させることによって、燃費を向上させるばかりでなくトラック隊列走行の安全性を向上させることもできます。」‐McLane副社長　
 
Peloton社の技術は自動運転と同じものではなく、前後、双方のトラックのドライバーは完全に車両を操作する状況にあります。ドライバーによる制御に替わり、Peloton社の技術では前方トラックのエンジンECU（Electronic Control Unit：電子制御装置）とブレーキECUに接続して専用の近距離通信（DSRC）チャネルを通じ、関連するコマンドを後方トラックのエンジン、ブレーキそれぞれのECUに中継します。そして両トラックの前方監視レーダーと連携することで、要求される車間距離での自動隊列走行を可能にします。DSRCにはビデオチャネルもあり、後方のドライバーは前方のドライバーと同じものを見ることができます。また暗号化された音声チャネルもあり、双方のトラックドライバー同士で会話することができます。
 
機能安全を保証するため、Peloton社のシステムには専用のHerculesTM ARM® Cortex®-R MCUが使用され、これですべてのセーフティクリティカルな通信とコマンドをモニターします。そしてPeloton社は、このMCUの組込みコードのソフトウェア開発と実装が、国際的に認められる道路車両に対する機能安全標準（ISO 26262）を満たすことを保証するために、Solid Sands社のSuperTestコンパイラテスト・検証スイートを採用しました。　
 
「我々のシステムはトラックに既装着のクルーズコントロールと衝突回避システムと強固に統合していますので、システム全体の安全性を保証して、すべての人に安心していただくことを確かにするために、OEMのトラックサプライヤーおよびティア1の部品サプライヤーと密接に協業しています。それゆえ、セーフティクリティカルな自動車アプリケーションにおけるベストプラクティスである業界規格ISO 26262への準拠は当然のことです」‐McLane副社長
 
「ISO 26262の準拠に、SuperTestとそのqualificationスイートは、システムのコアであるHercules™ Safety MCU用の組込みコード開発に使用するGCCコンパイラの検証に大きく貢献しました」‐Peloton社のTodd Klaus主幹ソフトウェア技師
 
「主要な関心事の一つは、適切なISO言語標準に対してGCC C++11コンパイラを検証することでした。SuperTestは膨大で非常に豊富なテストスイートを提供していて、コンパイラが言語標準に合致しており、我々のC++コードがあるべき振る舞いをすることを保証してくれます。GCCは自身のテストスイートとともに提供されますが、それは車両での使用に対して決してcertificationされていませんし、すべての領域で標準に合致している保証も決してありません。SuperTestは欠点がどこか教えてくれるので、その状況を回避するためにコードレビュー標準を修正することができます。SuperTestはコンパイラを隅から隅までテストして、欠陥がどこにあるかを教えてくれるのです。」‐Klaus主幹ソフトウェア技師　
 
Klaus主幹技師にとって、SuperTestテストスイートがターゲットハードウェア上で直接実行できることも重要な点でした。
 
「コードがコンパイラのフロントエンドで正しく構文解析・意味解析されることを検証したいというだけでなく、採用するARMプロセッサ上で正しく実行されるコードがバックエンドで生成されていることを検証することも重要なのです。そのためにセーフティモニタチップを含む開発ボードに、コンパイラによって生成されたSuperTestのコードを直接展開します。これはテストにより多くの工数をかけることになりますが、ISO 26262の重要な要件の一つである全ツールが検証されているということに対する信頼が得られるので、十分に価値があるのです。」
 
会社概要
Peloton社は、ネット接続され自動化される車両技術の会社で、米国や世界での貨物輸送の安全性と効率の向上に専心しています。フォーチュン・グローバル500の10社の支援を受けているシリコンバレー拠点のPeloton社は、顧客とともにネット接続や自動化、先進のデータ解析を通して、燃料節約や衝突回避、操作上の洞察力向上を行う革新的なツールを提供しています。Peloton社の旗艦製品であるドライバー支援隊列走行システムは、対になるトラックのアクティブセーフティシステムを連携し、ドライバーのチームワークを向上させ、トラックをクラウドベースのネットワークオペレーションセンターに接続することで隊列走行を適切な道路および条件に限定するようにします。Peloton社のソリューションは、隊列の中でも外でも有効に機能するクラス最高の衝突回避システムや他の安全機能を要求しますので、それによってトラック個々の安全性も向上します。
 

最新の組込みプロセッサを採用する際に、コンパイラがISO 26262の要件を満たし、厳密に検証され品質保証できることが重要視されました。
 
「コンパイラは供給元の開発者によって検証されていましたが、コンパイルによって、製品のアプリケーションコードに実行時のエラーがもたらされないことを証明する、追加のテストが必要であると判断されました。横滑り防止装置（Electronic Stability Control = ESC）などの車載システムは、そのセーフティクリティカルな特性として、高度なリアルタイム性能が要求されますが、いくらプログラムをリアルタイム処理向けに正しく書いても、コンパイラに欠陥があれば誤ったオブジェクトを出力して、リアルタイム性能にも支障が出る可能性があるからです。
 
　最新の組み込みMPUの採用には時間的な制約があり、コンパイラの包括的なテストを、迅速に行えるツールの選択が求められました。　そこでコンパイラテストと検証の一連の機能を有するSolid Sands社のSuperTestを評価した結果、特にテストケースのカバレッジが要求を満足することを理解しました。そして、限られた期間でコンパイラの検証が求められる中、常識を破るソリューションとなりました。
 
　SuperTestの設定項目は実に直接的であり、数日で必要な機能を実行できるようになりました。また十分なドキュメントが提供されるので、Solid Sands社のサポートを殆ど必要とすることもありませんでした。また99%のテストカバレッジを数週間で満たすことができるSuperTestの実行速度は、大きな優位性のひとつであり、コスト効率が非常に高いと言えます。
 
　特定の条件下でコンパイラが誤った出力を生成してしまうのは珍しいことではなく、たいていはコンパイラ開発者によるテストが十分で無かったことがその原因です。 SuperTestを用いた広範囲にわたるテストを経て、問題となっていたコンパイラのテスト不足が事実であることが明らかになりました。SuperTestの機能志向型のテストを活用して、コンパイラの欠陥箇所を突き止め、またその正確な発生条件を特定することができました。そしてアプリケーションコードがこれらの欠陥を誘発しないことが確認されたので、コンパイラに対するSuperTestの厳密なテストは、アプリケーションコードに対するソフトウエア品質のチェックにもなりました。なぜならある種のコンパイラの欠陥はプログラミングルール違反によって表面化するものだからです。
 
　車載システムの機能安全規格に準拠して、顧客からの高い信用を維持するには、コンパイラの品質は常に問題になります。セーフティクリティカルな車載システムのアプリケーションに、最新MPUが採用に十分な信頼水準にあることの判断に活用されたSuperTestは、今や必須のソフトウエア開発ツールとして位置付けされています。」
 

TrustInSoftのソースコードアナライザは、C/C++プログラムの数学的に厳密なモデルを作成して、プログラムの入力パラメータとターゲットアーキテクチャの情報とを合わせ、プログラムに未定義の動作がなく、機能要件に適合していることを100%の精度で検証します。

「形式手法を使用することにより、C/C++プログラムの動作について数学的に明確な解、つまりバグがないことの数学的な保証、を導くことができます。あるプログラムに対してTrustInSoft Analyzerが『問題ない』と言えば、どのような入力ベクトルを使っても、そのプログラムに違反が見つかることはありません」とTrustInSoftの共同設立者で最高技術責任者のBenjamin Monate氏は言います。
 
コンパイルに関してTrustInSoft Analyzerが必要とする情報は、GCCライクのターゲットであるかどうか、32ビットアーキテクチャ用か64ビットアーキテクチャ用のものかなど、コンパイラについて最小限のものだけです。
 
「解析のためには何もコンパイルしません。アナライザをパラメータ化するためにコンパイラに関連する情報が必要になりますが、コンパイラは最終的に呼び出されたときに期待通りに動作するものと想定しています。そこでC/C++規格を正しく実装しているコンパイラを選択するかどうかは、お客様に任されているのです」とMonate氏は言い、続けます。「もちろん、お客様はSuperTestのようなテストスイートを使って、コンパイラが正しく動作することを検証しなければなりません。コンパイラがソースコードを間違って翻訳すれば、当社がソースコード上で数学的に証明した性質が実行ファイルに転移されることが保証できないからです。たとえコンパイラが完全に規格準拠であっても、未定義の動作を含むコードをコンパイルすると、意味がなく、重大かつ予測不能な安全性・セキュリティの問題を含みうる実行ファイルが生成されることに注意してください。そこに、TrustInSoft AnalyzerとSuperTestを使用することが必要となる理由があります」
 

更に詳しく： TrustInSoft社事例

“SuperTestの必要な構成はとても容易で、数日でコンパイラテストを設定して実行することができました”

“使用して直ぐに思ったのは、SuperTestのテストカバレッジが、市場で入手可能な他のコンパイラ評価ツールと比較して極めて優れて、GCC test suiteに比較しても明らかに優れていることでした。そして数年の使用経験から、それは実証されました。SuperTestは、GCC test suite では明らかにされなかったGCCの新リリースに含まれるいくつものバグ（非常に深刻なコード生成に関する問題も含む）を検出したのです”

“SuperTestによって、弊社のコンパイラの問題を、他の方法で行うことに比べて圧倒的な速さで検出することができました。ツールのライセンスとメンテナンスに掛かる費用と比較すると、コンパイラの品質を改善するために必要な工数が、倍以上節約できたことになります”

“SuperTestの主なる機能ではありませんが、コードのサイズと性能解析にも利用しました。その目的で使用することの長所は、SuperTestの検証用テストコードはコンパクトで、なぜコードのあるセクションのサイズあるいはパフォーマンスが変わったのかを、比較的直接に発見することができることです”

“テストケースは十分にドキュメント化されていて、問題個所も正確に特定されます”

“SuperTestは実に有益なツールです。詳細なレポートはコードの欠陥箇所を特定することに役立ちました。SuperTestによって実装上の欠陥、バグ、ドキュメントエラー、シミュレーションのバグを検出して、多くのリグレッションに貢献しました。これはリグレッションテストベンチとして、将来のコンパイラプロジェクトでは早期段階から使用するつもりです”

“SuperTestによって開発中に多くのエラーを検出できました。テストスイートの実行に成功することで、次にリリースされる各コンパイラバージョンの品質に十分な確信を得ることができました”

“SuperTestの実行速度が速いことは、機能以外の大きなアドバンテージになっています。数週間で99%以上のテストカバレッジを達成して、高い投資対効果を得ることができました”

“SuperTestの長所は、従来の常識を破る革新的な成果をもたらしてくれること”