いま、求められるテストとは？～研修効果を可視化するテスト品質向上～★テストの評価にベテランの視点を

みなさん、こんにちは！
富士通ラーニングメディアの海老原です。
私は富士通ラーニングメディアで、主に、研修の講師を担当しています。
また、当社のテスト品質向上プロジェクトのメンバーの一人として活動しています。

＜ベテランの視点によるテスト問題のレビューを＞

私たちは、テスト作成の品質施策として、「第三者レビュー」や「品質保証部門による出荷検査」などを実施しています。

第三者レビューとは、ベテラン講師の経験や感覚を活かした確認が中心となります。
それに対し、品質保証部門が行う出荷検査は、当社が規定しているテスト作成のガイドラインが遵守されているかの確認が中心となります。
つまり、「ベテランのノウハウ」と「ガイドライン」の両方の視点でのチェックを行っているのが特徴です。

第三者レビューのレビュアーは、テスト品質向上プロジェクトのメンバーが、講師やレビュアーとしての経験が長い人や複眼的な視点を持っている人の中から、適任と思う人をアサインします。
私も、テスト品質向上プロジェクトのメンバーであると同時に、第三者レビューのレビュアーを兼ねています。

今回は、今までの自分の経験値を活かし、どのようにテスト問題をレビューしたのか、実際の例をご紹介しましょう。
みなさんもレビュアーになったつもりで読んでみてください。

下記は、セキュリティ意識を高めるための研修において、研修後に内容が理解できたかを確認するためのテスト問題です。
受講対象は、一般の従業員です。

第三者レビューでレビュー対象となった問題

問：情報セキュリティ内部監査の役割に関する説明として、適切なものを選びなさい。

• A：内部監査人が指示したとおりの情報セキュリティ対策が行われているかを確認する
• B：情報セキュリティ活動がルールどおりに行われているかの確認や事件・事故が発生した際の原因究明などを行う
• C：職場の活動に情報セキュリティ上の問題点や課題がないか、定期的に視察する
• D：内部監査人が、情報セキュリティポリシーの内容に問題点や課題がないか、定期的に確認する

本問題の解説と解答は次のとおりです。
Aは内部監査人の指示ではなく、情報セキュリティポリシーに従うべきなので不正解。
CとDは、職場の情報セキュリティ上の問題や情報セキュリティポリシーの問題の有無を確認するのが内部監査人の役割ではなく、ルールに則った運用がなされているかを確認するのが役割なので不正解。
よって、正解は「B」。

いかがでしょうか？
みなさんがレビュアーだったら、どのような指摘をしますか？

私は、レビュアーとしてこの問題を見たとき、次のような印象を抱きました。

• 一般の従業員向けとしては、要求している理解度のレベルがやや高いのではないか？
• 内部監査人の役割について、一般の従業員がここまで細かく知っている必要があるのか？
• 受験者が所属している組織によっては、内部監査人が果たしている役割が想定より広いこと

も考えられ、その場合B以外の選択肢も不適切とは言い切れない

そこで第三者レビューでは、問題作成者と「このコースの目的は何か」「この問題で何を問いたいのか」「想定している受講者層は」といったテスト作成の原点に立ち戻ったやりとりを何度も行い、最終的に以下のような問題に修正しました。

第三者レビューにより、修正された問題

問：情報セキュリティ内部監査人の役割に関する説明として、適切なものを選びなさい。

• A：内部監査人は職場のネットワークを常に監視し、ウイルス感染などに備える
• B：内部監査人は被監査部門に対してヒアリングや職場の視察を行い、不備に対する指摘や助言を行う
• C：内部監査人は警備室に常駐しており、防犯カメラの映像確認などを行う
• D：内部監査人は情報セキュリティポリシーを策定する

(正解：B)

内部監査人の詳細な業務を知らなくても、役割についての要点を押さえている受験者であれば正解できる難易度の問題に修正されています。

このように第三者レビューでは、ベテランの直感なども反映し、理解度を適切に測定できるテスト問題へとブラッシュアップをはかっています。

＜第三者レビューにSNSを活用するメリット＞

第三者レビューにおけるSNS活用は、「レビュー結果を記録に残す」目的もありますが、加えて、次の目的もあります。それは「テスト開発者の育成」です。

レビュー結果が記録として残るため、別のテスト開発者が後から閲覧でき、テスト開発に関する新たな気づきを得ることができます。
また、第三者レビュアーに加え、別のテスト開発者が自身の開発経験に基づいたコメントをすることにより、SNS上で議論が活性化することもあります。

このような取り組みにより、直接レビューに携わらなかった方も、過去のレビュー結果の情報を共有・活用できるので、全体的なテスト開発スキルの向上に効果が出ています。

次回は、テスト作成PDCAの"C"の作業の一つである「テスト問題の妥当性確認」の取り組みをご紹介します。

ところで私は、講師としてのスキルアップと、受講者の皆さまに旬な情報をご提供させていただくため、昨年の夏、BABOK®（注1）に関する新しい資格「CCBA（注2）」を取得しました。

受験準備におけるポイントや、資格活用に向けた思いなどは、『上流工程のトレンド ～CCBA資格取得体験記～』として、ご報告させていただきましたので、こちらも是非、ご覧ください。

上流工程のトレンド ～CCBA資格取得体験記～

（注1）BABOK®：

ビジネスアナリストの作業を知識体系としてまとめたもので、超上流・上流工程のバイブル。

（注2）CCBA：

Certification of Competency in Business Analysis の略で、ビジネスアナリストの分野の国際的な資格。