1. ホーム >
  2. ブログ ~人材育成最前線~ >
  3. 研修効果記事一覧

研修効果記事一覧

みなさん、こんにちは。コンサルティング部の神澤です。イメージ図


日頃、みなさんの会社では、さまざまな研修を実施されていることかと思いますが、これまでその研修効果を「見える化」してきた経験のある方はいらっしゃいますか?

企業の人材育成担当者の方に研修効果測定の実施状況を伺うと「必要性は認識しているが、具体的にどうすればよいのかわからない」「研修運営や他の業務で手一杯で、なかなかそこまで手が回らない」というコメントをよくお聞きします。

そこで今回は研修の効果測定の実施方法やポイントについてご紹介します。

研修効果測定を実施するためには、やみくもに研修を実施するのではなく、「企業としてどのような目的・狙い・想い」で研修を実施するのか、研修を通じて「社員にどうなって欲しいのか」「何を達成したいか」を明確にすることが重要です。

研修の効果測定は、これらの目的や狙いに対し、手段と評価の観点を組み合わせながら実施していきます。

<研修効果測定の手段とは・・・>

研修効果測定の手段には
 ・アンケート
 ・理解度テスト
 ・演習
 ・行動観察
 ・個人/グループインタビュー
 ・アクションプラン、改善計画の作成
など、様々あります。どの手段を利用するかは研修効果としてどのような点に注目して研修評価を行うかで異なります。

<研修評価の観点とは・・・>

研修評価の観点は、企業でよく利用される受講者満足度や理解度に加え、行動変容などがあります。

これらの評価観点を一般的に整理したものが「カークパトリックの4段階評価」です。イメージ図

・レベル1では、研修終了後のアンケートで受講者の反応をみたりするもので、「満足した」「役立った」という個人の印象を評価します。
・レベル2では、研修で学習した内容について、受講者の理解度や習得度合いを評価します。
・レベル3では、研修終了後の日常業務で学習した内容を現場で活用し、その結果どのような行動変容が現れたかを評価します。
・レベル4では、研修を実施したことで、どれだけ企業の売上や利益に貢献できたかを評価します。

<研修効果測定の流れとポイント>

実際に研修効果測定を実施する際の主な流れとポイントをご紹介します。

(1) 設計
 「研修の目的や狙い」「研修を通じて実現したいありたい姿」「何を評価したいか」「対象者の現状や課題」「結果の活用方法」などを明確にし、適切な手段、評価の観点、実施方法、対象者、アウトプットなどを整理します。
(2) 測定
 アンケートなどを活用し、客観的な数値によって研修効果を抽出します。
(3) 分析評価
 測定結果をもとに、研修内容の振り返りと課題の見える化を実施します。
(4) 次期施策の検討
 分析・評価結果をもとに、年度研修計画策定に向けた現状の課題、また、施策(案)を検討します。

前段でも触れましたが、この中で、一番重要なのは設計の部分です。研修の効果測定では、研修の目的や狙いをしっかり見定めて、設計を行うことが重要です。

<お客様事例>

次に、社員の情報セキュリティの意識浸透を目的に、研修の効果測定を実施したA社様の事例を紹介します。
A社様では、「研修を通じて情報セキュリティマインドを醸成したい、また、研修実施後、現場に戻った後の社員の情報セキュリティに関する意識・行動が変わったかを見える化したい」という狙いをお持ちでした。

そこで弊社では、以下のステップで意識・行動変容を確認する研修効果測定を実施しました。

研修効果測定の手段としては、費用や運用コストを勘案し、Webアンケートを採用しました。
また、アンケートは、意識・行動変容を確認するため合計3回実施しました。
研修受講後、意識・行動変容が見られるのは2~6ヵ月後というのが一般的です。そのため、研修受講前・直後に加え、今回は受講3ヶ月後に一定期間後アンケートを実施し、意識・行動の変容を定点観測しました。
 イメージ図
結果、A社様の研修受講前・直後・一定期間後の意識・行動変容は、

・研修受講前 → 受講直後:意識レベルが向上
・受講直後 → 一定期間後:直後から意識レベルはあまり向上していないが、行動レベルが向上

という一定の効果を定量的に把握することができました。

A社様の場合、全体傾向では上記のような効果が得られました。しかし、各部門や階層など詳細に分析していくと、B部門の意識レベル・行動レベルに変化が見られていないことがわかりました。そこでA社様では、B部門の結果を踏まえ、次の施策につなげる取り組みを現在行っています。

<最後に>

改めて今回のお話をまとめると、研修効果測定のポイントは4つあると考えています。
(1)効果測定を行う目的や狙いを明確にすること
  (研修プログラムや体系の改善に役立てるなど)
(2)目的を達成するための手段や評価の観点を明確にすること
  (テストで受講者の理解度を把握、アンケートで受講者の行動変容を把握など)
(3)(1)(2)を踏まえ、実施するための運用方法や測定ツールを検討・決定する
 (対象者、測定時期、エクセル/Webで実施など)
(4)今後に向けた改善や目標達成に向けて、結果を分析・評価し、施策を検討すること
 (効果の低い部門へのフォローアップ研修、仕組み定着に向けての職場支援など)

皆様も、研修効果測定を行う際には、これらのポイントを意識してみてください。

弊社では数多くの企業様の人材育成のご支援をさせていただております。
研修効果測定を含め人材育成でお悩みなどございましたら、是非お問合わせください。
http://www.knowledgewing.com/kcc/consul/index.html

みなさん、こんにちは!
富士通ラーニングメディアの五十嵐です。
今月は、「テスト問題の品質」というテーマでお話をしています。
第3回まで、レビューと統計手法による分析、という異なる視点でのテスト問題改善の取り組みなどをご紹介しました。

最終回である今回は、当社で実施している、お客様の課題やご要望に合わせて提供しているテストの事例をご紹介します。

<A社様の事例:
      受講者の前提知識に応じた研修を提供するため、事前の診断テストを実施!>

イメージ図
A社様は、システムエンジニア全体のセキュリティ能力を底上げし、セキュリティ意識や知識をしっかりと身につけさせたいというご要望をお持ちで、そのために教育の必要性を感じていらっしゃいました。
ただし、対象者によっては、すでに深いセキュリティ知識を持って業務に対応している方もおり、前提知識がさまざまな状況でした。
さらに、A社様独自の業務に応じたセキュリティ知識や、その対応が身についていることも確認したかったため、一般化されたIT試験では対応できないという課題がありました。

そこで当社は、A社様の要件に応じたセキュリティ知識を測るための診断テストを作成し、レベルに応じて、必要となる研修を受講いただくことにしました。

 実施した内容:

【ステップ1】
A社様にヒアリングし、セキュリティ知識レベルとそのレベル保有者の能力を整理し、定義しました。イメージ図
 
【ステップ2】
A社様のセキュリティ要件や事例を確認しながら、出題範囲(項目)を定義しました。
例)工程(要件定義、設計、実装)ごとに必要となる技術カテゴリ(アクセス制御、攻撃、ログ管理など)

【ステップ3】
出題範囲に対応させ、難易度(高難度・中難度・低難度)ごとにテスト問題を作成しました。
この際、識別力の高い問題(能力を満たしているかいないかを明確に判断できる問題)を含めることを意識しました。

【ステップ4】
セキュリティ知識レベルと問題の正答数を対応づけ、難易度ごとに配点の重みづけを定義しました。(低難度は、2点、中難度は5点、高難度は10点など)

【ステップ5】
テストを実施し、対象者をステップ1で定義したレベルに分けました。


イメージ図上記により、レベルに応じた研修を受講させることができるため、研修効果が高まるだけでなく、全員一律で同じ研修を受講させなくてもすむため、コスト面でも効果があります。

このようにテストを活用することで、受講者やレベルごとの強み・弱みを分析し、弱みは補い、強みはよりパワーアップさせる、といった戦略(方向性)に応じた研修を組み立てることも可能となります。
 

<B社様の事例:管理職候補を養成する重要な研修!
  分析力や考察力を適切に把握するために論述テストを活用!>

イメージ図
当社は、B社様のリーダークラスに対し、IT戦略に関する研修を提供していましたが、管理職候補を養成する重要な研修でもあるため、修了を認定するための論理的な思考力をみる試験を実施したい、というご要望をいただきました。
本研修は、受講者自身で自社の経営課題を分析し、IT戦略を導きだし、施策を検討できる能力を身につけることを目的としているため、この結果を測るためにはどのような手段を利用すべきかを、当社で検討しました。
重視すべきは、テストで正しい選択肢を選べたかではなく、「なぜ、それを選択したのか」という根拠が述べられているか、深く幅広い観点で分析しているか、それが論理的に説明されているか、といった観点です。
また、リーダーとして、自分の部下に納得感を与える説明ができるか、といった点も重要です。

そこで当社は、分析力・考察力を測るために、論述試験を作成・提供しました。

実施した内容:

  • 論述試験における、採点の基準と観点(具体性・論理性・妥当性など)を定め、多段階評価し、その評価に基づき配点しました。
  • 客観性を重んじるため、複数名の当社のIT戦略スペシャリストとB社様とで協議し、各人の論述試験を採点しました。

このように、ご要望に応じてテストの形態を適切に選択することで、分析力や考察力などの可視化も可能となります。

 --------------------------------------------------------
今回は2社の事例をご紹介しましたが、私たちは、人材育成や研修をより効果的・効率的に進めるためや、研修効果を適切に可視化するために、テストを活用しています。
また、プレゼンテーション研修やプロジェクトマネジメント研修では、インタビューや行動評価なども活用しています。

当社では、テストの可能性を引き出し、お客様の組織・従業員のみなさまがパワーアップできるよう、人材育成に役立つ、価値あるテストを提供するために取り組んでいますが、最重視しているのは「お客様要件とのフィット感」です。
どんなに考え抜かれた問題であっても、お客様要件とギャップがあっては意味がありませんので、「お客様要件をお聞きすること」を第一義に考えています。

今後も「テスト品質向上プロジェクト」メンバー一同、お客様にとって、人材育成の支援となるテストを提供してまいります!
イメージ図 
--------------------------------------------------------
4回にわたって「テスト問題の品質」についてお届けしてまいりましたが、いかがだったでしょうか。
みなさまが、人材育成や研修効果をより高めることをお考えの際に、ご参考にしていただけますと幸いです。
また、その実現のために、当社も人材育成のパートナーとして、お役に立ちたいと考えています。
研修効果の可視化など、人材育成に関するご相談などございましたら、是非、当社の「無料相談会」へご参加ください。
企業の人材育成のプロフェッショナルである当社スタッフが、お客様と一緒に考え、解決に導きます。
「無料相談会」は、毎週水・金曜日に開催していますので、ぜひお気軽にお申し込みください!
     http://www.knowledgewing.com/kw/event/2012/jconsul2012.html

※本シリーズは、今回が最終回です。ご愛読どうもありがとうございました。

みなさん、こんにちは。イメージ図
富士通ラーニングメディアの田中です。
私は普段、UNIX / Linuxやクラウドコンピューティング、ビッグデータなどの分野の研修の講師を担当しています。
さらに、「テスト品質向上プロジェクト」のメンバーの一人として、よりよいテストを提供するために活動しています。

今月は、「テスト問題の品質」というテーマでお話をしています。
今回はPDCAの"C"の作業である、テストの妥当性確認の中で、私が取り組んでいる「項目反応理論」を活用したテストの評価とその改善についてご紹介します。

イメージ図

<なぜ、テスト1問1問に目を向ける必要があるのか>

前回のコラムでご紹介したように、弊社ではテスト開発プロセスに沿って、何段階ものチェックを経てテストをご提供していますが、テスト実施後、受講者の解答結果を見た講師から次のような話を聞くことがありました。

「理解度の高い人ほど解けていない問題がある」

そこで、テストを提供・実施した後も、「意図に沿った問題であったのか」「品質面で問題はなかったのか」「難易度は適切であったのか」など、妥当性を確認するため、受験者の解答データを活用し、チェックおよび改善を行っています。

テストの受験者の解答データを活用し、テスト問題を評価する方法は様々あります。
S-P表といったものもありますが、今回は項目反応理論(IRT:Item Response Theory)と呼ばれる手法を活用したテスト品質の評価を紹介します。

 

イメージ図右図は、あるテスト問題の1問を取り上げ、受講者の解答結果を基に作成した2次元グラフです。

グラフの見方の詳細は後ほど説明しますが、このグラフを分析してみると、この問題は、テスト全体の成績がよい受講者ほど、正答率が低くなる傾向にあることがわかります。
たとえば、テスト問題の表現があいまいのため、受験者が「別の選択肢も正しい可能性があるのではないか?」と惑わされる傾向がある問題の場合、このような結果が見られます。

 

イメージ図もうひとつ、右図のグラフを見てみましょう。

この問題は、理解度が低い人も高い人も、正答率が30%から50%の範囲にとどまっています。
つまり、この問題が解けたからといって、その人が問題で取り上げている事柄について理解しているかどうかがわかりにくい問題になっています。
「問いたい事柄を理解しているかどうか」を明確に判断するためのテストとして、この問題を活用したい場合には、あまりよい問題とはいえません。

 
このような、テストの各問題の特徴は、テスト全体の平均点を見ているだけではわかりません
また、問題ごとの正答率を算出しても、「どのような人が」その問題に正解したのか、不正解だったのかはわかりません
よりよいテストを提供するためには、このような課題を改善していく必要がありますが、事前のレビューや平均点・正答率といったデータだけでは検出することが困難です。

そこで、私たちはその検出のために、項目反応理論という手法を用いています。

<項目反応理論とは>

項目反応理論は、テスト結果をもとに、テスト全体や各問題の妥当性を示すので、テストが目的に対して適切かの見極めに活用できます。

広く実施されているITや、語学に関するテストでも、項目反応理論に基づいて難易度の調整や問題の改善が行われています。
項目反応理論の詳細については、Webや書籍でさまざまな情報が得られますので、興味があれば調べてみてください。

項目反応理論ではテストに関するさまざまな情報が得られますが、現在のところ私たちは、「項目特性曲線」と呼ばれるグラフをもとに、改善すべき問題の検出と難易度の識別を行っています。
先ほどご紹介した2つの図も、実は、項目反応理論の手法の一つである、「項目特性曲線」と呼ばれるグラフです。


項目特性曲線は、横軸に受験者の「理解度」、縦軸に問題の正答率をとった2次元のグラフで表されます。(理解度の値が高いほど、成績が優秀であることを示します)
横軸と縦軸を合わせて見ることで、「これくらいの能力がある人がこの問題に正解する確率は何%である」ということが、各問題についてわかります。
ここでいう理解度とは、テスト全体や各問題で取り上げている事柄についての理解度と考えてください。
 イメージ図


この項目特性曲線の算出にはR言語というオープンソースの統計解析環境を使用しています。
このグラフの形を見て、改善すべき問題の検出と難易度の識別を行っています。

<項目特性曲線を活用したテストの妥当性確認>

では、具体的にはどのように、グラフの形から改善すべき問題を検出しているのでしょうか。
項目特性曲線は、一般的に理解度0の近辺で正答率が50%を越えるような、S字のカーブが望ましいとされています。
 イメージ図

正答率が50%を越える位置が右側に寄っていれば、その問題の難易度が高い、左側に寄っていれば難易度が低いことがわかります。
また、S字の形から外れて、直線に近い形だったり、逆S字になっているような曲線になる問題は、能力差を適切に測定できない問題であるということができます。
そのような問題の問題文や選択肢を見ると、先ほど挙げたようなあいまいさや、不適切な表現が含まれていることが多いので、それらを改善していきます。

このように、私たちはテストの結果をもとに視覚的に改善すべき問題を検出できる仕組みを整え、テストの継続的改善につとめています。
加えて、さまざまな難易度の問題を組み合わせて、受講者の理解度をきめ細かく把握できるテスト問題にしています。

 

前回と今回の2回にわたり、レビューと統計手法による分析、という異なる視点でのテスト問題改善の取り組みをご紹介しました。
私たちは、品質の高いテストを効率的に提供するために、レビュープロセスの改善やレビュアーの育成、新しい分析手法の調査に常に取り組んでいます。
これからもこれらの取り組みを続け、受講者のみなさまが、研修の結果を客観視し、次の取り組みテーマが見出せるようなテストを提供していきたいと思ってっています。


今月は「テスト問題の品質」というテーマでお話してきましたが、次回はいよいよ最終回です。お楽しみに!

 

イメージ図みなさん、こんにちは!
富士通ラーニングメディアの海老原です。
私は富士通ラーニングメディアで、主に、研修の講師を担当しています。
また、当社のテスト品質向上プロジェクトのメンバーの一人として活動しています。


今月は、「テスト問題の品質」というテーマでお話をしています。

当社ではテスト作成にあたり、下図のようなPDCAに基づいた、さまざまな活動を行っていますが、第2回目となる本日は、このテスト作成PDCAの"P"の作業の一つである「第三者レビュー」を取り上げ、活動の具体例をご紹介します。

イメージ図

  

<ベテランの視点によるテスト問題のレビューを>

私たちは、テスト作成の品質施策として、「第三者レビュー」や「品質保証部門による出荷検査」などを実施しています。

第三者レビューとは、ベテラン講師の経験や感覚を活かした確認が中心となります。
それに対し、品質保証部門が行う出荷検査は、当社が規定しているテスト作成のガイドラインが遵守されているかの確認が中心となります。
つまり、「ベテランのノウハウ」と「ガイドライン」の両方の視点でのチェックを行っているのが特徴です。

第三者レビューのレビュアーは、テスト品質向上プロジェクトのメンバーが、講師やレビュアーとしての経験が長い人や複眼的な視点を持っている人の中から、適任と思う人をアサインします。
私も、テスト品質向上プロジェクトのメンバーであると同時に、第三者レビューのレビュアーを兼ねています。

今回は、今までの自分の経験値を活かし、どのようにテスト問題をレビューしたのか、実際の例をご紹介しましょう。
みなさんもレビュアーになったつもりで読んでみてください。

下記は、セキュリティ意識を高めるための研修において、研修後に内容が理解できたかを確認するためのテスト問題です。
受講対象は、一般の従業員です。

[第三者レビューでレビュー対象となった問題]
--------------------------------------------------------------------------
  問:情報セキュリティ内部監査の役割に関する説明として、適切なものを選びなさい。

A:内部監査人が指示したとおりの情報セキュリティ対策が行われているかを確認する 

B:情報セキュリティ活動がルールどおりに行われているかの確認や事件・事故が発生した際の原因究明などを行う 

C:職場の活動に情報セキュリティ上の問題点や課題がないか、定期的に視察する

D:内部監査人が、情報セキュリティポリシーの内容に問題点や課題がないか、定期的に確認する
--------------------------------------------------------------------------

本問題の解説と解答は次のとおりです。
Aは内部監査人の指示ではなく、情報セキュリティポリシーに従うべきなので不正解。
CとDは、職場の情報セキュリティ上の問題や情報セキュリティポリシーの問題の有無を確認するのが内部監査人の役割ではなく、ルールに則った運用がなされているかを確認するのが役割なので不正解。
よって、正解は「B」。

いかがでしょうか?
みなさんがレビュアーだったら、どのような指摘をしますか?


私は、レビュアーとしてこの問題を見たとき、次のような印象を抱きました。
・一般の従業員向けとしては、要求している理解度のレベルがやや高いのではないか?
・内部監査人の役割について、一般の従業員がここまで細かく知っている必要があるのか?
・受験者が所属している組織によっては、内部監査人が果たしている役割が想定より広いことも考えられ、その場合B以外の選択肢も不適切とは言い切れない

そこで第三者レビューでは、問題作成者と「このコースの目的は何か」「この問題で何を問いたいのか」「想定している受講者層は」といったテスト作成の原点に立ち戻ったやりとりを何度も行い、最終的に以下のような問題に修正しました。

[第三者レビューにより、修正された問題]
--------------------------------------------------------------------------
  問:情報セキュリティ内部監査人の役割に関する説明として、適切なものを選びなさい。

A:内部監査人は職場のネットワークを常に監視し、ウイルス感染などに備える

B:内部監査人は被監査部門に対してヒアリングや職場の視察を行い、不備に対する指摘や助言を行う

C:内部監査人は警備室に常駐しており、防犯カメラの映像確認などを行う

D:内部監査人は情報セキュリティポリシーを策定する

      (正解:B)
--------------------------------------------------------------------------

内部監査人の詳細な業務を知らなくても、役割についての要点を押さえている受験者であれば正解できる難易度の問題に修正されています。

このように第三者レビューでは、ベテランの直感なども反映し、理解度を適切に測定できるテスト問題へとブラッシュアップをはかっています。


<第三者レビューにSNSを活用するメリット>

イメージ図「第三者レビュー」に社内用SNSも活用しています。

レビュー対象のテスト問題やレビュー結果をSNS上にアップロードし、記録として残すだけでなく、SNS上で第三者レビューを実行することもできます。
SNS上でレビューをする場合は、確認済みの問題には、進捗がわかるように「いいね」ボタンを押すなど、ルールを決めて運用しています。

第三者レビューにおけるSNS活用は、「レビュー結果を記録に残す」目的もありますが、加えて、次の目的もあります。それは「テスト開発者の育成」です。

レビュー結果が記録として残るため、別のテスト開発者が後から閲覧でき、テスト開発に関する新たな気づきを得ることができます。
また、第三者レビュアーに加え、別のテスト開発者が自身の開発経験に基づいたコメントをすることにより、SNS上で議論が活性化することもあります。

このような取り組みにより、直接レビューに携わらなかった方も、過去のレビュー結果の情報を共有・活用できるので、全体的なテスト開発スキルの向上に効果が出ています


次回は、テスト作成PDCAの"C"の作業の一つである「テスト問題の妥当性確認」の取り組みをご紹介します。

―――――――――――――――――――――――――――――――――――――――――――――
ところで私は、講師としてのスキルアップと、受講者の皆さまに旬な情報をご提供させていただくため、昨年の夏、BABOK®(注1)に関する新しい資格「CCBA(注2)」を取得しました。

受験準備におけるポイントや、資格活用に向けた思いなどは、『上流工程のトレンド ~CCBA資格取得体験記~』として、ご報告させていただきましたので、こちらも是非、ご覧ください。

◇上流工程のトレンド ~CCBA資格取得体験記~
 http://www.knowledgewing.com/kw/blog/2012/08/201208160900.html

(注1)BABOK®:
  ビジネスアナリストの作業を知識体系としてまとめたもので、超上流・上流工程のバイブル。
(注2)CCBA:Certification of Competency in Business Analysis の略で、ビジネスアナリストの分野の国際的な資格。

イメージ図みなさん、こんにちは!

富士通ラーニングメディアで、主に、研修の企画・設計を担当している五十嵐です。
このコラムには、3回目の登場となります。

 

私は、2011年に半年間、大学などの教育機関や企業が実施する試験問題を管理するシステムを開発・提供しているイギリスのグローバル企業(Z社)にインターンシップで所属し、テスト問題の開発や、評価手法の調査を担当しました。

インターンシップ中の気づきについては、『海外インターンシップ体験記』として、また、帰国後、インターンシップでの経験を活かして取り組んだ、「プロジェクトマネージャの研修における評価とフィードバック」は、『研修効果を向上させる個別評価とフォローアップ』としてご報告させていただきました。
※過去のコラムのURLは、本記事の最後をご参照ください。

今回は、「テスト問題の品質」をテーマにご紹介します。
イメージ図
学生時代の科目テスト、中間・期末テスト、大学入試、さらに各種資格認定など、さまざまなテストを受験されていらっしゃる方も多いと思います。
このように、多様なテストがさまざまな目的を持って、私たちの生活に深く関係しているといえます。

当社では、集合研修やeラーニングを通じて、IT研修やヒューマンスキル研修、新人研修など、各種研修を提供しております。
そして、「研修内容を理解できたかどうか」、「目標に到達できたかどうか」を確認するために、テストを提供しています。

今月は、実践に基づく当社のテスト開発ノウハウと、学術的観点を活用した取り組みの紹介を通し、今、求められているテストについて、みなさんと一緒に考えていきたいと思います。

<研修効果の可視化がもたらす価値とは?>

人材育成をご担当されているお客様と会話していると、研修効果を「可視化」したい、というご要望をうかがう機会が多く、その期待は、ますます高まっていると感じます。

研修効果の可視化がもたらす価値とは何でしょうか?

まず、受講者本人にもたらされる価値があります。
「何がわかっていないか」「何ができていないか」を可視化でき、復習や改善すべきポイントが明確になり、学習に大いに役立つ

次に、人材育成担当者・部門長の方には、次のような価値がもたらされます。
・研修を実施し、どれだけ知識・スキルを身につけさせることができたか、効果がみえる
・新人をレベル分けし、研修を受講させ、各個人のスキルにあった指導ができる
個人の強み弱みを把握し、育成計画に反映できる
他社と比較して、自社の技術者のレベルはどの程度なのか確認できる

このように、様々な立場の方が、研修効果の可視化に価値と必要性を感じています。

<なぜ研修効果の可視化にテストが利用されるか?>

研修効果を可視化する手段は多くあります。

テスト(ペーパー、実技)、アンケート、インタビュー、そして行動観察など様々です。
下図は、研修効果測定の指標とその研修効果を可視化する手段との関係を示しています。

イメージ図

その中で、図の赤枠部分で示されている、研修後のテストを活用した研修効果の可視化は、人材育成や研修効果測定でも非常によく活用される手段です。

では、なぜ研修効果の可視化のために、テストがよく活用されるのでしょうか?

下図は、実施・提供にかかるコストと獲得できる情報量を軸にとった、各スキルの可視化ツールの位置づけを表しています。

イメージ図


アンケート評価の場合、気づきや育成を促すために活用すると学習効果の向上に効果を発揮します。
しかし、一方では、客観性を持ったデータを取得することは難しくなります。

インタビューや行動観察を活用する方法もあります。
この手法は、観察者が多数であればあるほど、また、熟達したインタビュアや評価者であればあるほど、客観性はより高くなり、一人ひとりに対応した的確な助言をすることができ、育成に非常に効果があります。
しかしながら、運用面の手間やコストは比較的高くなります。

客観的に評価でき、かつ運用面の手間とコストをなるべく抑えたい、と考えた場合、テストを活用したい、というお客様はやはり多いといえます。


ただ、テストを活用する場合には、意識しておくべき点があります。
テストをどのような目的で活用するかにより、問い方や結果の見方に工夫が必要であるという点です。
人材育成担当者の方は、「受講者の平均点数が○○点でよかった!」で満足していませんか?
また、そのテスト問題は受験者が学習目標を満たしていることを確認できる問題になっているか、といった点は意識されていますか?


私たちは、研修効果の可視化を実現するひとつのツールとして、テストの可能性を引き出し、お客様の人材育成に役立つ、価値あるテストを提供するため、テスト品質向上プロジェクトを立ち上げました。

次回は、実践に基づく当社テスト開発ノウハウと学術的観点を活用した、「テストの品質」を高めるための、プロジェクトにおける具体的な活動をご紹介します。

―――――――――――――――――――――――――――――――――――――――――――――
◆過去に五十嵐が担当したコラム

◇海外インターンシップ体験記
第1回「グローバル企業で語学よりも重要なこととは?」
  http://www.knowledgewing.com/kw/blog/2011/12/201112010841.html
第2回「プロフェッショナルって特別な人?」
  http://www.knowledgewing.com/kw/blog/2011/12/201112080854.html
第3回「イノベーティブな人になろう!」
  http://www.knowledgewing.com/kw/blog/2011/12/201112150954.html

◇研修効果を向上させる個別評価とフォローアップ
第1回「海外でのインターンシップ経験が評価の真の意味を考えるきっかけに」
  http://www.knowledgewing.com/kw/blog/2012/11/201211010630.html
第2回「なぜ、プロジェクトマネージャ研修に注目したのか?」
  http://www.knowledgewing.com/kw/blog/2012/11/201211080630.html
第3回「個別フォローアップが、個人に応じた気づきにつながる」
  http://www.knowledgewing.com/kw/blog/2012/11/201211150630.html
第4回「プロジェクトマネジメント国際学会報告と、得た「想い」」
  http://www.knowledgewing.com/kw/blog/2012/11/201211220630.html

みなさん、こんにちは!富士通ラーニングメディアの五十嵐です。
主に、研修の企画・設計を担当しています。

私は、2011年に半年間、インターンシップでイギリスのグローバル企業(Z社)に所属しました。
帰国後、私は、このインターンシップ経験で得たことを業務に活かしたいという想いから、当社の活動の1つである「プロジェクトマネージャの研修における評価とフィードバック」に取り組みました。
今月は、この取り組みから得た気づきについてお伝えしてきました(毎週木曜日掲載)。

本取り組みの成果を論文にまとめ、10月3日から5日にハワイで開催されたProMAC(プロジェクトマネジメント学会が主催するプロジェクトマネジメントに関する国際アカデミックカンファレンス)にて発表しました。
そこで、最終回の今回は、学会報告と、学会発表や参加者との交流によって得た気づきについてお届けします。

<ProMACとは?>

ProMACは、プロジェクトマネジメント学会主催の国際会議です。
本年度で6回目となる今大会は、10月3日から5日まで、米国ハワイにて開催されました。
ProMACは、地域、国境、業界、組織を越えて、オープンなプロジェクトマネジメントの知見、経験、成果を共有する国際交流の場です。
今大会では、世界各国から200名以上が参加し、5件の基調講演と約130件の発表が行われました。
IT企業および大学関係者が多く参加しており、プロジェクトマネジメントの実務と学術面の両面において、インターナショナルな動向を把握できる非常に有意義な機会となっています。20121122_promac

<国際学会の雰囲気>

開会式の後、各発表のセッションが行われました。
セッションはいくつかのカテゴリごとに分けられ、同時に進められます。
「研修と教育」「プロジェクトマネジメント知識領域」「プロジェクトへの新しい挑戦」「政府、社会、経済の変革」「ビジネス・産業への適用」「国際的なコラボレーション」といったカテゴリです。
発表時間は20分間であり、15分間はプレゼンテーション、5分間は質疑応答となっています。

私の発表は「研修と教育」カテゴリの中で行われいました。
プロジェクトマネジメント教育に関心のある方が、多数聴講していました。
質疑応答では、「なぜリスクに注目したのか?」「個人にフォーカスをあて、フォローすることに着目したきっかけは何か?」などの質問をいただき、ディスカッションをすることができました。
また、カテゴリの発表が終了した後は、他の発表者や聴講者と、あいさつや、プロジェクトマネジメントの教育に関する議論をさらに深めることができ、非常に有意義な機会となりました。

学会2日目の夜に行われた学会参加者のためのディナーでは、一堂に集まった参加者と親睦を深めることができました。
20121122_

<学会発表で得たもの>

私はこの学会発表にあたり、アカデミックな論文の書き方をはじめ、仮説を設定・検証し、研究を進めていく方法などの手法を修得することができました。

加えて、今回発表を行ったことにより、大きな収穫だと感じたのは、下記の2点です。

1.本取り組み(研究)が国際的に見ても重要な観点であることを確認できた

発表後に、他の発表者や聴講者とのディスカッションにより、プロジェクトマネジメントの評価の難しさや課題を共有し、自分の取り組みの観点に納得の声やフィードバックをいただくことができました。
その結果、本取り組みが国際的にも関心が高く、重要な観点であることに気付くことができました。
国際的な学会で発表をしたからこそ、このような気づきが得られたのだと思います。

2.真のプロジェクトマネジメントのリーダーは、「熱い想い」を持っている、ということに気づいた

本学会の参加者には、大規模プロジェクトのマネージャを実践の場で担当している人がいます。
発表後の質疑応答や学会参加者とのディナーなどで、そのような経験豊富な方々とじっくり話をすることができたことも、貴重な機会でした。

その中でも、プロジェクトマネジメントの話をしていたつもりが、「日々大事にしていること」、「人をハッピーにするために実現したいこと」といったような、パーソナル面の核となる話につながり、非常に感銘を受けました

テクニカルの要素だけではなく、そのリーダーの「熱い想い」がプロジェクトを成功に導く、ということを感じることができました。
今後も、効果的な人材育成の実践に向けて、「熱い想い」を持って取り組みを進めていきたいと思います。
20121122__2

---------
4回にわたって、「研修効果を向上させる個別評価とフォローアップ」をお届けしてまいりましたが、いかがでしたか。

集合研修においても、個人にフォーカスし、フォローアップを行うことによって、各個人における研修の効果を向上させることができるということがわかりました。

みなさまが、研修の効果をより高めることをお考えの際に、ご参考にしていただけますと幸いです。
また、その実現のために、当社もみなさまの人材育成のパートナーとして、お役に立ちたいと考えています。

■「研修効果を向上させる個別評価とフォローアップ」の取り組みの取り組みを行っている行った研修についてのご相談は、【無料相談会】をご活用ください。
毎週水・金開催。1日3回(各回1社様限定)。90分間、じっくり御社の課題をお聞きします。
詳細はこちらをご覧ください。
http://www.knowledgewing.com/kw/event/2012/jconsul2012.html

※本シリーズは、今回が最終回です。ご愛読どうもありがとうございました。
―――――――――――――――――――――――――――――――――
来週からは新シリーズが始まります。どうぞお楽しみに。
更新は、当社のメールマガジン『KnowledgeWing通信』でお知らせしています。
お見逃しのないように、ぜひ、メールマガジンへご登録ください。
http://www.knowledgewing.com/kw/nurture/mailmag.html

みなさん、こんにちは!富士通ラーニングメディアの五十嵐です。
主に、研修の企画・設計を担当しています。

私は、2011年に半年間、インターンシップでイギリスのグローバル企業(Z社)に所属しました。
帰国後、私は、このインターンシップ経験で得たことを業務に活かしたいという想いから、当社の活動の1つである「プロジェクトマネージャの研修における評価とフィードバック」に取り組みました。
今月は、この取り組みから得た気づきについてお伝えしています(毎週木曜日掲載)。

前回は、「なぜ、プロジェクトマネージャの研修にフォーカスをあてたか」をお話しし、フォローアップの手順についてご紹介しました。
3回目の今回は、実際にフォローアップを行った成果についてお話しします。

<『非常に満足した』『良い機会になった』と、満足度アップ!>

本取り組みの対象となったコースの受講者による、受講後のアンケート結果を検証したところ、コース受講に対する満足度が上がりました
また、以下のような感想が寄せられました。

●講師と個別に面談をして、考え方・理解度を意識しながら進められたのが大変よかった。
(20代・男性・システム開発経験3年、プロマネ未経験)

●受講者の主体性を重視した学習工程に対し、非常に満足した。
(40代・男性・プロマネ経験2年)

●シミュレーションを通して、プロジェクトのリスクの本質まで深堀して考える良い機会になった。
(30代・男性・プロマネ経験3年)

次に、本コースの受講者のうち、2名様の事例についてご紹介します。

<事例1:最初は「リスク計画表」に何も書くことができなかったAさんの場合>

プロジェクトの計画段階でのインタビューで、Aさんの「リスク計画表」は白紙でした。
講師が「なぜ、何も書けていないのでしょうか?」と質問をしたところ、Aさんは、「リスクマネジメントの目的や意味は理解しています。でも、仕事でリスクマネジメントを担当した経験がなく、リスク要因を挙げることができませんでした」と答えました。

そこで、講師はリスク要因について具体的な事例を挙げて説明をしたところ、2回目以降のインタビュー実施時には、計画段階のリスクを詳細に書き出せていました。
さらに、実行段階でも、リスクに注目したマネジメントができていました。
----------
インタビューをしたことで、Aさんのつまずきに早い段階で気が付くことができ、その後の受講効果に大きな改善が見られました。

Aさんの事例からは、次のことが分かりました。
・1回目のインタビューでアドバイスした事項を、その後の実践で活用できているかを、2回目以降のインタビューで確認することが重要である。
継続して確認することによって、受講者自身にとっても、自分の理解度の深まりを意識することができ、有効である。

<事例2:SE経験2年。発言できなかったBさんの場合>

Bさんは、SE経験が浅く、プロジェクトマネジメントのフローも十分には理解していない受講者でした。

最初のインタビューで、講師が「あまり発言をしていないようですね」と声をかけたところ、Bさんの答えは、「そうなんです。経験があまりないため、自分の考えに自信がもてないのです」というものでした。
そこで講師は、「これは研修です。失敗してもよい場です。何も発言をしないと、一緒に組んでいるチームのメンバーに、Bさんが何を考えているかが伝わりませんよ。質問でもよいから発言をしてみてください」というアドバイスをしました。
それをきっかけにBさんの発言は少しずつ増えていきました。

Bさんの最終的な気づきは、「自分のプロジェクトマネジメントのスキルを高めるにあたり、積極性が不足していることがわかった」というものでした。
さらに、「質問をしなければ、当たり前のことをこなすだけの業務にとどまっていたかもしれず、成長のチャンスを逃していたかもしれない」という気づきもありました。
そして、職場に戻ってからのアクションとしては、「マネジメントにチャレンジしたい気持ちがあることを、積極的に周囲の人にアピールして、マネジメント経験につながる役割を得られるよう、働きかけていきたい」ということでした。
----------
このようなBさんの気づきは、本コースの本来の目的とは異なりますが、Bさんにとっては、とても有意義な気づきになったと思われます。
積極的になったBさんが、職場で今までとは異なる役割を得て、成長していく姿が想像できるようでした。

20121114_

<効果につながる研修のキモは、「見える化」と「フォロー」>

今回の検証から、マネジメントスキルのような、「できる・できない」「理解した・理解していない」という基準での評価が難しい分野であっても、以下の3点に留意することで、1人1人の業務経験や立場、状況にあわせた気づきが得られる研修にできることが示されました。
・受講者1人1人について、今の状況や理解度を「見える化」すること
・個別にインタビューを実施し、評価とフォローをすること
・上記の2項目を繰り返し実施すること

なお、本取り組みの成果を論文にまとめ、10月3~5日にハワイで開催されたProMAC(プロジェクトマネジメント学会が主催するプロジェクトマネジメントに関する国際アカデミックカンファレンス)にて発表しました。
次回は、学会当日の雰囲気や、学会に参加することによって得た気づきなどをお伝えします。

※次回は11月22日にお届け予定です。
更新は、当社のメールマガジン『KnowledgeWing通信』でお知らせしています。
お見逃しのないように、ぜひ、メールマガジンへご登録ください。
http://www.knowledgewing.com/kw/nurture/mailmag.html

━━━━━━━━━━━━━━━━━━━━━━━━━
【毎週水・金曜日】無料相談会を開催中
本記事における個別評価とフォローアップを活用した研修についても、ぜひご相談ください。
http://www.knowledgewing.com/kw/event/2012/jconsul2012.html?banner_id=kw_182
━━━━━━━━━━━━━━━━━━━━━━━━━

みなさん、こんにちは!富士通ラーニングメディアの五十嵐です。主に、研修の企画・設計を担当しています。

私は、2011年に半年間、インターンシップでイギリスのグローバル企業(Z社)に所属しました。
帰国後、私は、このインターンシップ経験で得たことを業務に活かしたいという想いから、当社の活動の1つである「プロジェクトマネージャの研修における評価とフィードバック」に取り組みました。
今月は、この取り組みから得た気づきについてお伝えしています(毎週木曜日掲載)。

前回は、研修の成果を評価するアセスメントについての考え方をお話ししました。
2回目の今回は、「なぜ、プロジェクトマネージャの研修にフォーカスをあてたのか」、そして、「フィードバックの手順」についてお話しします。

<プロジェクトマネージャという職種の特性は?>

前回お話ししたように、プロジェクトマネージャは「できる・できない」「理解した・理解していない」という指標で正確な評価ができない職種の1つです。
また、1人1人の経験や立場、状況によっても、業務内容や期待される役割が大きく異なります。
ですから研修そのものが難しい職種の1つと考えられます。

当社で開設している「プロジェクト運営をシミュレーター上で疑似体験しながら、プロジェクトマネージャの役割を学ぶコース」に対して、研修成果に満足される受講者や人材育成担当者もいらっしゃるなかで、次のような声も上がっていました。

●個人の判断に対する良し悪しが分かりにくい
本コースはグループ形式の演習を多く行います。
プロジェクト運営におけるさまざまな場面での意思決定を、グループで討論のうえ決めていきます。
ですから、グループの意見と自分の意見が異なった場合に、「自分の意見で運営をしたら、そのプロジェクトは成功したのか、失敗したのかを知りたい」という意見がありました。

●何がスキルとして身に付いたのかが分かりにくい
本コースは演習が主体です。
講義形式で講師から知識を修得するスタイルではないため、「自分に新たな知識が身に付いたのか、という観点からの成果が分かりにくい」と感じる受講者が見受けられました。

このような現状を踏まえ、個人の状況や理解度にあわせた評価やアドバイスができるような体制づくりに取り組みました。

<体制づくり:3つの実践>

体制づくりとして実践したことは、以下の3つです。

1)評価基準の作成
シミュレーター上で展開されるプロジェクトのマネジメントを、「計画段階」「実行段階」「終結段階」の3つの段階に分けて、それぞれに評価基準を設定しました。
以下に評価基準をいくつかご紹介します。

●計画段階:
リスクマネジメント計画書を作成できたか?
リスク事象を識別できたか?
●実行段階:
必要に応じて、予防措置も含めたリスク対策措置が実行できたか?
計画していないリスク事象に対して、迂回策を作成できたか?
●終結段階:
リスクマネジメントプロセスと手続きの有効性を判断するために、プロジェクトの結果をレビューできたか?

2)「学びの記録」シートの作成
前項で設定した評価基準とそれに対する受講者の自己評価や、講師からのアドバイスを記入する欄を設けた「学びの記録」というシートを作成しました。
各評価項目に対して、「・・・ができた。・・・が課題だと感じた。だから、・・・という対策を立てた」というように、受講者自身が自己評価を記入します。

                    【学びの記録シート】

20121108__2

3)講師によるインタビューとフィードバック
講師によるインタビューとフィードバックは、今回の試みの中で、もっとも重要な部分です。
「学びの記録」シートの記入が終わった受講者は、シートを講師のところに持参し、その内容について講師とディスカッションをします。
そして、ディスカッション中の受講者の気づきや講師からのアドバイスを、講師が「学びの記録」シートに書き込みます。

講師は、プロジェクトマネジメントの経験が豊富で、実践に基づいたアドバイスができる人が担当しました。
講師に対しても、受講者の状況を効率的に引き出せるように、「リスクを予想できましたか?」「ゴールを決めることができましたか?」「予想できるリスクについて、対応策を立てられていますか?」といった、標準的な質問項目を定めました。

1人に対し、1回5~10分程度のインタビューを、「計画段階」「実行段階」「終結段階」の計3回行うことにしました。
本コースは3日間で行われます。
毎日、講師とインタビューをできるように設定しました。
次回はこの取り組みの結果と検証をお届けします。

※次回は11月15日にお届け予定です。
更新は、当社のメールマガジン『KnowledgeWing通信』でお知らせしています。
お見逃しのないように、ぜひ、メールマガジンへご登録ください。
http://www.knowledgewing.com/kw/nurture/mailmag.html

━━━━━━━━━━━━━━━━━━━━━━━━━
無料セミナー・相談会を開催しています。
【好評につき追加開催決定】
『2013年度新入社員の育成を考える』(東京・大阪・名古屋開催) ほか多数開催中
http://www.knowledgewing.com/kw/event/index.html?banner_id=kw_173
━━━━━━━━━━━━━━━━━━━━━━━━━

みなさん、こんにちは!富士通ラーニングメディアの五十嵐です。
主に、研修の企画・設計を担当しています。

私は、2011年に半年間、インターンシップでイギリスのグローバル企業(Z社)に所属しました。
Z社は、大学などの教育機関や企業が実施する試験問題を管理するシステムを開発・提供している会社です。
私の担当は、テスト問題の開発や、評価手法の調査でした。

インターンシップ中の気づきについては、昨年12月の【いま、求められる人材】で『海外インターンシップ体験記』としてご報告させていただきました。
※『海外インターンシップ体験記』のURLは本記事の最後をご参照ください。

その後、私は、このインターンシップ経験で得たことを業務に活かしたいという想いから、当社の活動の1つである「プロジェクトマネージャの研修における評価とフィードバック」に取り組みました。
この取り組みのねらいは、「個人に着目した評価とフォローアップによって研修効果を向上させる」ことです。
今月は、この取り組みから得た気づきについてお伝えします(毎週木曜日掲載)。

なお、本取り組みの成果は、論文にまとめ、10月3~5日にハワイで開催されたProMAC(プロジェクトマネジメント学会が主催するプロジェクトマネジメントに関する国際アカデミックカンファレンス)にて発表しました。
本学会の雰囲気などもお伝えしたいと考えています。

<「人を裁くもの?」アセスメントの定義とは>

みなさんは、「アセスメント」を、どのようなものと思っていらっしゃいますか?

昨年インターンシップに行く前の私は、「アセスメントは人を裁くもの」という、どちらかというとネガティブなイメージでとらえていました。
なぜかというと、アセスメントは、大学試験や就職試験において「合格・不合格」を決定づけるもの、つまり、人生を左右するものという印象が強かったからです。

ところが、インターンシップ中にZ社の会長とディスカッションをする中で、このとらえ方が大きく変わりました。
彼から聞いたのは、「アセスメントは、人を裁くものではない。その人がどういう状況にあるか、または、その組織がどういう状況にあるのかを確認し、次の方針を立てるために使うのが正しい活用方法である」ということでした。

この言葉を聞いて、私は会長の考え方を帰国後の業務でも活かしていきたいと強く感じたのです。

<アセスメントを研修のフォローに活かす>

当社では、「受講後や学習中の理解到達度の判定」や「スキル診断」など、アセスメントを取り入れた研修コースを開発しています。しかし、活用方法については、「できる・できない」「理解した・理解していない」を評価するためだけのアセスメントになっていたケースもありました。

せっかくアセスメントがあるのですから、その目的を認識し、意識して活用すれば、研修後のフォローアップがより効果的になるはずです。半年間のインターンシップを終えた私は、「より効果の高いアセスメントにするにはどうしたらよいか」「アセスメントの結果をフォローアップに活かしていくにはどうしたらよいか」ということを日々の業務において考えるようになりました。

20121101_

<アセスメントにも種類がある>

もちろん、「できる・できない」「理解した・理解していない」を正確に評価するだけのアセスメントが有効な場合もあります。たとえば、IT関連の一部のコースなどでは、適正に動くプログラムが「組めた・組めなかった」という2つの基準で評価し、「組めなかった人」を「組める人」に変える指導をしていけばよいわけです。

一方で、マネジメントスキルやヒューマンスキルのようなものは、「できる・できない」「理解した・理解していない」という基準では一概に評価しにくいケースにあたります。スキルとしての複雑さに加えて、1人1人の経験や立場・状況によっても、業務内容や期待される役割が大きく異なるため、「これが正しい!」と、一概に言えないからです。

だからこそ、マネジメントスキルやヒューマンスキルのような分野でのアセスメントのあり方を研究し、今後の業務に活かしていきたいと考えたのです。そして、具体的に取り組んだ活動の1つが、「プロジェクトマネージャの研修における評価とフィードバック」です。次回からはこの取り組みについての詳細や気づきについてお伝えします。

※次回は11月8日にお届け予定です。
更新は、当社のメールマガジン『KnowledgeWing通信』でお知らせしています。
お見逃しのないように、ぜひ、メールマガジンへご登録ください。
http://www.knowledgewing.com/kw/nurture/mailmag.html

■五十嵐の『海外インターンシップ体験記』は、こちらでお読みいただけます(2011年12月掲載)。
━━━━━━━━━━━━━━━━━━━━━━━━━
第1回:グローバル企業で語学よりも重要なこととは?
http://www.knowledgewing.com/kw/blog/2011/12/201112010841.html
第2回:プロフェッショナルって特別な人?
http://www.knowledgewing.com/kw/blog/2011/12/201112080854.html
第3回:イノベーティブな人になろう!
http://www.knowledgewing.com/kw/blog/2011/12/201112150954.html
━━━━━━━━━━━━━━━━━━━━━━━━━

月別アーカイブ