実施される評価がよい評価 ： ASTD2007最終日
今、アトランタ時間で朝の5時。あと数時間で東京に帰ります。
この時間に目が覚めてしまうのは「時差ボケがまだ残っている」のか」、あるいは、時差ボケは既に解消されていて、単純に僕が「早起き」なのかどっちなんでしょうか。もうワケがわかりません。
が、いずれにしても、間違いのないことは、これからまた「長い旅」がはじまるということです。家につくまで、これから20時間でしょ。嗚呼、先が思いやられる。20時間も何して遊ぼうか（査読をせい、という話もある）。
---
昨日もいくつかのセッションに出ました。一番面白かったのは、ネットワークルータの大手企業シスコシステムズで実施された「リーダーシッププログラムの評価」の話でした。
シスコシステムズでは、13週間の「Emerging leader program」というリーダーシッププログラムがあるんですよね。リーダー候補の人が一番最初に受講するプログラムです。
ほんでもって、この評価をすごく組織的に、かつ、プラグマティックにやっていることが印象的でした。「Success Case Evaluation Method：SCEM」というのですけれども。
---
SCEMの手法自体は取り立ててスゴイことはありません。まず5分で終わるアンケートをさせる。このアンケートは量的に処理します。
で、そのアンケート結果から、受講者を「成功群」「失敗群」という２つのコーホートにわけます。
で、それぞれの群から、ランダムサンプリングをして数名を選び出す。「成功群」の人からは、「何をどのように使ったのか」「どんなビジネスインパクトが後日あったのか」「どのような要因が、知識や技能の転移に影響を与えたのか」を聞き出す。で、「物語」をつくってしまうのですね。
この物語は、先ほどのアンケートデータとともに、いわゆるSummative Evaluationのデータとして、マネジメントに報告する。要するに「数字」と「物語」の「リャンメン」から、予算のjustification（正当化）をする、ということでしょうか。
失敗群の方からは、なぜこのプログラムで学んだことを活用できなかったのか、どのような阻害要因があったのかを聞き出す。で、プログラムの改善に役立てる、といった感じです。
この面接、だいたいどちらも30分程度の面接だそうです。なんで、アンケートは5分、面接も30分程度にしているか、というと、「みんな忙しいから」ですよね。「忙しい人たち」に時間をもらうのだから、そこはミニマムに設定し負担感を下げているのだそうです。
---
SCEMをこう書くと、非常に単純な気がしますね。サラッと終わったな。でも、こういう風に「一定の手続き」を決めて、自社のメソッドとして確立しているところがいいなぁと思いました。このメソッド、しっかり商標もとっています（笑）。
評価というと、通常はどちらかというと、誰かに求められて「場当たり的」に「ほんじゃ、しゃーねー、やるか」という感じではないでしょうか。そんな時になって「やばい、データが何にもない」ということになりがちです。
いつも思うのですけれども、「評価の結果、どのような主張をしたらよいかわからない」とおっしゃる方の中には、「どんな手法で何を言うか」ということ以前の問題でつまづいている方が多いように思います。そもそも「データを何も持っていない」ことがままある。
「データを持っていない」のだから、その後、そのデータを使って何を主張するか、なんてことは考える余地もありません。「難しい」以前の問題であることが多いように思います。
そんな方がいらっしゃる一方で、評価というと、なんかスゴイ難しいことをやらなければならないような感覚に陥ってしまっている方もいらっしゃいます。
数字をグリグリ言わせて、アンケートをヒーコラ分析する、といった感じの、「大変です、死にかけですけんのー」的なものとして、評価を捉えていらっしゃっている。「そんなに難しいことないんじゃないんですか」と思うのです。どこまで厳密にできるかは、かけられるリソースと、状況による。あまり悩む余地がないことが多いです。
---
結局は、評価をいかに「デイリーでオペレーショナルなジョブ」のひとつとして、日々のルーティンの中に入れておくことが重要なのかな、と思います。
どんなに素晴らしい評価手法を習っても、やらなければダメ。どんなに単純な評価手法でも、やる方がよい。
一言でいうと
「実施される評価がよい評価」
・・・の可能性が高い、ということでしょうか。
---
さて、今年の僕のASTDは、かくして終わりました。何だかあっという間だったような気もします。収穫は非常に多かったですが、最大のそれは、自分なりに「概念マップ」をつくることができたことだと思います。
ASTDの発表の中で近年でてきたいくつもの概念、それを2次元のマップにプロットできたことが、僕にとっては、最大の収穫でした。
といいますか、2日目あたりから、ずっと絵を何枚も何枚も描いていました。発表ごとに、これがどういう理論系の上に属していて、どういう志向性をもっているのか、が気になって気になって仕方がなかったのです。
帰国後は、このマップを手がかりに、少しまた自分の研究の方向性を考えてみたいと思います。
これは、なかなか難題だな。
---
嗚呼、もう6時です。そろそろ帰国の準備でもしようかな。
それではまた。
そして人生は続く。
投稿者 jun : 2007年6月 6日 18:26
はここ！
