従来型のIRのアプローチ

――はじめに、IRが持つ役割について教えてください。

高松　IRには以下の3つのレベルがあると考えています。

①   構造化された組織的IR

②   個人レベルの独立したIR

③   緩やかに繋がるチーム等による自由律的IR

①は、東京工業大学をはじめ、さまざまな大学が組織として設置しているIRです。

②は、たとえば大学教員が自分の科目内で、研究レベルで行っているようなIRのことです。

③は、大学改革等が行われる際に、職員や教員、学生やステークホルダー、さらには、第三者等さまざまな人が集まって行うIRです。

大体は①のIRが注目されがちですが、私は②や③のIRも重要であると考えています。

――昨今、「IR疲れ」という言葉がよく聞かれます。IRの難しさというのは、どのような点から生まれてくるのでしょうか。

高松　一般的に言われているIRの難しさというのは、「仮説」の形成の難しさを指しているのではないかと考えています。

従来のほとんどの研究というのは、仮説駆動型（Hypothesis-driven）アプローチで行われてきました。まず仮説を立てて、その仮説を実験によって証明しようとします。私が研究していた分子細胞生物学の実験でも、常にポジティブな結果がでる実験（ポジティブコントロール）と、必ずネガティブな結果がでる実験（ネガティブコントロール）を行います。

皆さんの中にも、家庭用の新型コロナウイルス抗原検査キットを使用したことがある方がいらっしゃるかもしれません。キットには、コントロールラインとテストラインの2本の線があったと思います。コントロールラインが表示されなければ、テストラインの結果は無効となることに疑問を持った方もいるかも知れません。実際には、コントロールラインは、キット自体が正しく機能していることを確認するためのポジティブコントロールとして存在しています。ただし、キットの場合は、ネガティブコントロールは提供されないことになります。

話を戻しますが、このように実験が成功し、自分の仮説を支持するデータが得られれば仮説が証明されたことになります。しかし、逆に、自分の仮説を支持しない実験データが得られるときもあります。そうした場合には、これまでに知られていなかった新たな発見の可能性が生じます。このような場合には、得られた実験データを説明する新しい仮説を作りだす必要があります。これが、従来の一般的な仮説駆動型の研究フローです。

データ・ドリブン型のアプローチとは

この仮説駆動型のアプローチの対比として、現代の数理・データサイエンスのような分野では、データ駆動型（Data-driven）アプローチが存在します。データ駆動型アプローチでは、まずデータが存在することが、仮説駆動型アプローチと異なる点です。このデータをもとに仮説を立て、その仮説を検証するために解析を行うアプローチです。

従来の仮説駆動型アプローチしか知らない研究者が、データ駆動型アプローチを見た場合、「最初のデータを得る目的は何か?」という疑問を持ち、そこから先に進むことが難しい場合が多いです。私自身も、データ駆動型アプローチで行った研究論文が、仮説駆動型アプローチを主体とする研究者に査読された際、最初のデータを収集する目的について問われたことがありました。この指摘に対して、先ほど説明したような、研究アプローチが異なることを説明させていただきました。

実際、現在のIRの取り組みは、ほとんどがデータ駆動型（Data-driven）であると言えるでしょう。そのため、最初から多くのデータが存在するものの、そこからどのように仮説を立てればいいか分からずに困っている人が多いのではないかと思います。

実は、データ駆動型アプローチにおいても、仮説を立てた後には必ず検証を行う必要があります。検証の方法は色々とありますが、可能であれば、その仮説を検証するために新たなデータを収集することが望ましいです。そのためデータ駆動型アプローチと仮説駆動型アプローチは相反するものではなく、むしろ連続したサイクルの中でつながっているアプローチです。どこからスタートするのか、データからなのか、仮説からなのか、という点が異なるだけです。

Society 5.0に向けて

私は、エデュインフォマティクス Eduinformatics（Education + informatics）という学術領域を提唱し、情報学を用いて教育の問題を解決することを考えています。現在の高等教育機関では、ICT化が進んでおり、またコロナ禍の影響によって遠隔教育が多くおこなわれたことから、データ駆動型の教育が急速に進んできているのではないかと思います。

また、Society 5.0への移行を背景に、すべての大学で文系・理系を問わず、学生に数理・データサイエンス・AIの習得が求められるようになっています。これからはビッグデータの時代であり、ますます多くのデータが蓄積されていくことになります。そのデータの活用が、データ駆動型の大学改革につながっていく可能性があると考えます。

そのため、将来の大学改革では、従来の事前にしっかりと設計を作り込んでから進めるアプローチとは異なる方法が必要となると考えています。時間が限られていることを考慮すると、まず、手元にあるデータを適切に解析し、その結果に基づいて大学内の仕組みを見直し、必要ならば廃止または改善することが重要になってくるのではないでしょうか。

神戸常盤大学での取り組みについて

――データ駆動型の大学改革について、具体的な事例をお聞かせください。

高松　解析の結果、不要なものを廃止・改善し、簡素化した例として、私の前職である神戸常盤大学での大学改革を紹介します。この改革では、以下のステップを踏みました。

まず、全学の「ときわ教育目標」を策定しました。これに続いて、全学の「アドミッション・ポリシー（AP）」、「カリキュラム・ポリシー（CP）」、「ディプロマ・ポリシー（DP）」を定め、さらに、「アセスメント・ポリシー」に加えて神戸常盤大学独自の「スチューデント・サポート・ポリシー」を策定しました。また、正課内活動と正課外活動に加えて、神戸常盤大学独自の「準正課活動」を導入しました。これら5つのポリシーを総合的に評価することを目指しました。

そのため、2017年度から開始された改革では、カリキュラムにおいて「ときわコンピテンシー」とそれを具現化するために19のコンピテンシーを設定しました。これら19のコンピテンシーは、各教員がシラバスの中に最大6つのコンピテンシーを選び、それに関連するルーブリックを記述するという取り組みを行いました。

文部科学省の最新の調査（2022年11月発表）では、2020年度時点で、ルーブリックが全科目のシラバスに含まれている大学はわずか6%に過ぎず、この点について振り返ってみると、当時の取り組みは非常に先進的であったと言えましょう。

我々は、これら19のコンピテンシーを活用して、2017年度以降、学修成果の新たな可視化法を開発・提唱してきました。その後、文部科学省から学修成果の可視化が求められるようになり、我々は先取りする形で進んでいたと感じました。

しかし、2020年頃から第2次教学マネジメント改革を始めるにあたり、第1次改革を振り返った結果、学生のための学修成果の可視化ではなく、「可視化そのもののための可視化」となっていることが明らかになりました。実際には、学生のためにその新たな可視化手法がうまく活用できていないことが分かってきたのです。

その理由のひとつとして、本来であれば、19のコンピテンシーや、5つのポリシーを通じて、正課内外と準正課の評価を統合的に行うことが予定されていましたが、実際は、2020年度からの新型コロナウイルスの流行などの影響で、評価は主に正課内のみに集中し、準正課や正課外の評価は実現されなかったことが挙げられます。

実は、当初の設計段階では、学びのパラダイム転換に主眼を置いていました。学修成果の可視化はその検証や高等教育政策的な面から取り組んだことから、データが最初から存在していた、「データ駆動型」アプローチで解析を進め、新たな学修成果の可視化法を開発・提唱しました。しかし、振り返ってみると、後付けの可視化には少し無理があるという結論に至り、学修成果の可視化を活用する仕組みを設計段階から組込む必要があると認識しました。

このような経験を踏まえ、第2次教学マネジメント改革では、19のコンピテンシーを廃止し、代わりに4つの新ときわコンピテンシーを制定しました。同時に、シラバスの変更も行いました。教員全員が学修の到達目標を自ら定め、それに基づいて個別のルーブリックを作成する形に移行しました。

このシラバス作成に関しては、大学側では、大学改革の経緯や目的などを説明する動画を作成し、それに授業設計の方法（インストラクショナルデザイン）も加え、教員に提供しました。この取り組みにより、大きな混乱もなく上記の改革を実施することができました。

学修成果の可視化については、先に述べたように、新ときわコンピテンシーを再定義し、学生の自己評価に切り替えました。具体的には、就職活動時によく問われる「ガクチカ」（学生時代に力を入れてきたことは何ですか？）に対応するため、活動記録（ポートフォリオ）の導入を行いました。このポートフォリオにより、学生は受け身の学習ではなく、自己の振り返りと主体的なアウトプットが可能となっています。

持続可能なIRについて

――IRを大学で持続的に行っていくために、必要なことを教えてください。

高松　IRには、引き継ぎの難しさという課題があります。研究では、再現性が強く求められます。再現性とは、簡単に言えば、誰が同じ実験を行っても同じ結果を得られるということです。しかし、近年、心理学の分野などでは、この再現性が困難だという研究結果が存在することも事実です。

話をIRに戻しますが、再現性は非常に重要です。他の人が同じ解析を行っても同じ結果が得られるということは、IRの文脈では、ある年に誰かが解析した結果を、後年に別の人が再び解析しても同じ結果が得られるということです。

たとえ関数を用いたExcelなどを用いていたとしても、最初に解析を行った人以外の教職員が全く同じデータを処理するのはなかなか難しいことです。特に、解析技術を持っている教職員しか解析できない状況が生じる可能性もあります。

再現性を高めるための第一歩は、教務システムなどからエクスポートされるデータを、プログラムを使って解析することだと考えます。これにより、解析方法が標準化され、異なる教職員でも同じ手法で解析ができるようになります。

しかし、プログラムが存在していたとしても、技術力の高い人がいた場合、その人にとって最も実現しやすい方法で複数の言語やスクリプトを組み合わせて解析することがよくあります。そのような場合、他の人に引き継ぐ場合は、複数の言語やスクリプトに精通した人でなければ引き継ぐことが難しくなってしまいます。これによって引き継ぎの問題が生じます。

IRの業務の引き継ぎにおいては、「実現性」（Feasibility）と「持続可能性（Sustainability）はトレードオフの関係にあります。そこで、我々は、FS分析（Feasibility Sustainability）を提唱しました。

FS分析では実現性を縦軸に、持続可能性を横軸に配置し、2次元の図を作成し、自分がどの象限に位置するかを考えます。おそらく最初は、実現性が高くて持続可能性が低い第2象限（左上）に位置することが多いと思います。最も理想的な状態は、実現性が高く持続可能性も高い第1象限（右上）です。第2象限から第1象限に移行するためには、実際には、第2象限から下に進んで第3象限（左下）に移動し、実現可能性も持続可能性も低い状態になってしまうことがあります。これは、使用する言語やスクリプトの数を減らすなどの対策が必要です。このときには、新しい言語への移行も必要となる場合があります。

次に、第3象限（左下）から第2象限（右下）に移動します。第2象限は、持続可能性が高いが実現が難しい状況です。これは、使用するプログラミング言語を絞り込み、既存のシステムを新しいプログラミング言語に移動することに相当します。その後、第2象限（右下）から最も望ましい第1象限（右上）に移動します。この状況では、既存のシステムが新しい言語に移動し、教職員もその新しい言語を活用できる状況です。

第2象限（左上）から第3象限（左下）、第4象限（右下）、第1象限（右上）に移動するには、時間と費用が必要となります。しかし、これらを避けて通ると、誰かが退職した後に引き継ぎができずに業務が行き詰まる可能性があります。実際、IRではこのようなことが頻繁に起こりがちです。

そこで、FS分析によって、第1象限（右上）の状況を実現した上で、私が提唱しているのが、「模擬多段階引き継ぎ」（SMASH：Simulated multi-step handoff）です。通常の引き継ぎマニュアルは、ある程度の前提知識のある人が作成するため、知識のない人が読んでも理解しづらいという問題が発生します。そこで、同じチーム内で知識がない新人などが入ってきた場合には、その人に対してマニュアルだけを渡して作業を行い、引き継ぎができるのかどうか、模擬的な引き継ぎを行ってみることを提案しています。この模擬的な引き継ぎは複数の段階で行われ、初めて知識がない人でも実際の業務を遂行できるようになると考えています。

要点をまとめますと、IRでは解析に様々なツールを使用します。再現性を確保するためにはプログラミングを用いることが推奨されます。プログラミングを使用する場合、多くの言語やスクリプトを組み合わせることによって実現性が高くなりますが、過度の使用は引き継ぎの問題を起こす可能性があります。そのために、FS分析を通じて、時間や費用をかけてでも、実現性と持続可能性の両立を図ることが重要です。また、多段階の引き継ぎを実施し、全く知識がない人がチームに参加しても、ＩＲ業務の持続可能性を確保しておくことが重要です。

以上のように、IRにおいては再現性、実現性、持続可能性、そして適切な引き継ぎ手法の確立が重要となります。

関連記事：組織的なIR（Institutional Research）で大学の意思決定を改善～東工大 情報活用IR室のユニークな取り組み

インタビューと記事：阿部千尋（KEIアドバンス コンサルタント）