生成AI活用時代のセキュリティ＆ネットワークのビジネスチャンス　Part1

2022年11月末に対話型生成AI「ChatGPT」が公開されて以来、業務でのAI利用機会は増加傾向にある。情報処理推進機構(IPA)は、そうしたAIの業務利用の浸透具合に加え、セキュリティ上の脅威やリスクの認識についての調査を2024年3月18〜21日にかけて実施した。本調査の内容と、生成AI登場によって生じるセキュリティリスクについて、IPAに聞いた。

　IPAは2024年7月4日、「AI利用時のセキュリティ脅威・リスク調査報告書」を公開した。新しい技術としてAIの業務利用が進む中で、セキュリティリスクの認知や、安全な利用のための組織内の規制や体制整備の実態を調査したものだ。なお、本調査における「AI」は、自由に入力したプロンプトに基づいて自然な応答文や画像などを生成する「生成AI」と、入力データを学習モデルに基づいて分類し、分類結果を判定や診断、予測などに用いる「分類AI」の双方を含んでいる。

　IPA セキュリティセンター サイバー情勢分析部 調査グループ グループリーダーの小山明美氏は「本調査を行ったのは2024年3月18〜21日ですが、調査時点では生成AIと分類AIを明確に区分せずに、AIという大きなカテゴリーでの設問と、生成AIや分類AIそれぞれにフォーカスした設問でアンケートを実施しました」と語る。

　本調査報告書から、まずは業務でのAI利用状況を見ていこう。2024年3月時点のAI利用の割合は、「利用している」が16.2％、「利用する予定がある」が6.3％。これらの割合を合計すると22.5％であり、調査時点では十分に浸透しているとはいえない。小山氏は「この調査から1年が経過した現在では、この割合は変わっていると考えられます。総務省が発表した『情報通信白書令和6年版』では『業務における生成AIの活用状況』などが調査されており、『メールや議事録、資料作成等の補助』に生成AIを使用していると回答した割合は46.8％となっています。一方で米国、ドイツ、中国と比較してみると、日本での生成AI活用はまだまだ進んでいない状況です」と指摘する。

　IPAは本調査の中で、利用が進むAIの傾向についても調査を行っている。それによると、業種共通的に利用可能なチャットや質問回答といった「顧客向けサービス改善」や、翻訳や文案作成、文章チェックといった「社内業務効率化」といったAIサービスの利用が進んでいる傾向にあるという。特にAIによるチャット・質問回答サービスは通信・サービス業で導入が進んでいるようだ。一方で、法務文書の作成やチェック、仕様書作成支援のような、業種・業務の専門性が必要と考えられるサービスは、業種に対する依存度が高く、IPAの調査時点では利用率が低い傾向にあった。いずれのAIサービスも、2023年だけでそれ以前と同程度に利用率が増加していることから、この後はさらに利用が加速するとみられている。

　利用が加速するAIサービスだが、これらを活用する上で懸念としてセキュリティ脅威が挙げられる。IPAはAIを利用／許可している、あるいは予定がある人を対象に、AIサービス利用時のセキュリティの脅威認識に関するアンケートも行った。

「AIのセキュリティに関する脅威の度合い」では、「重大な脅威である」が27.1％、「やや脅威である」が33.3％と約6割がAIのセキュリティに関して脅威を感じていると回答した。

　また、「AIの導入・利用可否におけるセキュリティ対策の重要度の度合い」では、分類AI、生成AIともに、7割以上がセキュリティ対策は重要だと回答したという。また、特に生成AIはプロンプトに情報を入力するため、そこから個人情報や機密情報が漏えいするという懸念も存在するようだ。それ故に、プライバシーに関する項目も分類AI、生成AIともに上位にある。AI導入や利用検討においては、AIシステムの堅牢性や個人情報の適切な取り扱いが重視されているといえるだろう。

　小山氏は「生成AI固有の脅威としては、誤った情報を生成するハルシネーションや、出力情報のバイアスなどが挙げられます。生成AIや分類AIのAI性能は、学習するデータに依存します。身近な例としては就職採用に分類AIを使用したところ、女性が採用されず男性ばかりになってしまったという事例がありました。企業の構造上男性の割合が多いため、過去応募者情報を基に学習したAIは男性を採用するようバイアスがかかっていました。同様の問題は生成AIにも見られ、こういったバイアスのかかっているAIの振る舞いは学習データの見直しなどを通じて調整していく必要や、AIの出力を鵜呑みにしないように利用方法を工夫する必要があります」と指摘する。

　また、AI固有ではないセキュリティの課題もリスクとして指摘されている。特に生成AIサービスは、SaaS型のクラウドサービスを利用されることが多い。この場合、生成AIを含むクラウドサービスにアクセスするためのIDやパスワードが適切に管理されていなければ、外部の第三者にアクセスされるリスクが生じてしまう。またデータセンターが海外に設置されているサービスの場合、情報が日本国外に出てしまう可能性もある。会社のセキュリティポリシーを満たしていない状態で生成AIを使っているケースも存在するため、今一度利用状況の確認が必要になりそうだ。

　昨今では、生成AIの基盤に国内データセンターのみを使用するなど、データが出ていく範囲を限定しているサービスも増えてきている。企業のセキュリティポリシーに準じたAIサービスを選択することはもちろん、利用者の教育やルールの徹底も重要だ。「先ほど述べた通り、生成AIの出力結果にはバイアスがかかっていたり、ハルシネーションが発生したりすることもあります。生成AIで出力した情報を信用しすぎず、根拠を確認したり、複数の問いかけをして回答を比較したりするような活用が求められます。生成AIを活用したサイバー攻撃などの懸念も存在しますが、現時点では従来からあるサイバー攻撃の質や量が高まるといった影響は見られつつも、根本的に異なる脅威となっている状況ではないため、IDやパスワードの管理を含む、基本的なセキュリティ対策を徹底することが重要です」と小山氏は語る。

　最後に小山氏は、生成AI利用に脅威を感じる人の傾向として「知識の不足」を指摘する。「AIの知識水準と脅威の感じ方を分析すると、最もAIに対して脅威を強く感じていたの知識水準が中程度の人で、それに知識水準が低い人が続き、最も脅威の感じ方が弱いのは知識水準の高い人でした。『漠然とどれも怖い』ではなく、正しい知識に基づき自分の業務における脅威やリスクを判断していると考えられます。総務省と経済産業省は『AI事業者ガイドライン』を策定しており、AI開発者、AI提供者、AI利用者のAI活用に役立てられます。またAIの安全性に関する評価手法や基準の検討・推進を行うための機関『AIセーフティ・インスティテュート』（AISI）が本ガイドラインの改定支援や、AIセーフティに関する調査やAI独自のガイドの整備などを行っており、こうした機関から最新の情報を取得することも重要です。AIが怖いから使わない、ではなく、安全に使うことがこれからのビジネスには求められており、最新の情報を得て学んでいくことが重要です」とメッセージを送った。

生成AIが身近な存在となり、これまで人手で時間を費やしてしていたことが人手をかけずにわずかな時間でできるようになったり、新たな発想でアイデアを創出できるようになったりするなど、ビジネスやプライベートを問わずたくさんのメリットをもたらしている。しかしこのテクノロジーを悪事に活用することも可能だ。すでにサイバー攻撃に生成AIが活用されており、セキュリティリスクが深刻化している。その状況と対策について、世界的に知られるホワイトハッカーの一人、西尾素己氏に話を伺った。

　西尾素己氏は小学生より独学でホワイトハッカーの活動を開始し、14歳でドイツ・ベルリンを拠点とするハッカー集団の老舗「Chaos Computer Club e.V.」に加入して年間200件もの脆弱性を発見する活躍を見せたほか、19歳で情報セキュリティ国際会議に最年少で登壇するなど幼少の頃よりサイバーセキュリティにおいてグローバルで活躍を続けている。

　西尾氏はサイバーセキュリティにおけるAIの活用について「ウイルス対策ソフトにAIが組み込まれるなど防御にAIが活用される一方で、攻撃者もAIを活用しており、その脅威が深刻化しています」と指摘する。

　例えばマルウェアが仕込まれた迷惑メールでは、文面の日本語に違和感があるため容易に危険を察知できた。しかし現在は日本語の文面の作成に生成AIが使われるようになり、偽メールを見分けるのが非常に困難になっているという。

　さらに深刻なのはマルウェアの作成やゼロデイ攻撃およびワンデイ攻撃のツールの開発（武器化）や、稼働中の正規のAIをだましたり乗っ取ったりする（攻撃や目的の実行）ことにもAIが活用されていることだ。

　攻撃者が正規のソフトウェアの脆弱性を利用して攻撃を仕掛ける場合、まず利用するソフトウェアのプログラムを解析して脆弱性を特定する。しかしソフトウェアの開発元はプログラムが解析されて悪用されぬよう、解析対策を講じている。そのためソフトウェアのプログラムを解析しようとしても、その内容は人手では容易に理解できないものとなっており、それを理解して脆弱性を特定するには非常に多くの労力と時間が必要となる。

　しかし「人には理解できない不規則なプログラムの記述であっても、これを生成AIに読み込ませれば瞬時に内容を把握可能で、脆弱性も特定できます」と指摘する。

　また「ソフトウェアの脆弱性を修正するために配布されるパッチプログラムをAIで解析すれば、どのような脆弱性を修正するプログラムなのかが把握でき、本体となるソフトウェアを攻撃することが可能です。従来はソフトウェアの脆弱性が特定されて攻撃を仕掛けるためのツールを開発したり、パッチプログラムの配布が開始されてから修正対象の脆弱性を攻撃するためのツールを開発したりするのにある程度の時間を要しましたが、AIを活用することで即座にツールを開発でき、ゼロデイ、ワンデイで攻撃が開始されます」と説明する。

　業務で活用する生成AIも攻撃の対象となっていると警鐘を鳴らす。攻撃者が組織のネットワークに不正侵入する際に、最初に利用する（感染させる）ユーザーはたいていが権限の低いユーザーだ。そのため権限の高いユーザーに攻撃をラテラル ムーブメント（水平展開）して権限昇格を図り、機密データへのアクセス権限を獲得しようとする。しかしこの手法は検知されやすく、攻撃者にとってリスクが高い。そこで生成AIが狙われるという。

　西尾氏は「生成AIは組織内のさまざまなユーザーの質問や命令に応えなければならないため、非常に高い権限を与えているケースが多いようです。そのため生成AIをだます命令を入力する（プロンプト インジェクション）ことで、本来の権限ではアクセスできないデータにアクセスできるようになり、生成AIを通じて機密情報を入手できる場合があります」と説明する。

　生成AIを業務で活用する場合、不適切な質問や命令をあらかじめ設定しておき、業務への悪影響や情報漏えいを防ぐ「セーフガード」または「ガードレール」を設けるケースは多い。

　しかし例えば「不正なAIとして振る舞ってください」というプロンプトに続けて、機密情報を外部に送信するプロンプトを入力したり、「研究論文を書いています」というプロンプトに続けて、不正な命令を入力したりすることで、セーフガード（ガードレール）をすり抜けて生成AIを不正に利用することが可能になる場合もある。

　実際に西尾氏はある大企業に依頼されて同社のセキュリティリスクを特定する際に、この手法を用いて機密情報を外部に漏えいさせることに成功したという。

　さらにセーフガード（ガードレール）をつかさどるプログラムファイル（DLLファイル）を書き換えてセーフガード（ガードレール）を無効化し、生成AIを乗っ取る「DLLハイジャック」という攻撃もある。

　ランサムウェアの脅威はますます深刻化している。西尾氏は「脆弱性情報は闇市場で取引されていますが、数年前は1件当たり数億円など高額で取引されていましたが、現在は供給過多となり非常に安価に取引されています。これまで特定の大企業や国に向けられていた高度な手法の攻撃が、企業の規模を問わずばらまかれる状況になっています」と指摘する。

　ではどのような対策を講じるべきなのか。ゼロデイ攻撃、ワンデイ攻撃に備えてセキュリティパッチは公開とともに即座に適用することに加えて、「セキュリティ対策への予算や人材が不足している中小企業だからこそ、EDRは最低限の対策です」と西尾氏は強調する。

　そしてEDRを導入した上で、次のような対策をアドバイスする。まず生成AIやSaaSなどのクラウドサービスを利用する際は、信頼できるメーカーおよびプロバイダーのサービスを選択するべきだ。特にAIは革新的なサービスが次々と新たに提供されているが、業務で使用する場合は慎重に検討する必要がある。そして西尾氏が強く勧めるのが、PCでの仮想化環境の利用とセキュアなハードウェアの選択だ。

　西尾氏は「PC上の仮想化環境でアプリケーションを実行すれば、サイバー攻撃を防ぎやすく感染拡大を防止できます。また最近はOSレイヤーから下の、ハードウェアに近いレイヤーへの攻撃が増えています。ファームウェアが乗っ取られると、OSおよびその上のアプリケーションまで無力化してしまいます。セキュアブートを搭載したPCを選ぶことで保護できますが、セキュアブートも実績のあるメーカーのシステムを選ぶべきです。PCをリプレースするのは数年に1度ですから、リプレースの際はセキュアブート搭載のPCと仮想化環境の導入を強くお勧めします」とアドバイスする。

ビジネスパーソンが生成AIを用いて業務効率化を図るケースも増えてきた。その一方で、セキュリティや個人情報保護などの観点から、インターネットに接続して使用するクラウドAIには処理が難しい業務も存在する。そうしたオンラインでの処理が難しい業務をサポートし、セキュアな生成AIの活用を支援してくれるデバイスが、日本マイクロソフトが提案する「Copilot+ PC」だ。

　2024年6月から国内での展開がスタートしたCopilot+ PC。40TOPS以上のNPUを搭載し、高い性能を誇るCopilot+ PCは、「これまでで最も高速でインテリジェントな Windows PC」とされている。それと同時にセキュリティプロセッサーとして「Microsoft Pluton」が内蔵されており、仮にチップレベルのハードウェアハッキングが行われても情報をしっかりと保護してくれる。

　このCopilot+ PC上で使えるのが「Phi Silica」（ファイシリカ）だ。これはローカル上で実行可能なSLM（小規模言語モデル）であり、クラウド上で使うLLM（大規模言語モデル）と異なりオンデバイス上で生成AIを活用できるのがポイントだ。

　日本マイクロソフト 業務執行役員 デバイスパートナーセールス事業本部 業務本部長の小澤拓史氏は「機密情報や個人情報など、センシティブな情報を扱う業務の場合、クラウドとデータのやりとりを行うLLMの利用はためらわれます。そうした業務でもローカル上で処理が完結するSLMを用いれば、機密情報や個人情報をオンデバイスで処理を完了できます」と語る。

　小澤氏は例として、名簿作成業務を挙げる。イベントで受付を行った個人情報をリスト化するような作業を行う場合、名前や生年月日を逐一転記していくのは手間だが、クラウド上にあるLLMに個人情報を送信するのは抵抗がある。そこでCopilot+ PCのSLMを使うことで、ローカル上の生成AI（Copilot）がこれらの情報を解釈しながら、ユーザー側の希望に添ったリストを作成するアプリを開発して使用できるのだ。

　上記のような対話型生成AIをアシスタントとして使う用途以外にも、Copilot+ PCであればさまざまな業務効率化が可能になる。例えば、2025年4月25日に一般提供がスタートされた「リコール」機能は、PC上で見聞きしたものをキーワードで検索して当該の情報を探し出せる機能だ。「あの青いグラフはどこで見た？」など曖昧な記憶の情報も、リコール機能があれば簡単に探し出せる。「当社の調査によると、一般的なユーザーは1週間で5時間、PC上で過去のデータなどを探しています。そういった捜し物の時間が削減できるため、業務効率の向上が図れます」と小澤氏。

　このリコール機能は、前述した通り4月に正式リリースされたばかりだ。本機能を初めて使うときにはWindows Helloによる生体認証が必須になっているため、第三者がリコール機能を用いて、PC内部の情報を盗み出そうとするようなリスクを抑えられる。また、「Microsoft Entra ID」（以下、Entra ID）で管理されているCopilot+ PC端末は、基本的にリコール機能によるスナップショット取得機能はオフになっており、IT管理者が設定を変更すると使えるようになる。

　このようなセキュリティに配慮された機能の実装を進めている背景には、同社が2023年11月から取り組んでいる「Secure Future Initiative」（SFI）がある。これは以下の三つの基本原則に基づいたセキュリティに対するアプローチを実施するものであり、前述のセキュリティの基本設定については下記原則の二つ目である「Secure by Default」に当たる。

1．Secure by Design：設計としての安全性
2．Secure by Default：既定設定での安全性
3．Secure Operations：安全な運用

「リコール機能によるスナップショット取得の間隔は、Entra IDの管理コンソール側で企業のセキュリティポリシーに合わせた設定変更も行えます。スナップショットを取得しないWebサイトやアプリの指定、スナップショットの最大保存期間なども設定できるため、柔軟な設定が可能です」と小澤氏。

　前述したSFIの考え方はマイクロソフトが展開する全てのハードウェア、アプリケーション、ソリューションに適用されており、同社が提供する対話型生成AIアシスタント「Microsoft 365 Copilot」もその例外ではない。

　クラウドベースで提供されている生成AIの中には、ユーザーが入力した情報を学習に利用しているケースもある。そのため個人情報などの機微な情報を入力するとそれが学習され、漏えいのもととなるリスクが存在する。

　しかしMicrosoft 365 Copilotは、法人契約で利用される場合は、企業の情報はパブリックには公開されない。

　Microsoft 365 Copilotには、Webの公開情報を基に回答する「Microsoft 365 Copilot Chat」と、Web情報に加え、組織内のメールやドキュメントなどの作業データにもアクセスし回答するMicrosoft 365 Copilotがある。このいずれのサービスも入力した情報を学習に使用することも、外部に情報が漏れることもないため安心して使える。

　また、執筆時点では先行ユーザーのみに展開している機能だが、Copilotの「エージェント」機能を用いれば、自然言語で細かなPCの設定変更なども行えるようになる予定だ。

「今後5年、10年と長い目で見たときに、AI PCは業務の中で当たり前の存在になっていくでしょう。そのAIの普及がさらに進み、クラウドとオンデバイスの生成AIのすみ分けが進んだ時に、Copilot+ PCの存在はさらに価値が高まると考えています。2025年10月にはWindows 10のEOSが迫っていますが、まだPCのリプレースが完了していないユーザーさまは、最新のテクノロジーが使えるCopilot+ PCへのリプレースを検討してほしいですね。昨年6月から販売を開始したCopilot+ PCは、すでに多くのユーザーさまから高い関心をいただいていますので、パートナー企業の皆さまも是非このCopilot+ PCの販売を積極的に推し進めていただけたらうれしく思います」と小澤氏は締めくくった。

生成AIを利用する際にユーザーが機密情報をプロンプトに入力することで情報が漏えいするなどのリスクが指摘されている。しかし実際はそのような単純なものではない。何がリスクとなるのか分からないほど、リスクとなり得る要素が無数にあるのだ。このような不確定なリスクに対して、どのような対策が有効なのだろうか。

　次々と出現する新しいテクノロジーをいち早く取り入れて、ビジネスを優位に進めることが大切なことだ。しかしどのようなテクノロジーであっても安全に利用できる環境が整っていなければ、深刻なリスクをもたらすことになる。

　いまビジネスでは生成AIをいかに効果的に活用するかが多くの企業の課題となっている。世界でも少子高齢化が進んでいる日本において省力化や生産性向上は急務であり、生成AIやAIエージェントはそれらを実現できるテクノロジーとして注目され、期待もされている。

　生成AIやAIエージェントという新しいテクノロジーの活用に伴い、新しいリスクが生じることは必然と言えよう。しかしそのリスクを避けるために新しいテクノロジーを活用しないという選択肢はない。

　シスコシステムズ 執行役員 セキュリティ事業担当 石原洋平氏は「生成AIが広く知られるようになった際に、ユーザーが入力するプロンプトを通じて機密情報が外部に漏えいするというリスクが指摘されました。そのリスクを嫌って生成AIの業務での使用を禁止する企業もありました。最近では中国のDeepSeekが開発したLLM（大規模言語モデル）を用いたサービスが画期的であるとの評価を得るとともに、情報漏えいのリスクも指摘されました。中国に限らず世界中で開発されるLLMに対してもリスクを抱く傾向が見られ、AIの活用を制限する企業が多くあります。しかし新しいテクノロジーを活用していかなければ、ビジネスを成長させることは困難です」と指摘する。

　しかしAIの活用には特定できないほどの無数のリスクが存在する。石原氏は「米国では社員の評価や採用プロセスにAIシステムを活用する企業が増えています。最近ではそうしたAIを逆手に取り、履歴書の記述や提出データを意図的に操作して、評価アルゴリズムに『優秀である』と誤認させるといった"データポイズニング"の手法が報告されています。また金融機関で小切手をOCRで読み込ませる際に、AIに微細なノイズを加えることで、本来の数字よりも大きな金額を読み取らせるといった手法も報告されています」と指摘する。

　AIの活用ではさまざまなAIアプリケーションを通じて複数のLLMを利用することになり、対策の範囲と規模は膨大となる。またAIには脆弱性データベースが存在しないため、リスクを特定して対策することは困難だ。しかもAIとそれを取り巻くテクノロジーは日進月歩で進化を続けており、リスクへの対策も常に変化することになる。ただし打つ手のないリスクではない。

　AIアプリケーションのリスクについてシスコシステムズ セキュリティ事業 エンタープライズ営業本部長 中河靖吉氏は「通常のアプリケーションはインフラとデータの上でアプリケーションが動作します。これに対してAIアプリケーションはインフラとデータの上で『AIモデル』が連携してアプリケーションが動作します。サードパーティーのAIアプリケーションではどのAIモデルに接続しているかを可視化するとともに、そのリスクを把握してポリシーを適用してコンプライアンスを確保する必要があります」と説明する。

　そこでシスコシステムズではAIに関するリスクに対して「Security for AI（AIの使用を保護する）」と「AI for Security（セキュリティでAIを活用する）」の二つのアプローチでソリューションを開発しており、前者の製品として「Cisco AI Defense」（以下、AI Defense）を提供している。

　AI DefenseにはAIアプリケーションの使用とAIアプリケーションの開発・運用に向けて四つの製品をラインアップする。「AI Access」は社外のサードパーティーAIアプリケーションの使用を発見し、そのリスクや通信を可視化・制御する。「AI Cloud Visibility」はマルチクラウド環境に潜むシャドーAIを発見し、「AI Validation」は模擬的な攻撃を自動的に行ってリスクを評価する「アルゴリズム・レッドチーミング」などによってAIモデルのリスクを検出・可視化する。

　そして「AI Runtime」はLLMやチャットボットの実行時におけるリスクに対応し、不正なプロンプトや危険な出力をリアルタイムで検知・遮断して保護する。なおAI Accessは「Cisco Secure Access」と統合されており、可視化・検出したリスクの詳細情報をワンクリックで確認できる。

　AIを活用してネットワークやクラウド環境のセキュリティを強化する製品「Cisco Security Cloud」も提供している。ユーザーが利用するシャドーAIアプリケーションや承認済みAIアプリケーションを包括的に把握してリスクを管理する機能や、承認されていないAIツールへのアクセスを制限する機能、機密データをコンプライアンスを確保しながら継続的に防御する機能、ネットワークからクラウドとエンドポイントまでの広範なテレメトリーを分析してAIで異常を検出し、インシデント対応を自動化する機能などがある。

　リスク対策が難しいとされるAIモデルおよびAIアプリケーションの安全性の確保についてシスコシステムズ セキュリティ事業 SE本部長 中村光宏氏は「AI Defenseでは200を超えるセキュリティや安全性の各カテゴリーにおいてAIモデルとAIアプリケーションのリスクを自動的に評価し、それぞれのリスクに最適な保護（ガードレール）をリアルタイムで適用して保護することを目指しています」とアピールする。

　具体的にはプロンプトインジェクション攻撃においてはジェイルブレイクやロールプレイなど45以上の評価項目を、そのほかデータプライバシーやセキュリティ、安全性、サプライチェーンの脆弱性の各カテゴリーの評価項目を合わせて200以上が登録されており、今後もリスクや環境の変化に応じて対応していく。

　日本市場におけるAIセキュリティの見通しについて石原氏は「日本は新しいテクノロジーに対して慎重になりすぎて、採用に時間がかかりがちです。AIもリスクを防ぐ手立てがないことを理由に、活用しない企業が少なくありません。だからこそAIとその利用を守るテクノロジーが注目されると考えています。日本ではAIセキュリティへの取り組みが進むことで、AIの活用が加速するとみています」と強調する。