生成 AI で情報漏えいが起きた事例 5 選！原因や使用時の注意点も紹介

「生成 AI を業務で使っても本当に大丈夫なのか？」「ChatGPT や Copilot で情報漏えいが起きたらどうしよう」と、不安を感じたことはありませんか？
実際に、生成 AI の業務利用によって,、個人情報や社内データが流出した事例は複数発生しており、企業にとって看過できないリスクとなっています。

生成 AI は、業務効率化や生産性向上に大きく貢献する一方で、使い方を誤れば重大な情報漏えいにつながる恐れがあります。特に、セキュリティ対策が不十分な環境での利用や、社員による誤った情報の入力が原因となるケースが多いです。

この記事では、実際に発生した生成 AI での情報漏えいの事例をもとに、それらが生じる原因や、企業で生成 AI を活用する際に気をつけるべきことをわかりやすくご紹介します。
さらに、法人として安心して生成 AI を導入・活用するためにセキュリティ面でも信頼できる Microsoft 365 Copilot や Copilot+ PC についても触れているため、ぜひ最後までご覧ください。

生成AIは、業務効率化や自動化に大きく貢献する技術として注目を集めています。一方で、企業による活用が進む中、情報漏えいの被害に遭うケースも増えています。特に、生成 AI ではユーザーが入力したデータが AI の学習に使われる可能性があることから、「うっかり社内の機密情報を入力してしまった」などのミスにより、予期せぬかたちで情報流出につながる危険性があります。

一度 AI に学習された情報は、選択的に消去することが困難です。万が一、企業の機密情報が学習されてしまった場合、現実的な対処法としては AI モデル全体を再学習させるしかなく、多大な時間とコストがかかってしまいます。

生成 AI を提供する企業側でも、生成 AI に対してデータの暗号化・アクセス制御・セキュリティ監査といった対策が行われていますが、100 ％ 安全な AI サービスは存在しないという前提を意識することが重要です。

実際に、ChatGPT を提供する OpenAI やその他の AI プロバイダーが提供するサービスにおいても、過去にデータ流出などの事件が起きています。事例について具体的には、次にご紹介します。

上記で触れたとおり、OpenAI をはじめ、多くの企業では 生成 AI による情報漏えいが起きており、生成 AI の安全性や社内での情報の取り扱い方、セキュリティに対する意識などが重要視されています。

生成 AI による情報漏えいの事例については、次のとおりです。

2023年3月、ChatGPT の提供元である OpenAI において、個人情報の漏えいを引き起こすシステム障害が発生しました。インメモリデータベースの不具合により、有料プラン「ChatGPT Plus」ユーザーのチャット履歴やアカウント情報が、ほかのユーザーに誤って表示される状態が約 10 時間続きました。

この不具合によって、ユーザーの名前・メールアドレス・クレジットカード番号の下4桁といった個人情報も第三者に閲覧される可能性があったことが判明しています。

OpenAI 社はこの問題を受けてサービスを一時停止したうえで速やかに原因を調査・修正し、修正後には継続的なリスクはないと説明しましたが、生成 AI における脆弱性や危険性がユーザー間で浮き彫りになった事例であるといえるでしょう。

参照：March 20 ChatGPT outage: Here’s what happened｜OpenAI

2023年6月には、シンガポールのセキュリティ企業 Group-IB が、10 万件以上の ChatGPT アカウントがダークウェブで売買されているという調査結果を公表しました。

このアカウント情報の多くは、「インフォスティーラー（Info Stealer）」と呼ばれるマルウェアによって盗まれたもので、ユーザーのブラウザに保存されたログイン情報が標的にされました。特に、日本国内でも約 660 件の流出が確認されており、企業や個人にとって無視できないリスクです。

盗まれたアカウントを通じて、ユーザーが ChatGPT 上でやりとりした業務に関する情報や個人情報などの機密事項が第三者によって閲覧・悪用される恐れもあります。ChatGPT はデフォルトの設定では会話履歴を保存する仕様であるため、アカウントが乗っ取られることで、そのまま情報漏えいへつながるリスクを孕んでいます。

この事例によって、生成 AI そのものの安全性だけではなく、アカウント管理やマルウェア対策といったユーザー側でのセキュリティ対策が不十分だと、二次的な被害が広がるリスクがあることが理解できます。

参照：Group-IB Discovers 100K+ Compromised ChatGPT Accounts on Dark Web Marketplaces; Asia-Pacific region tops the list｜Group-IB

2024年3月、対話型生成 AI サービス「リートン」において、ユーザーが入力したプロンプト（指示文）や登録情報が第三者に閲覧・編集可能な状態だったことが明らかになりました。リートンを運営するリートンテクノロジーズジャパンは、データベースシステムの設定に不備があったことが原因であると発表しています。

問題が判明したのは2023年11月末で、ユーザーからの指摘により発覚し、その後調査を経て登録されたニックネーム、入力プロンプトとその生成結果、登録時のメールアドレス、LINE の ID などが、特定の操作を通じて外部から閲覧・編集可能な状態にあったことが確認されました。

脆弱性そのものは 2023 年 12 月 8 日までに解消されており、情報の悪用などは確認されていないとしています。さらに 2024 年 1 月までにシステム全体のセキュリティ改修を実施し、4 月以降は外部のセキュリティコンサルティングを導入するなど、再発防止に向けた取り組みも進められています。

参照：脆弱性解消のご報告及び今後の対応について｜株式会社リートンテクノロジーズジャパン

2022 年 12 月、大手 EC サイトを運営する企業が、自社の内部データと密接に一致する回答を ChatGPT が生成していたことを確認し、社内での生成 AI 利用に対する制限措置を講じたことが報じられました。

この事例では、具体的に ChatGPT に入力された内容や生成された出力の詳細は明かされていないものの、社内の機密情報やコードが、ChatGPT の学習データに含まれていた可能性が高いとされています。これにより、第三者が AI を通じて企業機密に近い情報を入手できてしまうという情報漏えいリスクが浮き彫りになりました。

同社はこれを受けて、社内での ChatGPT 使用を即座に制限し、従業員に対して、内部データに関わるコードなどの機密情報を生成 AI に入力しないよう厳重に注意喚起しました。こうした早急な対応からも、同社がこの事態を非常に深刻に捉えていたことがうかがえます。

2023 年 4 月、韓国の大手電子製品メーカーにおいて、エンジニアが開発中のソースコードを ChatGPT に入力し、デバッグを依頼するという行為が発覚しました。入力されたコードには製品の構造や設計思想など、競合に知られてはならない機密情報が含まれていたとされます。

このとき、データの学習をオプトアウトしていなかったことから、社内で管理しているソースコードが外部環境に漏れるリスクが浮き彫りになりました。

このケースでは、現場のエンジニアが個人の判断で生成 AI を利用していたこともあり、情報管理部門が事態を把握するまでに時間がかかりました。同社では、この件を受けて AI チャットボットの社内使用を制限する措置を取りました。

ここまで、生成 AI の利用による情報漏えいの事例をご紹介しました。上記の事例をはじめ、主に生成 AI による情報漏えいは、以下のような原因から発生します。

生成 AI における情報漏えいのリスクとして、最も基本的かつ見落とされやすいのが、ユーザー自身が入力した情報が AI の学習データとして蓄積されることによる漏えいです。生成 AI は、過去の入力データをもとに回答精度を高めていく仕組みであり、ユーザーとの会話履歴や入力内容を学習データとして再利用する場合があります。

例えば、企業の開発部門の担当者が、製品仕様に関するメモやソースコード、プロジェクト名などを 生成 AI に入力したとします。その情報が AI に学習されると、将来的に別のユーザーが似た質問をした際、意図せずその内容が出力されるリスクがあります。

個人情報についても同様で、住所・電話番号・氏名などを含む文章を入力すると、AI がそれを記憶し、ほかの会話の中で回答として出力する可能性があります。AI は情報の重要性や機密性を自動で判断することはできないため、入力された内容を一律に学習素材として処理してしまうため、注意が必要です。

生成 AI 特有のリスクとして近年注目されているのが、プロンプトインジェクション攻撃です。この攻撃手法は、悪意のあるユーザーが巧妙に構築したプロンプトを使って、AI に本来許可されていない情報を出力させることを目的としています。

例えば、攻撃者が生成 AI に対し、システム設定の上書きを意図するプロンプトを入力し、そのうえで機密情報に関する質問を続けた場合、AI が誤って情報を出力してしまう可能性があります。

このような攻撃は、AI モデルが「入力されたテキストをそのまま命令と受け取って実行してしまう性質」を悪用したものであり、特にチャットボット型の AI など、ユーザーとの対話を前提としたツールでリスクが高いとされています。

ここまでご紹介したように、生成 AI の多くは、ユーザーが入力したテキストを学習データとして蓄積し、今後の回答精度を高めるために利用しています。この学習データが保存されているサーバーやストレージに対して、外部からの不正アクセスが行われると、機密情報や個人情報が流出する危険性が生じます。

生成 AI サービスのセキュリティ体制が不十分である場合、サイバー攻撃の対象となりやすく、保管中の学習データが攻撃者によって窃取・悪用されるリスクがあります。特にクラウドベースで提供されている生成 AI では、世界中に分散されたデータセンターへの攻撃経路が複数存在し、対策の難易度も上がります。

さらに注意が必要なのは、外部からの攻撃だけでなく、AI サービスを提供する企業の内部関係者による情報への不正アクセスもリスク要因になりうる点です。例えば、生成 AI の開発元である従業員が管理権限を悪用してユーザーデータにアクセスし、内部情報を外部に漏らすといったケースも理論上は否定できません。

生成 AI は高度な自然言語処理技術を基盤とする一方で、システムとしての複雑さゆえに予期せぬ不具合が発生するリスクを常に抱えています。また、生成 AI サービスは継続的に改良が加えられており、その過程でバグや設計ミスに起因する情報漏えい事故が起こる可能性もゼロではありません。

例えば、生成 AI が想定外の挙動を示して本来非公開であるべき情報を外部に出力したり、データの送信先を誤ったりするといった事象が起こるリスクがあります。こうした問題は、ユーザー側に明確なミスがなくても、システム内部の問題だけで情報が流出してしまう点で非常に深刻といえるでしょう。

ここまで、生成 AI での情報漏えいが生じるときに考えられる主な原因をご紹介しました。このような原因によって情報漏えいを引き起こさないよう、企業では以下のような点に注意しながら生成 AI を活用するとよいでしょう。

生成 AI を業務や日常で活用するうえで、最も基本かつ重要なリスク対策は、機密情報や個人情報を入力しないことです。AI は、ユーザーが入力したデータを一時的または恒常的に保持して学習に活用する可能性があるため、機密情報を入力することで情報漏えいを引き起こす恐れがあります。

特に注意が必要なのは、氏名・住所・メールアドレス・電話番号・銀行口座情報・クレジットカード情報・マイナンバーといった、個人を特定可能な情報です。こうした情報は、たとえ AI に一度入力しただけであっても、学習データに含まれて再出力されるリスクがあるため、入力しないことを徹底すべきでしょう。

安全性を高める方法として、匿名化やマスキング処理を施したデータで AI に指示を出す運用が有効です。例えば、顧客名を「A社」「B社」と置き換える、特定の製品名を伏せるといった工夫により、情報が特定されるリスクを軽減できます。

生成 AI の情報漏えいリスクを抑えるためには、社内での明確な利用ルールの策定と、それを全従業員に周知・徹底することが重要です。技術的なセキュリティ対策を講じても、利用者の判断ミスが原因で機密情報が入力されてしまえば、情報漏えいの危険性は残ります。

まず、社内で生成 AI を利用するにあたって、入力が禁止されている情報を具体的にリスト化し、業務別に明示しましょう。例えば、開発部門であればソースコード、営業部門であれば顧客情報、総務・人事部門であれば従業員や求人応募者の個人情報など、職種ごとにセキュリティリスクの高い情報を具体化することで、現場での判断を助けられます。

こうしたルールを周知する際は、単に禁止事項を並べるだけでなく、その背景や根拠を示し、従業員の納得感を得ることが重要です。例えば、他社で発生した情報漏えいの事例や、法的なリスクを交えて説明することで、なぜこのルールが必要なのかを理解してもらいやすくなります。

生成 AI を安全に活用するうえで重要なのが、入力した情報が AI の学習データとして再利用されないように設定することです。多くの生成 AI ツールには、学習に利用しないよう「オプトアウト」機能が用意されており、これを活用することで情報漏えいリスクを大きく下げられます。

ただし、オプトアウト設定を有効にしていたとしても、AI サービスの提供企業がシステムの保守・不正利用防止などの目的で一時的にデータを保存している場合がある点には注意が必要です。例えば、OpenAI ではセキュリティ上の理由から、オプトアウト状態でも最大 30 日間プロンプトのデータを保持する仕組みがあると公表されています。

参照：OpenAI は、データ保持と API 利用の監視をどのように行っていますか？｜OpenAI

生成 AI を業務に安全に組み込む方法として、API を利用するのもおすすめです。ChatGPT など一部の生成 AI サービスでは、API を通じて機能を外部システムに統合できるようになっており、この方法を採用することで情報漏えいリスクを大幅に低減できます。

たとえば、ChatGPT の API や Azure OpenAI Service を活用すれば、企業の自社環境内で生成 AI の機能を利用可能になります。こうすることで、入力された情報が学習されたり、第三者に送信されたりするリスクを抑えられ、アクセス制御や監視などのセキュリティ対策も社内システムと一元管理しやすくなります。

この記事では、生成AIに関する情報漏えいの事例や原因、安全に活用するための対策についてご紹介しました。

生成 AI は、業務の効率化や生産性向上に大きなメリットをもたらす一方で、入力内容の扱い方によっては、企業の機密情報や個人情報が外部に漏れてしまうリスクもあります。そのため、技術面だけでなく運用面での対策やルールの整備も欠かせません。

記事内でも触れたとおり、生成 AI を安全に活用するには、入力事項の制限や学習のオプトアウト設定、API の利用、社内ガイドラインの整備など、さまざまな方法が挙げられます。

中でも、企業で本格的に生成 AI を業務に取り入れたい場合は、Microsoft 365 Copilot の利用がおすすめです。Microsoft 365 Copilot に入力されたデータは保護され、AI の学習には利用されないため、企業でも安心して活用できます。

Microsoft 365 Copilot は、Word や Excel、PowerPoint、Outlook といった日常業務で使われるアプリケーションに AI を統合し、セキュリティと利便性を両立した形で生成 AI を活用することが可能です。

また、Microsoft 365 Copilot の強みを最大限に引き出すために、Copilot+ PCの導入もおすすめです。

Copilot+ PC は、従来のPCに搭載されている CPU や GPU に加えて、AI 処理に特化した NPU を搭載しており、クラウドに依存せず、ローカル環境でも AI 処理がスムーズに行えるのが特長です。

情報漏えいリスクを回避しながら、安心して生成 AI を業務に活かしていきたいと考えている方は、Microsoft 365 Copilot と Copilot+ PC をあわせて活用してみてはいかがでしょうか。

Copilot+ PC については、以下のページをご覧ください。