本記事では、生成AIのリスクに関心のある方向けに、生成AIによる事件やリスクについて、具体的な事例とともにわかりやすくご紹介します。

こんな方におススメ

• 生成AIによる事件の事例を押さえておきたい
• 生成AIを活用するリスクや対応策について知りたい
• 生成AIのビジネス活用を検討している

本記事を読めば、生成AIのリスクを理解するうえで、絶対に押さえておきたい知識を、一気にキャッチアップすることができますのでぜひ最後までご一読ください。

またAI総研では、AI活用を検討する上で押さえておきたい、AI・ChatGPTの最新活用事例50選の狙いや取り組みをまとめたレポートを無料で配布しています。ご興味のある方は、以下リンクからダウンロードしてご活用ください。

⇒AI・ChatGPT活用事例50選の資料ダウンロードはこちら(無料)

そもそも生成AIとは？

生成AIとは、「ジェネレーティブAI(Generative AI)」とも呼ばれ、文章・画像・音声など新たなコンテンツを生成するAIのことを指します。

近年の急速な技術進歩により、簡単な利用方法で、人間が作成したものと同等、あるいはそれ以上の質のコンテンツを自動で生成できるようになったことから、既存のビジネスや業務のあり方を変えていく存在として、大きな注目を集めています。

既に人間の作業をサポートするツールとしての活用が進んでおり、例えば、テキスト生成AIで長文のレポートを要約する、画像生成AIで広告用の独自の画像を作成する等の活用が可能です。

※生成AI/ChatGPTの活用を検討する際に必ず押さえておきたい、基礎知識から活用の進め方、ポイントまでをまとめた資料をダウンロード頂けます。
⇒【ゼロから分かる】生成AI/ChatGPT活用ガイドブックの資料ダウンロードはこちら(無料)

【2024年最新】生成AIによる事件５選

生成AIによる事件の事例として、以下の5つが挙げられます。

• ①サムスン：社内ソースコードが生成AI経由で外部に流出
• ②日本のChatGPTアカウント661件が闇取引市場で売買される
• ③香港の多国籍企業：ディープフェイクの同僚に騙され38億円送金
• ④ニューヨークタイムス：記事が学習されたとしてオープンAIを訴訟
• ⑤米国の作家：著作物を学習されたとしてオープンAIを訴訟

それぞれの事例についてわかりやすく紹介していきます。

※200事例の分析に基づく、企業の生成AI/ChatGPT活用でよくある失敗とベストプラクティスをまとめた資料をダウンロード頂けます。
⇒生成AI/ChatGPT活用しくじり大全の資料ダウンロードはこちら(無料)

①サムスン：社内ソースコードが生成AI経由で外部に流出

生成AI活用による代表的な企業の情報漏洩事例として韓国サムスン電子での情報漏洩が挙げられます。

サムスン電子は、従業員によるChatGPTなどの生成人工知能（AI）ツールの利用を禁止する新ポリシーを策定しました。

これは、従業員がChatGPTにセンシティブなデータをアップロードし、誤って情報をリークさせた事例が発覚したためです。

詳細な内容は不明ですが、エンジニアが社内ソースコードをChatGPTにアップロードし、外部サーバーに保存されたデータが他のユーザーに開示されたことが背景にあるとされています。

新たなポリシーは、社内のコンピューターやタブレット、携帯電話、社内ネットワークでの生成AIシステムの使用を禁止し、個人所有の端末でChatGPTなどを利用する場合には、サムスンの知的財産や会社関連の情報、個人データを入力しないよう要求しています。

②日本のChatGPTアカウント661件が闇取引市場で売買される

シンガポールの情報セキュリティ会社Group-IBは、日本からChatGPTのログイン情報（IDとパスワード）が漏洩していると発表しました。

グループIBは、ウェブブラウザなどに保存された情報を盗み出すマルウェア「インフォスティーラー」によってこの漏洩を検知しました。

2023年5月までの1年間で、ChatGPTのアカウントがダークウェブの闇市場で取引されており、その中で少なくとも661件が日本からの漏洩であることが確認されています。

③香港の多国籍企業：ディープフェイクの同僚に騙され38億円送金

香港の多国籍企業の財務担当者が、AIで合成された同僚の姿を悪用したビデオ通話に騙され、約38億円を送金する事件が発生しました。

香港警察によると、担当者が参加したテレビ会議の映像と音声はいずれもAIを利用して合成・複製された偽物(ディープフェイク)だったとのことです。

この事件は、ディープフェイク技術を利用した初の大規模な詐欺として注目を集めています。

④ニューヨークタイムス：記事が学習されたとしてオープンAIを訴訟

ニューヨーク・タイムズがオープンAIとマイクロソフトに対し、「数十億ドル」の損害賠償責任を求める形で訴訟を提起しました。

同紙は、インターネット上の膨大なデータを分析して「学習」するChatGPTが、許可なく同紙の記事を利用し、購読料収入及び広告収入の機会を奪っていると主張。この訴訟は、AIの利用と著作権の保護という点で新たな議論を呼び起こしています。

⑤米国の作家：著作物を学習されたとしてオープンAIを訴訟

「ゲーム・オブ・スローンズ」の作者ジョージ・R・R・マーティン氏などの作家たちは、対話型AI「ChatGPT」が自身の著作権を侵害しているとして、その開発元であるオープンAIに対して訴訟を起こしました。

この訴訟では、ChatGPTが作家たちの許可なく著作物のデータを使用していることが問題視されています。

一方、オープンAIも、作家の権利を尊重していると説明。「作家らもAI技術から利益を得るべきだ」との考えを表明しており、今後の動向に注目が集まっています。

企業が生成AIを活用する際の７大リスク

企業が生成AIを活用する際の代表的なリスクとして以下の７つが挙げられます。

• ①機密情報の漏洩
• ②プロンプトインジェクション
• ③著作権・商標権などの権利侵害
• ④ディープフェイク
• ⑤間違ったアウトプットの生成(ハルシネーション)
• ⑥倫理的に不適切なアウトプットの生成
• ⑦生成AIの過信による業務ミス

それぞれについてわかりやすく紹介していきます。

※生成AI/ChatGPTを導入する前に必ず押さえておきたい、主要なリスクと具体的な対策をまとめた資料をダウンロード頂けます。
⇒生成AI/ChatGPT導入のリスクと対策ガイドブックの資料ダウンロードはこちら(無料)

①機密情報の漏洩

各ユーザーが生成AIに入力したデータは、生成AIが学習し進化するために、基本的にはクラウド上で保管されます。

そのため、会社内部の機密情報や顧客の個人情報などを入力してしまうと、生成AIサービス提供者や他のユーザーに機密情報が流出してしまうリスクが存在します。

②プロンプトインジェクション

プロンプトインジェクションとは、悪意あるユーザーが、ChatGPTなどの対話型AIに、特殊な指示や質問を入力することで、本来公開すべきでない機密情報やデータを引き出すサイバー攻撃の一種です。

2023年2月には、米国の大学生がマイクロソフト社のBingに搭載される生成AI検索エンジンに対し、プロンプトインジェクションを行い、非公開の指示やBingチャットの開発用コードネームを引き出すことに成功したなど、実際に機密情報が流出する事例も存在します。

③著作権・商標権などの権利侵害

生成AIの既存の著作物を学習データ活用することは、原則として著作権者の許諾なく可能とされています。

一方で、生成AIによって生成されたコンテンツの公開や販売をする際には、基本的には通常の著作権侵害の検討が適用されます。

生成されたコンテンツに、既存のコンテンツとの類似性や依拠性が認められれば、著作権者は著作権侵害として損害賠償請求・差止請求が可能であるほか、刑事罰の対象となりえます。

④ディープフェイク

ディープフェイクとはディープラーニング技術を活用し、実際に存在しない、人物の動画や画像を生成する技術です。

この技術により、人間が見ても区別がつかないほど高精度なメディアが作成可能となり、そのリアルさから、詐欺やフェイクニュースの拡散などに悪用され、大きな問題となっています。

⑤間違ったアウトプットの生成(ハルシネーション)

生成AIの利用方法によっては、事実と異なる誤った情報/アウトプットを真実のように堂々と生成するハルシネーションという現象が起こります。　

例えば、高度な専門性を要する分野での回答や定量データの抽出や計算において、ハルシネーションが多く見られる傾向にあります。

⑥倫理的に不適切なアウトプットの生成

生成AIのアウトプットは学習データの内容に大きく左右されます。

そのため、学習データのボリュームが少なく、内容にバイアスがある場合、人種や性意識に関する差別や憎悪を助長する内容など、倫理的に不適切なアウトプットが生成されてしまうリスクが存在します。

⑦生成AIの過信による業務ミス

生成AIは非常に便利なツールであり、適切に利用することで業務生産性を大きく高めることが可能ですが、どのようなシチュエーションでも万能という訳ではありません。

生成AIは入力データに依存して機能するため、そのデータが不完全だったり偏りを持っていたりすると、生成される結果も誤りを含むことがあります。さらに、生成AIは人間の倫理感覚や判断能力を有していないので、提供する情報が常に正確であるわけではありません。

例えば、生成AIを利用して法的な契約書を作成した場合、誤った法的内容を含む文書が作成されることも考えられます。このような状況では、法的な問題に発展する可能性が高まり、その結果、深刻なトラブルに繋がるリスクがあります。

企業が生成AIのリスクに対して取るべき６つの対応策

企業が生成AIのリスクに対して取るべき代表的な対応策として以下の6つが挙げられます。

• ①最適な生成AI活用範囲の設定
• ②最適なAIツールの選定・導入
• ③リスクを最小化するデータマネジメント
• ④従業員向けの利用ルール・マニュアルの策定
• ⑤従業員の生成AI活用リテラシーの向上
• ⑥最新動向を踏まえた生成AI活用方法の定期的な見直し

それぞれについてわかりやすく紹介していきます。

①最適な生成AI活用範囲の設定

生成AIは全ての業務に対して万能という訳ではなく、明確に得意不得意が存在します。

そのため、生成AI活用の成果を最大化し、リスクを最小化するためには、活用に活用する範囲を適切に設定することが極めて重要です。

これにより、不適切な情報生成や不意の法的問題の防止につながります。

②最適なAIツールの選定・導入

各企業の状況や目的に最適なAIツールの選定と導入は、安全かつ効率的なAI活用に向けてh上に重要です。

利用するAIツールは、その機能、性能、セキュリティ対策が自社の要求を満たしているかを評価し、適切なものを選ぶ必要があります。

さらに、AIツールの導入時も、ユーザーが入力した内容を学習させない「オプトアウト」を選択する等の対処を取ることで、自社のリスクを最小化することができます。

※生成AIツールの導入を検討される方に、おすすめの10大生成AIツールの特徴や選び方、活用方法をまとめた資料をダウンロード頂けます。
⇒10大生成AIツール徹底比較の資料ダウンロードはこちら(無料)

③リスクを最小化するデータマネジメント

生成AIは、入力されたデータに基づいて動作するため、データマネジメントの質がAIの出力品質に直結します。

データの正確性、偏りのなさ、機密性の保持は、リスクを最小化する上で極めて重要です。

適切なデータマネジメントの実施により、データの質を確保し、情報漏洩や不正確な情報生成のリスクを低減します。

④従業員向けの利用ルール・マニュアルの策定

生成AIの効果的な利用とリスクの最小化のためには、企業が従業員向けの明確な利用ルールやマニュアルを策定することが重要です。

具体的には、社内でのAIの使用目的、使用範囲、倫理ガイドライン、データ取り扱いのルール・マニュアルを策定する必要があります。

⑤従業員の生成AI活用リテラシーの向上

生成AIのポテンシャルを最大限に活用し、同時にリスクを管理するためには、従業員のAIに関する理解とスキル、すなわちAIリテラシーを向上させることが不可欠です。

研修プログラムや実践的なトレーニングを通じて、従業員が生成AIの基本的な知識、適切な使用方法、関連するリスクを理解してもらい、効率的かつ責任ある方法で使用できる環境を構築することが求められます。

⑥最新動向を踏まえた生成AI活用方法の定期的な見直し

生成AIの技術・サービスは日々進化しており、新たな活用方法や利用プロセスが登場し、それに応じて新たなリスクが生じる可能性が高いです。

したがって、国内外の生成AIに関する最新の動向を常に把握し、企業の生成AI活用方法を定期的に見直し、更新することが必要となります。

企業が生成AIを活用する６つのメリット

企業が生成AIを活用する際の代表的なメリットとして以下の６つが挙げられます。

• ①業務自動化による人手不足解消・コスト削減
• ②業務サポートによる品質・スピードの向上
• ③社内知見の共有・業務の標準化
• ④マーケティングの最適化・費用対効果向上
• ⑤顧客体験のパーソナライズ・自動化
• ⑥新規商品・サービスの創出

それぞれについてわかりやすく紹介していきます。

※200事例の分析に基づく、企業の生成AI/ChatGPT活用方法の９つの定石と最新事例をまとめた資料をダウンロード頂けます。
⇒生成AI/ChatGPTの活用アイデア集の資料ダウンロードはこちら(無料)

①業務自動化による人手不足解消・コスト削減

生成AIを活用することで、リサーチや分析、メール分・資料作成など様々な社内業務を自動化することができ、人手不足解消やコスト削減を実現することができます。

特に定例的な業務は生成AIによる自動化が容易で、それらの業務担当を従業員から生成AIに置き換えることで、コストを削減したり、より重要な業務に注力してもらったりと、企業の競争力強化に繋げることができます。

②業務サポートによる品質・スピードの向上

各種業務に生成AIを活用することで、効率化だけでなく、アウトプットの品質やスピードを向上させることができます。

生成AIは膨大な学習データから最適なアウトプットを生成できる点が特徴であり、また人間と異なり24時間365日疲労せずに稼働し続けることが可能です。

生成AIを各社の独自のデータや知見を組み合わせて活用することで、経験の浅い従業員でも、一定以上のアウトプットを作成できるようになります。

③社内知見の共有・業務の標準化

これまで、社内の各所に文書やPDFデータの形で点在していた知見を、生成AIを活用し構築したデータ基盤に統合することが可能です。

従業員は自分の置かれた状況や知りたい知見をチャット形式で入力することで、即時で最適な知見にアクセスすることが可能となります。

※文章作成やリサーチなど日々の業務効率化に使える、おすすめ生成AIツールや５大活用方法、ポイントをまとめた資料をダウンロード頂けます。
⇒【今日から使える】AI/生成AI活用仕事術大全の資料ダウンロードはこちら(無料)

④マーケティングの最適化・費用対効果向上

生成AIは、データ分析と文章・画像などのクリエイティブ作成を得意としており、マーケティング業務と非常に相性が良いです。

生成AIを活用することで、個々のユーザーの行動や興味に基づいてパーソナライズされた広告・クリエイティブを生成可能です。

これにより、ターゲット層へのアピールが強化され、より高いエンゲージメントとコンバージョン率を期待できます。

⑤顧客体験のパーソナライズ・自動化

生成AIと社内データを活用し、顧客対応向けの独自のチャットボットなどを構築することで、顧客からの問い合わせ等に対して、24時間365日自動対応し、パーソナライズされた回答やサポートを行うことができます。

AIと人間が適切な分担を行うことで、従来よりスムーズできめ細やかな顧客が提供可能となり、顧客/ユーザーの満足度が向上します。

⑥新規商品・サービスの創出

生成AIは膨大なデータに基づき、従来の人間の発想に囚われないクリエイティブや商品やサービスの企画や設計/デザインなどが可能です。

また、生成AIの特徴として、多様なパターンの企画案や設計/デザイン案を即時に出力可能な点が挙げられます。　

幅出しのプロセスは生成AIを活用し、評価・選定の部分は人間が担うというサイクルを回すことで、従来のアプローチよりも、よりよい商品やサービスを創出することができます。

企業の生成AIの活用事例６選

企業の生成AIの活用事例として以下の6事例が挙げられます。

• ①伊藤園：生成AIで作成したモデルをテレビCMに起用
• ②大林組：生成AIがスケッチを基に建物の複数のデザイン案を提案
• ③学研：生成AIを活用した個別アドバイスを提供
• ④パナソニックコネクト：AIアシスタントを導入し1日5000回の利用
• ⑤西松建設：生成AIを活用し高精度な建設コストの予測へ
• ⑥シーメンス：製造業向けアプリケーション開発を生成AIで効率化

それぞれについてわかりやすく紹介していきます。

※国内外の最新生成AI/ChatGPT活用事例50選をまとめた資料をダウンロード頂けます。
⇒生成AI/ChatGPT活用事例50選の資料ダウンロードはこちら(無料)

①伊藤園：生成AIで作成したモデルをテレビCMに起用

伊藤園は、リニューアル発売した「お〜いお茶　カテキン緑茶」のテレビCMに、生成AIで作成したモデルを起用しました。

本事例は、AIモデルをテレビCMに起用したことや、AIモデルが本物の人間と見分けのつかないクオリティに仕上がっていることから、SNSでも大きな話題となりました。

また、同社は広告モデルだけでなく、お〜いお茶の新たな商品パッケージデザインの作成にも生成AIを活用しています。

②大林組：生成AIがスケッチを基に建物の複数のデザイン案を提案

大林組は、初期段階の設計業務の効率化が可能な生成AIを活用したツールを開発しました。

このツールを用いると、建物の大まかな形状を描いたスケッチや、コンピュータで作成した3Dモデルを基にして、建物の外観デザインを複数の提案を受けることが可能です。

その結果、迅速なデザイン生成を可能にし、設計者が手作業で行っていた時間のかかるプロセスを省略。

これにより、設計者は、顧客の要望をすぐに形にし、顧客との意見のすり合わせをスムーズに行え、最終的なデザインへの合意を迅速に進めることができます。

③学研：生成AIを活用した個別アドバイスを提供

学研ホールディングスは、オリジナル学習システム「GDLS」でChatGPTを活用し、個別に最適な学習アドバイスを提供するベータ版を開始しました。

このシステムは、生徒の学習履歴や理解度の変化に基づいて各生徒に対して適切な学習アドバイスを提供し、学習効果を最大化します。

学研オリジナル学習システム（GDLS）は、生徒が毎日ログインする習慣を促し、学習への意欲を高めます。さらに、学研メソッドはこれまでもAIを活用し、正答率に合わせた問題出題などを行っており、GDLSはその発展形となっています。

※これさえ読めば、ChatGPTの機能・できること・活用方法まで全てわかる、最新情報をまとめた資料をダウンロード頂けます。
⇒【5分でわかる】ChatGPT活用ガイドブックの資料ダウンロードはこちら(無料)

④パナソニックコネクト：AIアシスタントを導入し1日5000回の利用

パナソニック コネクトでは、社内データベースを連携させたAIアシスタントによる業務効率化のプロジェクトを進めています。

この取り組みにより、自社業務や現場の個別課題に対応した回答生成が可能となり、社外秘情報にも対応する自社特化AIの運用開始も予定しています。

導入後3カ月で、想定の5倍以上の約26万回の利用があり、日々約5000回もの質問がAIに投げかけられているとのことです。

⑤西松建設：生成AIを活用し高精度な建設コストの予測へ

西松建設は、建設業界特有の大幅な物価変動に対応するため、建設コストの予測に生成AIを活用したツールを導入しています。

本ツールでは、建設コストへの影響要因となるニュースや統計を基に物価変動の精度高い予測を提供し、建設費用の見積もりにおけるリスクを軽減します。

この取り組みにより、価格上昇が見込まれる際には早期の発注を行うなど、購買戦略に大きな効果をもたらすことが期待されています。

⑥シーメンス：製造業向けアプリケーション開発を生成AIで効率化

シーメンスは、生成AIとデジタルツイン技術を駆使して、製造業のアプリケーション開発をサポートするサービスを提供しています。

本サービスでは、最小限のプログラミング知識でウェブアプリを構築できるツールに生成AIを導入することで、顧客のアプリ開発プロセスを効率化しています。

主に製造業での利用を想定しており、エンジニアは生成AIからの提案によって工場の生産性を最大化する部品の組み合わせやサイズの最適化などが可能となります。

企業が生成AI活用を成功させるための５つのポイント

企業が生成AI活用を成功させるために抑えるべきポイントは以下の５つです。

• ①業務内容の棚卸しと活用インパクトの試算
• ②投資対効果の高い課題/目的と活用方法の選定
• ③アジャイルアプローチでの開発・導入
• ④システムとルールの両面からのリスク管理
• ⑤研修等での社員のAI活用リテラシーの向上

それぞれについてわかりやすく紹介していきます。

※生成AI/ChatGPTを導入する前に必ず押さえておきたい、基礎知識や導入方法３パターンの比較、リスクと対策などをまとめた資料をダウンロード頂けます。
⇒生成AI/ChatGPT導入マニュアルの資料ダウンロードはこちら(無料)

①業務内容の棚卸しと活用インパクトの試算

生成AI活用の成否を分ける最大のポイントは、生成AIを活用する意義の大きな業務に対して活用することに尽きます。　

活用の方針や戦略がないまま活用を進めるのではなく、自社の業務内容・フローをしっかりと棚卸しした上で、どの程度業務効率やアウトプット向上に繋がるかを試算することが重要となります。

②投資対効果の高い課題/目的と活用方法の選定

生成AIは全ての業務に対して万能という訳ではなく、膨大なデータに基づいたコンテンツ制作は得意だが、複雑な問いに対して正確な答えを出すのは苦手といった、明確な得意不得意が存在します。

そのため、自社の業務の現状や生成AIの特徴を踏まえた上で、どのような課題/目的に対して、どのようなアプローチ/範囲/ツールで活用を進めるかを、検討・選定するステップがプロジェクトの投資対効果を左右する、極めて重要なプロセスとなります。

③アジャイルアプローチでの開発・導入

生成AIは、一度開発・導入して終わりという進め方ではなく、何度もモデル・学習データ・利用方法等を細かくカスタマイズしなおすことで、より理想とする活用を実現することができます。

具体的には、初期仮説に基づいた簡易的なプロトタイプを構築し実際に利用してみる、というサイクルを、1サイクル数週間の期間で何度も繰り返し、ブラッシュアップしていくという、アジャイル開発のアプローチを取ることが適しています。

④システムとルールの両面からのリスク管理

企業が生成AIの活用に踏み切れない最大の理由として、機密情報漏洩や著作権侵害などのリスクへの懸念が挙げられます。

確かに、社員に特段ルールを設けず、一般に公開されている生成AIを活用させた場合、様々な問題が発生する可能性は存在します。

一方で、入力するデータが学習されないようなシステム構築や使用範囲・機密情報の取扱等の運用ルールの策定により、リスクをマネジメントし最小化することが可能です。

⑤研修等での社員のAI活用リテラシーの向上

生成AIの特徴として、AIとの対話によってアウトプットを引き出すことが求められるため、使い手のリテラシーによって成果が大きく左右されることが挙げられます。

そのため、生成AIのポテンシャルを最大限に活用するためには、従業員のAIに対する理解とスキル、すなわちAIリテラシーを向上させることが不可欠です。

研修プログラムや実践的なトレーニングを通じて、従業員が生成AIの基本的な知識、適切な使用方法、関連するリスクを理解してもらい、効率的かつ責任ある方法で使用できる環境の構築が必要となります。