ブログ

AI時代のセキュリティ対策|企業に脅威をもたらすAI攻撃や対策を解説(Vol-151)

  • 公開日:

近年、会話や情報要約、画像生成や記事作成などさまざまな分野でAI技術が躍進し、実用レベルとなったことから多くの個人や企業に活用されています。

しかしAI技術の広まりには残念ながら良い面ばかりがあるというわけではなく、企業にとって脅威となるサイバー攻撃にもAI技術の悪用がみられることから、セキュリティ対策をする側としても、それらに対応することが求められています。

本記事ではAI時代のセキュリティ対策をテーマとして、そもそもAIセキュリティとは何を指すか、どのような脅威が考えられ、どのような対策をすべきかといった関連情報をまとめて解説します。

「AIセキュリティ」とは何を指すか

まずは、「AIセキュリティ(人工知能セキュリティ)」という言葉について、どのような概念であるかという基礎知識を、本記事での定義を含めて解説します。

近年、さまざまなメディアで見聞きするようになった「AIセキュリティ」という言葉は、実は使われる場面によってふたつの意味に分かれることに注意が必要です。

実際にWebメディアや雑誌などで「AIセキュリティ」と書かれていても、英語で表現するところの「Security for AI」という意味合いで使われているケースと、「AI for Security」という意味合いで使われているケースが混在しているのです。

「Security for AI」とは、企業が取り扱うAI自体(活用しているAIモデルやAIデータ)を、外部からもたらされる悪意のある攻撃から守る(企業の資産としてAIを守る)、という考え方です。

一方の「AI for Security」は、端的にいうと「セキュリティ対策のためにAIを活用する」という考え方です。例えば、既存のセキュリティ対策をAIを使って強化したり、AIを搭載した新しいセキュリティ対策ツールを導入したり、といったことが該当します。

本記事では、おもに前者(Security for AI)について紹介していきます。

企業に大きなリスクを招くAIセキュリティ脅威の具体例

企業が活用しているAIモデルや、AIが取り込んで活用しているデータなどに対して、どのような攻撃が行われたり、リスクが発生する可能性があるのかを見ていきましょう。

機密情報漏洩

企業のさまざまな業務の中で生成AIツールを活用していると、望む回答や出力を得るために、人間が以下のような種類の情報をAIへ渡すケースが考えられます。

  • 自社の顧客に関する情報
  • 自社従業員に関する情報
  • 自社の財務や経営戦略に関する情報
  • 公表していない自社プロジェクトの内容
  • 研究開発データ
  • その他、外部に漏洩してはならないあらゆる種類の情報

例えば、請求書の取りまとめや誤脱チェックのためにCRMのデータと顧客情報が記載された請求書のPDFをAIに参照させたり、プロジェクトを上司へプレゼンするためのスライドショー草稿を生成するために、未公表の情報を含むデータをAIに読み込ませたり、といったケースです。

しかし、なんの対策も行わずにただAIへ参照させたり、入力したりで渡したデータは、機械学習に使用される可能性が常にあります。そして機械学習された情報は、いつでも他のユーザー(社内・社外問わず)への回答に活用されてしまうリスクがあるのです。

実際に海外では、従業員が生成AIにアップロードした機密情報が外部サーバーに保存されてしまった事例も報告されています。

ポイズニング攻撃

ポイズニング攻撃とは、AI時代到来のはるか昔からあるサイバー攻撃の一種で、企業や個人が活用しているシステムへ外部から不正な情報を混入させることで、システムの動作や出力結果を意図的に誤らせ、攻撃者が望む結果を得るという類の攻撃手法を指します。

古くからみられるポイズニング攻撃としては、DNSサーバーのキャッシュに偽情報を混入させ、そのDNSの利用者が正しいURL(例えば銀行のサイトへログインするためのURLなど)を入力しても偽のサイトへと飛ばされてしまう「DNSキャッシュポイズニング」や、データベースが誤動作をするように仕向け、顧客情報を不正に変更したり、金融取引の記録を改ざんしたりといった致命的な結果を招く「データ・ポイズニング」などが有名です。

そしてAI時代である現代にすでにみられる新たなポイズニングとして、「MLモデル・ポイズニング(機械学習モデルポイズニング)」があります。

この攻撃では、AIの機械学習システムそのものが狙われ、AIに意図的に改ざんされたデータを渡すことによって動作を誤らせ、誤った予測や判断に導いてしまいます。

例えばAIが機械学習を基に振り分けを行っていたスパムメールフィルターが、攻撃者が送り込んだスパムメールを正常かつ重要なメールとして振り分けてしまったり、逆に重要なメールをスパムと誤認しまったりと、攻撃者が意図した、かつ企業にとってリスクのある結果を招いてしまいます。

回避攻撃

AIが人間にとって正しい判断を重ねながら、求められる出力を返すためには、「なにが正しいか」を参照するためのサンプルが必要です。

回避攻撃では、敵対的サンプルと呼ばれる意図的に細工されたデータをAIモデルへ入力し、AIの判断や推論を誤動作させます。

どのような目的でどのような細工が行われるかは多岐にわたり、ウイルス検知や画像分類、物体検知やディープフェイク検知など、AIの判断や推論を必要とするあらゆる場面で、攻撃者が意図する誤った判断へ誘導されてしまう可能性があります。

例えばAIで人や物体、信号や道路などを検知する自動運転車が、回避攻撃で誤った判断へと導かれたら……と、悪意の種類によっては招く危機が甚大です。

モデル抽出攻撃

モデル抽出攻撃では、攻撃対象の企業や個人などが利用しているAIモデルをなんらかの方法でコピーし、攻撃者の手元で復元してしまいます。

まったく同じように復元されたそのAIモデルは、攻撃者によって詳細までじっくり分析されてしまい、例えば先述の敵対的サンプルの作成などに利用されてしまいます。

メンバーシップ推論攻撃

メンバーシップ推論攻撃は、学習済みAIモデルへ攻撃者が問い合わせを繰り返し、「特定のデータが既に学習されたデータに含まれているか」を判断するという類の攻撃です。

問い合わせで得られた出力を攻撃者が観察し、そのサンプルがモデル訓練のどこかの工程に含まれていたかを推察します。

例えば、大量のサンプルを用いて行ったメンバーシップ推論攻撃の結果として、攻撃者が「企業Aが使っているAIモデルは、特定の〇〇さんの医療記録や購買履歴、写真データなどを使って過去に訓練されたことがある」と推察できたとします。

この場合、企業Aの従業員や顧客、取引先のいずれかに〇〇さんが含まれることを推察されてしまうというわけです。

モデルインバージョン攻撃

モデルインバージョン攻撃では、対象のAIモデルから、これまでの学習で使われたデータ(特に個人情報)を復元されてしまいます。攻撃の仕組みとしては、メンバーシップ推論攻撃と同様に大量のサンプル問い合わせを微調整しつつ行いながら、得られる応答を分析します。

例えば、ある特定の人物の氏名を攻撃者が分かっている状態で顔認識モデルに対してモデルインバージョン攻撃を実行し、モデルがその人物から学習済みのデータから逆算して「その人物の顔の特徴」を知り、顔画像をモンタージュ写真のように生成してしまうというようなケースが考えられます。

プロンプトインジェクション攻撃

プロンプトインジェクション攻撃とは、攻撃者が巧みに設計したプロンプト(AIへの命令文)を使用して、AIを作為的に混乱させてしまい、機密情報の取得や不正な操作を実行する攻撃の総称です。

プロンプトインジェクション攻撃の成果として攻撃者が得る情報は、ここまでに紹介したようなさまざまなタイプの攻撃の結果と同様です。

ディープフェイクによる偽情報の拡散や詐欺

ディープフェイクとは、AIを悪用して本物と見分けがつかないほど精巧に作られた偽の画像や動画、音声などを指します。

例えば特定の人物が、言ってもいないネガティブなセリフや、実際にはおこなっていない公序良俗に反する振る舞いをしている音声や動画を作成・拡散し評判を落としたり、人気の芸能人が特定の商品を宣伝する偽動画を作成して多くのファンを詐欺商品へ誘導したり、などさまざまな悪用のケースが考えられます。

ハルシネーション(誤情報生成)

ハルシネーションは、もともと現代のAI技術が内包するリスクのひとつで、AIが誤った情報を参考にしてしまい、誤った回答を人間へ返してしまう現象を指します。

Web上の有象無象の情報も含めたたくさんの情報からサンプルを得て、正しい情報が何かを判断し、回答を生成するのがAIの基本的な仕組みであるため、ときにハルシネーションを起こしてしまう可能性があるのです。

これは外部からの攻撃とは異なりますが、AIモデルや、AIモデルを活用する自社を守るために企業が把握しておくべきリスクのひとつです。

例えば、重要な業務判断や顧客対応にあたって、万が一にもAIが生成した誤った情報に基づいた意思決定や行動をしてしまうと、企業の業績や信頼性に重大な悪影響を及ぼしてしまう可能性があります。

著作権侵害・知的財産権侵害

こちらもまた、外部からの攻撃ではなく、AIモデルを企業が活用していて普通に起こってしまう可能性のあるリスクです。

具体的には、例えば自社の従業員がオリジナルのキャラクターイラストを作成するために、希望の特徴をプロンプトで指示しながら画像生成したとします。

しかし、この生成された画像には、他者の著作権で保護された素材が組み合わされているリスクが常にあるのです。

画像にかぎらず、文章や造形など、著作権に関わる可能性のあるすべてのものでこのリスクは付きまといます。

万が一、既存の著作物と酷似したものを無許可で自社が世間へ公開してしまった場合、知的財産権侵害として訴訟を起こされたり、そうでなくとも「他人の作ったものを無断で流用する会社」という悪評が広まってしまったりと、最悪の事態を招きかねません。

現代の企業が行うべきAIセキュリティ対策

ここまで例を挙げたようなもの以外に、まだ明らかになっていない攻撃やこれから考案されてしまう攻撃などまで考え合わせると、AIセキュリティリスクに備えて企業はどのような対策を講じるべきでしょうか。

多様なAIセキュリティリスクから自社を守るための包括的な考え方として、特に重要なポイントを以下に解説します。

社内のAIガバナンスを確立する

自社の全従業員がAIを少しでも利用する際に必ず遵守すべき、以下の点を策定します。もし、未策定のまま既に従業員がAIを利用している状況があるようなら、今すぐにでも一旦AI利用を禁止したうえで、策定に取りかかるべきでしょう。

  • AIの利用範囲(どの場所で、どの端末で、どういった業務範囲で、どういったことにAIを使って良いことにするかなど)
  • AI利用のガイドライン(利用範囲以外のすべてのルール。AI利用申請の方法やセキュリティポリシーなど)

これらの策定を終えたら、従業員教育とリテラシー向上を通じて、自社のガイドラインに準じた適切な使用方法を浸透させます。

合わせて、包括的なAIリスクを管理できる体制を構築し、専門の担当者によってリスクの発見・検出・防御を常に行えるようにしておきます。

また、社内や社外での、従業員がAIを利用する際の申請プロセスを標準化しておきます。申請プロセスの標準化により、リスク管理チームによる統制のとれた全社的な運用へとつながります。

セキュリティチェックを組み込んだ統制の取れた運用が実現できます。ガバナンスは定期的な見直しも実施し、新たな脅威の出現や技術動向にも常に対応できるようにしておきましょう。

技術的なセキュリティ対策

専門の担当者によって社内で運用されているAIツールをすべて可視化し、監視を続けることでAI利用状況を把握します。潜在的なリスク・脆弱性について早期に発見することに努め、そのために必要なシステムの導入を行います。

社内で活用するAIツールについては、何よりセキュリティ性の高いものであることを第一の選定基準とし、承認されたツール以外は利用禁止を徹底します。そのためにも、先述の利用申請の標準化が重要です。

また、ファイアウォールによるネットワーク境界の常時監視と防御、PCやスマートフォンなどすべてのエンドポイントの保護、データ暗号化やネットワーク監視といった多層防御はサイバーセキュリティの基本です。

多層防御を構築しておくことで、AIツールへのそもそもの侵入・攻撃を一定以上に防ぐことが可能です。

AIセキュリティに対応するソリューションの導入

近年のAIセキュリティリスク増加の傾向に伴い、さまざまなベンダーから提供されているセキュリティソリューションにも、AIセキュリティ対策の技術が盛り込まれたものが多く登場しています。

目には目を、AIにはAIを、というわけではありませんが、AIセキュリティリスクに対応するソリューションの中には、最新のAIを搭載することによって振る舞い検知が高精度化するなど、未知のリスクを含めて包括的に対応できる製品もあります。

これは、本記事の冒頭で解説した「AIセキュリティという言葉のふたつの意味」のうち、「AI for Security」にあたると言えるでしょう。

実際におすすめの「AI for Security」にあたるソリューションを、事項でご紹介します。

AIセキュリティの導入に課題をお感じなら電通総研のクラウドセキュリティソリューションを

【電通総研のクラウドセキュリティソリューション】

  • セキュリティ基盤の設計段階から調達、導入までを一貫してサポート
  • 全方位的なトータルセキュリティを実現し、お客様の貴重な情報資産、ネットワークやササーバーなどまで完全防御
  • セキュリティ対策のほか、業務効率化、AI導入による自動化など、DX課題を解決できる豊富なサービスをご用意
  • オンプレミスからクラウドへのシステム置き換え、ISMS/CSIRT環境の構築支援にも対応

▼電通総研のクラウドセキュリティソリューション 公式サイトはこちら
https://solutions.ss.dentsusoken.com/

適切な対策を早期に行い、AIセキュリティの脅威にそなえる

個人においても企業においても、AI技術を上手に活用し、時間短縮や効率化を行うことが当たり前の時代へと突入しました。そんな中、企業の大切な情報資産を守り、セキュリティインシデントを未然に防ぐためには、AIセキュリティ(Security for AI)という考え方が重要です。

悪意を持つ外部からの攻撃は旧来から企業にとっての脅威でありましたが、現代広く活用されているAIモデルを狙う最新の攻撃は、企業側の対策が追い付いていないこともあり、甚大な被害を生んでしまいかねません。

AIセキュリティ対策を講じるためには、どのようなリスクが考えられるかについて把握し、さらに未知なるリスクも踏まえたうえで、社内でのAIガバナンス確立と技術的なセキュリティ対策を両立することが大切です。

本記事で最後にご紹介した「WithSecure(ウィズセキュア)」を筆頭に、AIセキュリティに対応したセキュリティ対策ソフトも登場しています。

ぜひ、自社の運用に合わせた対策を講じつつ、課題を感じられた場合には支援のプロである我々にお任せください。

 

当サイトでは、顧客接点DXソリューションに関するダウンロード資料を多数ご用意しております。ぜひダウンロードいただき、資料をご活用ください。

※本記事の内容に関しましては2026年04月09日の情報を基に作成しています。
詳しい内容につきましては各製品・サービス・ソリューションサイトにお問合せください。

 

関連記事

最新記事

全社的なDX推進や顧客接点の最適化、エンゲージメントの強化など
お困りごとやお悩みがございましたら、お気軽にお問い合わせください。