事業者による AIプロファイリングの 人権上のリスクについて
プロフィール
慶應義塾大学大学院法務研究科教授
慶應義塾大学グローバルリサーチインスティテュート（KGRI）副所長
山本 龍彦（やまもと たつひこ）
慶應義塾大学大学院法務研究科教授。慶應義塾大学グローバルリサーチインスティテュート（KGRI）副所長。
内閣府消費者委員会委員、デジタル庁・経済産業省「国際データガバナンス検討会」座長、総務省「デジタル空間における情報流通の健全性確保の在り方に関する検討会」座長代理などを務める。
主な著書に『アテンション・エコノミーのジレンマ』、『＜超個人主義』＞の逆説――AI社会への憲法的警句』（弘文堂）、『デジタル空間とどう向き合うか』（日経BP 共著）、『AI と憲法』（日本経済新聞出版社 編著）などがある。
プロフィール
TMI総合法律事務所 弁護士
油下 知広（ゆげ ともひろ）
TMI総合法律事務所。2023年弁護士登録。大学3年次に山本龍彦教授の研究会に入り、憲法を学ぶ。現在は、会社法や知的財産、外国法などさまざまな分野の業務に取り組んでいる。
1. はじめに
今日、人工知能（AI）を用いたプロファイリング技術（以下、「AIプロファイリング」。）は、商品レコメンドや広告ターゲティング、採用・人事、金融機関の信用力の審査など、多くの企業のサービスで導入されています。プロファイリングについては、既に個人情報の保護に関する法律（以下、「個人情報保護法」。）についてのガイドライン（※1）、電気通信事業における個人情報等の保護に関するガイドライン（※2）において、「本人から得た情報から、本人に関する行動・関心等の情報を分析する〔もの〕」と定義されています。
本稿では、AIプロファイリングを、より具体的に、「過去の膨大なデータから、人間には想像もできなかったような事物と事物との相関関係やパターンを発見・認識し、この関係・パターンを特定の個人に関わるデータセットに適用することで、当該個人の趣味嗜好、健康状態、精神状態、政治的信条、職務上の適格性、信用性、学力、知能、収入などを自動的に分析・予測」（※3）するものと捉え、議論を進めます。企業としては、これまで人間によるデータ分析では得ることが難しかった消費者の行動や人物の評価などが、膨大なデータから詳細に分析・予測でき、サービスの向上や効率化が期待できますが、AIプロファイリングには、看過できない人権上の論点が存在することも確かです。
例えば、2018年のケンブリッジアナリティカ社の事例では、2016年のアメリカ大統領選及びイギリスのブレクジットにおいて、SNS上の個人に関するデータを用いて「心理的プロファイリング」を行い、ユーザーを「極端に自意識過剰な自己陶酔人格」「衝動的怒りや陰謀論に傾きやすい」などの性格に分類し、これに基づき、特定個人の心理的傾向ないし心理的脆弱性を刺激するような特定のメッセージ（偽情報等）や広告を選択的に送ることで、政治的意思決定を巧みに操作していたと指摘（※4）されています。
この事件は、AIプロファイリングが、これまで不可侵と考えられてきた人間の潜在意識や認知過程を覗き見るためのツールとして機能し、人間の意思決定を意図的に操作できる可能性を示しています。
また、内心の領域に直接入り込まないとしても、ユーザーの検索履歴や閲覧履歴から当該ユーザーの嗜好・関心をプロファイリングし、その結果に基づき特定の情報やコンテンツを選択的・集中的に配信（レコメンド）することで、日々触れる情報の内容や傾向が固定化され、その他の情報に触れにくくなる現象（フィルター・バブル）も生じ得ます。閉鎖的な情報環境のなかでは同じような意見が飛び交うため、集団内の思考が同質化し、民主主義の基盤となる対話が生まれにくくなるとも指摘されています（エコーチェーンバー）（※5）。
AIプロファイリングにより、一般的な個人情報からセンシティブな属性が生成され、プライバシー権が侵害される懸念もあります。例えば、購買履歴や検索履歴を基にユーザーの健康状態や心理状態（鬱状態、アルコール依存症など）を分析し、ターゲティング広告を出すような場合です。本来、センシティブな「要配慮個人情報」の取得には原則として本人の同意が必要ですが、AIプロファイリングによって一般的な個人情報から要配慮個人情報を生成することで、事実上、本人の同意を得ずに要配慮個人情報が「取得」できることになります（プロファイリングによる要配慮個人情報の「迂回的取得」）（※6）。
このように、AIプロファイリングの利用には人権上のリスクが生じうることが指摘できます。
プライバシーに関するリスクは、個人の尊重や幸福追求権を保障する日本国憲法13条に、また内心の自由に関するリスクは憲法19条に関連したものと考えることもできます。
憲法13条は、「『自律的な個人が人格的に生存するために不可欠と考えられる基本的な権利・自由』として保護するに値すると考えられる法的利益」を保護するための根拠条文として理解（※7）され、憲法19条の内心の自由（思想・良心の自由）は、どのような世界観、人生観であっても、内心の領域にとどまる限り絶対的に自由とされる「不可侵性」と、いかなる思想を抱いているかにつき告白を強制されない「沈黙の自由」を保障するものと理解されています（※8）。認知機能を監視・操作するAI技術等の飛躍的な発展を踏まえ、最近では、「認知過程の自由（cognitive liberty）」が内心の自由に含まれるとする見解（※9）も注目（※10）されています。
ケンブリッジアナリティカ社の事例のように、AIプロファイリングによって、これまで外部から客観的・科学的に認識することが不可能ないし困難であった内心領域が第三者から「覗き見られる」ようになれば、内心の自由などの基本的人権が有名無実なものになりかねません。先述のように、内心領域ないし認知過程を覗き見るものでないとしても、アルコール依存症や妊娠などのセンシティブな精神的・身体的傾向に関する情報が、プロファイリングによって生成され、第三者から専断的に取得・利用されるようになれば、自己に関するいかなる情報を他者と共有すべきかを決定する権利（自己情報コントロール権）（※11）が侵害され、自律的・主体的に人生を歩むことも困難になるでしょう。このような人権上のリスクがAIプロファイリングの利用によって生じるおそれがあるのだとすれば、企業としても、その提供するサービスが社会に与える影響と責任の大きさに鑑みて、人権上のリスクとAIプロファイリングの利活用の調整を図る必要があるように思われます。
そこで、次章以降、EUや日本の法制度を概観したうえで、AIプロファイリングに関する憲法上の論点に企業はどのように向き合うべきか検討したいと思います 。
2. EUの動向
（1）総論プロファイリングについて言及のあるEUの立法のうち、GDPRとAI法を概観し、各法が個人データ保護に関する基本的な権利をどのように具体化しているかを明らかにします。
（2）GDPR（EU一般データ保護規則 General Data Protection Regulation）
GDPRは、データ主体は、「プロファイリングを含む完全自動意思決定に服しない権利」（22条）や「プロファイリング等に対し異議を述べる権利」（21条）を有していると規定しています。
前者（22条）では、データ主体に法的効果や重大な影響を与える場合（融資など）、明示的同意等がない限り、AIプロファイリングの結果のみで判断することは許されないとされ、同意等がある場合でも、データ主体の異議申し立て等を認めなければならないとされています。
後者（21条）では、データ主体は、正当な利益等に基づく個人データの取扱い（プロファイリングを含む）に対し、いつでも異議を述べることができます（同条1項前段）。データ管理者は、データ主体の権利や自由に優先する正当な根拠がない限り、個人データの取扱いができません（同項後段）。また、ダイレクトマーケティング目的のプロファイリングに対して異議が述べられた場合、管理者は即時にデータ利用を停止しなければなりません（同条2項）。
GDPRがプロファイリングについて明文で規律しているのは、同法が「EU憲法」とも呼ばれる欧州連合基本権憲章の基本的な権利を実現するための立法であることと関連しているように思われます。GDPRは、前文1項で、「個人データの取扱いと関連する自然人の保護は基本的な権利の一つである」こととし、基本権憲章を明示的に引用しているほか、同4項で、「本規則は、全ての基本的な権利を尊重し、そして、基本権憲章によって認められ、諸条約に掲げられている自由及び基本原則、特に、…個人データの保護、思想、信条及び信教の自由…並びに、文化上、宗教上及び言語上の多様性を尊重する」と述べるなど、基本的な権利を具体化するという立法の性格を明確にしています。
なお、米国でもカリフォルニア州やコロラド州などのデータプライバシー法において、プロファイリングに関する具体的な規定が盛り込まれました。例えばコロラド州プライバシー法（Colorado Privacy Act 2023年施行）は、「消費者に関する法的又は類似の重大な影響をもたらす意思決定を促進するためのプロファイリング」を目的に行われる個人データ処理からオプトアウトする個人の権利を保障しています（6 ・ 1- 1306⑴ ⒜）。
（3）AI法
2024年5月21日、EUは、世界初となる包括的な人工知能（AI）規制法「Artificial Intelligence Act」（以下、「AI法」といいます。）を成立させました。同法は、人権や民主主義などに対するリスクの度合いに応じて、異なる規制の枠組みを採用しています。リスクの度合いは、同法27条（「ハイリスクAIシステムの基本権影響評価」）が、当該システムの基本的な権利や民主主義などに及ぼす影響評価の実施を義務付けていることなどからすると（同法付属書Ⅲ）、基本的な権利や民主主義などに係るリスクの大きさが基準になっているといえます。
前文、第1条（目的規定）をはじめ、いたるところで基本権憲章やそこで保障される基本的な権利に言及されていることもあわせて考えると、後で述べるように、AI法は、このAI時代に憲法にも関連する基本的な権利を実現するための立法といえます。
リスクは次の4つに分類されます。
①「十分な情報に基づいた意思決定を行う能力を著しく傷つける方法で人々の行動を歪めることを目的とし、人々に重大な損害を与えるおそれのある方法をもって、その人々が行わなかったであろう意思決定を行わせる、操作的または欺瞞的な技法を展開するAIシステム」、「人々の行動を著しく歪める目的ないし効果を伴うかたちで、年齢、障害、または特定の社会的もしくは経済的状況に起因する個人または特定の集団の脆弱性を悪用するAIシステム」、「社会的振る舞いや個人の特性に基づいて人々を分類し、データの収集当時とは異なる文脈で特定の人々を不利に扱ったり、社会的振る舞いについて不当な扱いを行ったりするAIシステム」といった、許容されないリスクを生じさせる「禁止されるAI」（5条）（※12）
②「禁止されるAI」でなくても、一定程度のリスクをもたらす「ハイリスクAI」（※13）
③意思決定に重要な影響を与えず、かつ、健康、安全及び基本的権利などに重大なリスクを及ぼさない「限定的リスクのAI」
④③よりリスク評価の低い「最小リスクのAI」
①は導入が原則禁止され、②③であっても、利用者や提供者に対し一定の義務が課され（※14）、違反した場合には高額な罰金（法第12章）（※15）を課される可能性があります。
AI法は、前文1項などでイノベーションの向上と基本的な権利の保護の調整を図るという立法の性格を明確にしており、規制に当たって先述のようなリスクの度合いに着目することで基本的な権利の具体化を志向した立法といえるでしょう。
3. 日本の動向
（1）総論日本においても、個人情報保護法及び電気通信事業における個人情報等の保護に関するガイドラインにおいてプロファイリングに関する定めが設けられています。
（2）個人情報保護法
同法17条1項は、「個人情報取扱事業者は、個人情報を取り扱うに当たっては、その利用の目的（以下「利用目的」という。）をできる限り特定しなければならない。」としています。
個人情報の保護に関する法律についてのガイドライン（通則編）（※16）によれば、同条の「利用目的」の特定の程度は、「個人情報が個人情報取扱事業者において、最終的にどのような事業の用に供され、どのような目的で個人情報を利用されるのかが、本人にとって一般的かつ合理的に想定できる程度に具体的に特定することが望ましい。」とされており、プロファイリングと関連して「本人から得た情報から、本人に関する行動・関心等の情報を分析する場合、個人情報取扱事業者は、どのような取扱いが行われているかを本人が予測・想定できる程度に利用目的を特定しなければならない。」としています。利用目的の特定に関して、同ガイドラインには、「取得した閲覧履歴や購買履歴等の情報を分析して、趣味・嗜好に応じた新商品・サービスに関する広告のために利用いたします。」という記載例が挙げられています。
利用目的の特定や取得の際に利用目的を通知（同21条）する趣旨は、不必要・無制限な個人情報の利用・変更を防止し、また利用範囲の透明性を確保することで、個人の権利利益を守ること（※17）にあります。AIプロファイリングも、まさに個人情報の利用の一態様であり、その透明性が求められています。
このガイドラインへの記載は、求人広告会社が採用サイトの閲覧履歴などから就活生の内定辞退率をAIを用いて算定し、採用者側の企業に提供していた事例を受けて書き加えられたものです。それだけAIプロファイリングに対する社会の関心が高まっているといえます。
しかし、先に述べた一般的な個人情報をプロファイリングすることでセンシティブ情報を得ることに関しては要配慮個人情報の「取得」に当たらないため、本人の事前同意を必要としません。今後は、個人情報に関する個人の自律性を保障する観点から、何らかのルールが必要になるといえるでしょう。
（3）電気通信事業における個人情報等の保護に関するガイドライン（※18）
同ガイドライン4条1項は、個人情報保護法17条1項と同様に、電気通信事業者が個人情報を取り扱う際にはその利用目的をできる限り特定することを求めており、その「利用目的」の解説（※19）では、「本人から得た情報から、本人に関する行動・関心等の情報を分析するいわゆるプロファイリングが行われる場合、電気通信事業者は、どのような取扱いが行われているかを本人が予測・想定できる程度に利用目的を特定しなければならない。特に、この分析により、…『要配慮個人情報』…の項目に相当する情報が生成される場合には、あらかじめ本人の同意を得ることが望ましい。」と述べています。ここで着目すべきは、個人情報の分析により要配慮個人情報に相当する情報が生成される場合、利用目的の特定のみならず、生成について事前の同意まで得ることが望ましい旨明記されている点です。
さらに、同ガイドラインは、上の解説の続きとして、「これら情報（筆者注、ここでいう『情報』とは、プロファイリングにより、生成された「要配慮個人情報」の項目に相当する情報を指す。）について、本人の同意を取得することなく不必要に広告のセグメント情報として広告配信その他の行為に用いないようにすることが望ましい。」と述べており、要配慮個人情報の生成のみならずターゲティング広告としての利用も控えるべき旨言及がなされています。
同ガイドラインは、個人情報保護法及び同法ガイドラインよりも、プロファイリング規制の面でより踏み込んだ規定を設けているといえます。要配慮個人情報の生成や同情報のターゲティング広告への利用に関して本人に同意の機会を付与すべきとしている面をみると、個人情報に関する個人の自律性を強く保護しているといえるでしょう。
ただし、個人情報保護法上は、AIプロファイリングによって、一般的な個人情報の分析から要配慮個人情報を「生成」することは、要配慮個人情報の「取得」に当たらないとされていることには注意（※20）を要します。先述のように、これでは、個人情報保護法の規制を迂回して、要配慮個人情報を「取得」する機会が作られてしまうからです。現在、個人情報保護法の3年ごと見直しが進められており、プロファイリングについても議論（※21）されています。この改正がなされるかどうかは不透明ですが、今後、プロファイリングに関する議論が一層活発になることが予想されるため、企業としては、先述のEU法や日本の電気通信事業法ガイドラインなどに注意を払っておく必要があるでしょう。
（4）民事上の責任
違法又は不当な個人情報の利用方法によって、本人に損害を与えた場合、不法行為責任（民法709条、710条）を追及（※22）されるおそれがあります。
例えば、個人情報保護法19条1項は、「個人情報取扱事業者は、違法又は不当な行為を助長し、又は誘発するおそれがある方法により個人情報を利用してはならない」としており、同法ガイドラインには、「違法又は不当な行為を助長し、又は誘発するおそれがある方法」の例として、「採用選考を通じて個人情報を取得した事業者が、性別、国籍等の特定の属性のみにより、正当な理由なく本人に対する違法な差別的取扱いを行うために、個人情報を利用する場合」が挙げられています。AIプロファイリングも「利用」に該当するため、利用目的の如何によっては不法行為責任を追及されるおそれがあります。
また、19条に違反するプロファイリング結果を第三者に提供する場合も、本人と個人情報取扱事業者の間にプロファイリング元データの取扱いに関する契約があることを根拠に、信義則上（民法1条2項）、当該本人のデータを適切に取り扱う義務を負うとして、提供態様によっては不法行為責任が追及される可能性があると指摘（※23）されています。
4. 終わりに
AIプロファイリングが、個人の内心やセンシティブ情報を本人が意図しないうちに覗き見る、また、これらの情報を利用して個人の意思決定を歪めるためのツールになりうることを述べました。いずれも重要な人権上のリスクをはらむもので、EUや日本の立法、ガイドラインの改正の動きは、AI社会を生きる人々の危機意識の表れと言えます。先述のように、現状、プロファイリングに関する日本の法制度はEUに比べてやや遅れていますが、基本的な権利の考え方は国境を越えて普遍的な価値を有しており、その解釈においてEU法の状況が参照される可能性もあるでしょう。また、専断的なプロファイリングが民事法上のリスクになることも否定できません。私たちの生活にとって、企業が提供するサービスへのアクセスが必要不可欠なものとなり、その社会的影響力が非常に大きくなっている今日、企業は、自身のサービスが人権に対して与えるリスクの有無を認識し、法令、ガイドラインに沿った行動をとる責任を負っているといえます。日本政府は、現在AI法規制の検討を進めているところであり、EUのAI法と同様、社会的影響力が大きくリスクが高いAI開発者を対象に法規制の要否が検討されたり、安全性や人権侵害の観点を重視し、AIシステムの安全評価やリスク情報の報告を義務付ける案が提案（※24）されたりしています。新規産業の分野では、状況の変化が速いため、法令やガイドラインが頻繁に改正されることも特徴的です。今後しばらくは、日本の立法や海外の動向を注視し、新たな規制に対応できるようにしておく必要がありそうです。
※1：個人情報保護委員会、個人情報の保護に関する法律についてのガイドライン （通則編）（2023年12月一部改正版）、
https://www.ppc.go.jp/files/pdf/240401_guidelines01.pdf、最終閲覧日2024年8月7日
※2：個人情報保護委員会・総務省、電気通信事業における個人情報等の保護に関するガイドライン（2022年3月（2024年3月更新））、
https://www.soumu.go.jp/main_content/000934678.pdf、最終閲覧日2024年8月7日
※3：山本龍彦編〔山本龍彦執筆部分〕『AIと憲法』（日本経済新聞出版社、2019年）19頁
※4：クリストファー・ワイリー（牧野洋訳）『マインドハッキングーあなたの感情を支配し行動を操るソーシャルメディア』（新潮社、2020年）13・216頁を参照。
※5：情報をバランスよく収取することの重要性を「情報的健康」という概念で表現した論稿として、鳥海不二夫＝山本龍彦「健全な⾔論プラットフォームに向けて ver2.0 ―情報的健康を、実装へ」Keio University Global Research Institute（2023）などを参照。
※6：個人情報保護委員会「『個人情報の保護に関する法律についてのガイドライン』に関するQ&A」（2023年3月31日更新）8頁、
https://www.cao.go.jp/bunken-suishin/teianbosyu/doc/r04/tb_r4fu_06ppc_37_a_1.pdf、Q&A1-27を参照。
※7：芦部信喜著＝高橋和之補訂『憲法 第八版』（岩波書店、2023年）122頁を参照。
※8：同上、161-162頁を参照。
※9：小久保智淳「認知過程の自由」研究序説 : 神経科学と憲法学」法学政治学論究126号(2020)
※10：NITA A. FARAHANY, THE BATTLE FOR YOUR BRAIN 37 (2023)
※11：山本龍彦「AI法制と憲法―EUのAI法制から何を学ぶか？」自由と正義75巻6号16頁以下（2024）
※12：例えば、プロファイリングに基づく予測的な取り締まりや、人種、宗教、性的指向などの特定のカテゴリーに従って人々を分類するために生体データを使用するシステムへのAIの使用が禁止されています（European Council, Artificial intelligence (AI) act: Council gives final green light to the first worldwide rules on AI, https://www.consilium.europa.eu/en/press/press-releases/2024/05/21/artificial-intelligence-ai-act-council-gives-final-green-light-to-the-first-worldwide-rules-on-ai/?trk=public_post_comment-text%E3%80%8D, last visited Aug. 9, 2024.）。
※13：法付属書Ⅲによれば、生命保険及び医療保険のリスク評価並びに価格決定、求人応募の分析及びフィルタリングに使用することが意図されたAIシステムなどが挙げられています。
※14：例えば、②ハイリスクAIでは、リスク管理体制の確立（法9条）やデータガバナンスの確保（法10条）など多くの義務があります。③限定的リスクのAIも、「透明性の確保義務」（法50条）が課されています。
※15：例えば、事業者が「禁止されるAI」第5条の規定に違反した場合、3500万ユーロ又は前会計年度の全世界での売上高の7％のうち、どちらか高い方の額の罰金が課されます（法99条3項）。
※16：前掲注1を参照。
※17：石井 夏生利ら編著〔辻畑泰喬執筆部分〕『個人情報保護法コンメンタール』（勁草書房、2021年）144頁を参照。
※18：前掲注2を参照。
※19：総務省、電気通信事業における個人情報等の保護に関する ガイドライン（2022年個人情報保護委員会・総務省告示第４号（最終改正2024年個人情報保護委員会・総務省告示第４号）の解説（2024年3月12日版）、https://www.soumu.go.jp/main_content/000934678.pdf、最終閲覧日2024年7月29日
※20：前掲注6を参照。
※21：個人情報保護委員会「個人情報保護法 いわゆる３年ごと見直しに係る検討の中間整理」（2024年6月27日）26頁）
※22：前掲注18［鶴巻暁執筆部分］、189頁を参照。
※23：福岡真之介ら編［坂田晃祐＝福岡真之介執筆部分］『AIプロファイリングの法律問題―AI時代の個人情報・プライバシー―』（商事法務、2023年）、369-370頁を参照。
※24：「日本型のAI法規制案、産業育成と均衡 研究会が初会合」『日本経済新聞』、2024年8月3日朝刊、3面を参照。
2025.1 掲載
