コンピュータビジョンの観点から見たAIの公平性

コンピュータビジョンの観点から⾒た
AIの公平性
AI Fairness from a Perspective of Computer Vision
⼭⽥亮佑，美濃⼝宗尊，⽚岡裕雄
（著者紹介はラストにあります）
1
http://xpaperchallenge.org/cv

公平性 | Fairness
2
公平性 @weblio
・・・偏ることなく，全てを同等に扱うこと
（さま）、主観を交えないこと（さま）
Fairness @Oxford Dictionary
--- the quality of treating people equally
or in a way that is reasonable

現実に起きた問題
3
Amazon’s “holy grail” recruiting tool was
actually just biased against women
https://qz.com/1419228/amazons-ai-powered-recruiting-tool-was-biased-against-women/
Maybe Microsoft’s Tay AI didn’t have a meltdown…
https://medium.com/@thepathtochange/maybe-microsoft-s-tay-ai-didn-t-have-a-meltdown-
4291b910a37c
Google's Artificial Intelligence Hate Speech
Detector Is 'Racially Biased,' Study Finds
https://www.forbes.com/sites/nicolemartin1/2019/08/13/googles-artificial-intelligence-
hate-speech-detector-is-racially-biased/#1418e6d8326c
2020年現在のAI分野において，
未だ「解決された」とは⾔い難い状況

公平性のさらなる危険性
4
環境によっては誰もがマイノリティになり得る
！研究者からエンドユーザまで例外なく！
第3次AIブームを終わらせかねない⼈類共通課題
• 実利⽤にはFairnessの問題解決
が必須
• ニーズがなければAI研究の価値
が低迷する可能性
• 下⼿に発信すれば責任問題
AIの存続にも影響！？
研究者による議論は必須！
• 問題を認知せずに利⽤してしま
うことのリスク
• AIの判断を鵜呑みにしてしまう
ことのリスク
• 下⼿に運⽤すれば責任問題
気づいた時にはもう遅い！？
⼀般ユーザも議論すべき！
研究者に迫る危険エンドユーザに迫る危険

コンピュータビジョン（CV）と公平性
5
CVにおける公平性とは？
● ラベルミス・カテゴリごとのサンプル数の違いなどデータ
セット由来の偏り，もしくは識別・⽣成モデルの得意・不
得意からくる
● 現在のCV分野の公平性研究は 1.画像識別, 2.画像⽣成, 3.
データセットの３種に関わる問題に⼤別できる

データの「偏り」
6
偏り（不公平性）は容易に起こりうる
アノテーション
データのバイアス
画像収集
● アノテータの偏り（国籍・性別・年齢）
● ラベルミス/コンセンサス
● 異なる主観
● 視覚の個⼈差
● 知識不⾜（未知カテゴリの名前付）
● 悪意のある攻撃
● ...
● 収集者の偏り（国籍・性別・年齢）
● 権利関係
● ⼊⼿の容易性
● 画像選定の際の偏り
● ...
単⼀および複合要因

深層学習モデルの「偏り」
7
データから「最適な特徴を⾃動で」学習
モデルのバイアス
単⼀および複合要因
● 得意/多数サンプルのカテゴリを重視
● 苦⼿/少数サンプルのカテゴリは無視する傾向
● 関係性/間接的な特徴から学習
○ ⼈間の着ている服 → e.g. 性別差
○ 背後に映るシーン・物体 → e.g. ⼈種差
● ...
（良くも悪くも特徴を⾃動学習）

当たり前に使⽤する道具は公平ではない？
8
ImageNetの公平性問題
https://blog.paperspace.com/content/images/size/w2000/2019/04/ImageNet1.jpeg
性別・肌の⾊・年齢の側⾯でのバランスを調査
カテゴリにより偏りがあることを確認
今やスタンダードとなったImageNetだが，⾮商⽤利⽤のみ
に限定, データの偏りが原因で公平性の⾯でも議論されてる
http://image-net.org/update-sep-17-2019
2020年現在，⼈に関連
するラベルの画像が約
半分削除された

機械学習/CVと公平性の国際会議/WS
9
FAT* (2018 - 2020) -> FAccT (2021 - )
AIES (2018 - )https://facctconference.org/
https://facctconference.org/2019
【国際会議】
https://www.fatml.org/
【国際ワークショップ】
https://www.aies-conference.com/2020/
https://sites.google.com/view/fatecv/home https://sites.google.com/view/f
air-data-efficient-trusted-
cv/home
FAT / ML (2014 - 2018)
FATE / CV (2019)
fa.de.tr.cv (2020)
CVと公平性のWSは後者２つ

ML分野における公平性
10
Fairness in MLの論⽂数
● General Data Protection Regulation (GDPR)の施⾏を⽪切
りにMachine Learningの公平性に関する論⽂が急激に増加
https://towardsdatascience.com/a-tutorial-on-fairness-in-machine-learning-3ff8ba1040cb

CV分野における公平性
11
Fairness in CV論⽂は2020年2⽉現在少数
● 我々のリストアップした論⽂も数⼗本程度...
● ⼀⽅，CVPRʼ20のエリアにもなり (左下図)今後に期待
http://cvpr2020.thecvf.com/submission/main-conference/author-guidelines#call-for-papers
2020年，世界的にもまさにこれから議論されようとしている
http://cvpr2020.thecvf.com/

公平性と法令・問題・技術：近年の動向
12
国際会議 / 国際ワークショップ
各社の動向と問題
Google Photos
不適切タグ付け問題
法令 / 国策 / 声明など
2014 - 2018 2018 - 2020
2018 -
2019 2020
https://www.theguardian.com/tec
hnology/2015/jul/01/google-sorry-
racist-auto-tag-photo-app
google.com
2015.06 2018.10
Amazon
AI採⽤で⼥性不利傾向に
https://qz.com/1419228/amazons-ai-
powered-recruiting-tool-was-biased-
against-women/
2016.03
Microsoft
Tay@Twitterで
ヘイトスピーチ
https://en.wikipedia.org/wiki/Tay_(bot)
2020.01
Partnership on AI
公平性含む協⼒関係
https://www.partnershipon
ai.org/pai-at-fat-star/
https://www.whitehouse.gov/wp-
content/uploads/2020/01/Draft-OMB-Memo-on-
Regulation-of-AI-1-7-19.pdf
⽶国・ホワイトハウス
AI応⽤に関する声明を発表
https://sustainablejapan.jp/wp-
content/uploads/2020/01/gdpr.jpg
EU・GDPR
General Data Protection Regulation
http://ai-elsi.org/archives/888
⽇本・⼈⼯知能学会
2020.02
Cloud vision API
性別ラベルを付与しない⽅向
https://www.businessinsider.com/google-cloud-
vision-api-wont-tag-images-by-gender-2020-2

CVと公平性研究：現在⼤きく3種類
13
データ
画像⽣成
画像識別
● データセット・画像識別・画像⽣成
# 詳細は論⽂紹介にて
性差が⽣じる
画像部を排除
ImageNetのラベル再調査
所得に応じて
認識精度が⾼くなる
属性を操作して⽣成がどの程度成
功するか？
歩⾏者検出の⼈種差・年
齢差・男⼥差を検証
商⽤顔認識APIを⽤い
属性間の認識率を調査
識別の誤りを解析して偏りを明らかに
データセット間の偏りを⾒る研究
Auditing ImageNet

Agenda
14
● 論⽂紹介
● 基本1論⽂1ページで紹介
● チュートリアル
● 公平性の⽂脈で使われるデータセット紹介
● 公平性研究のためのツールなど
● メタサーベイ
● 勢⼒的に活動する世界の研究者・技術者を紹介
● 各企業・研究機関・コミュニティの動向
● 研究を始める⽅法

Towards Fairer Datasets: Filtering and Balancing the Distribution
of the People Subtree in the ImageNet Hierarchy
16
会議 : ACM FAT* 2020
著者 : Kaiyu Yang, Klint Qinami, Li Fei-Fei, Jia Deng, Olga Russakovsky
● ImageNetのグループによるより公平なデータセットに向けた解析
● 特に⼈物に関する2,832カテゴリについてNon-safeと判断された1,593カ
テゴリ（約60万画像）を削除
現状スタンダードなデータセットも公平性の⾯で問題に
図はGender（男/⼥/不明），Skin Color（明/暗/中間），Ageごとに
割合を⽰したグラフ。データセット内に偏りがあることがわかる

Auditing ImageNet: Towards a Model-driven Framework for Annotating
Demographic Attributes of Large-Scale Image Datasets
17
会議 : CVPR 2019 Workshop
著者 : Chris Dulhanty, Alexander Wong
● 各データセットの男⼥⽐を⽐較
● ImageNetのサブセットに対してラベル付けを実⾏
○ ILSVRCの41.62%が⼥性，60歳以上は1.71%，15~29歳の男性は
全体の27.11%
● さらに，男⼥の割合が多い画像カテゴリをランク付け
データセットのGender Biasを確認
https://github.com/cdulhanty/ImageNet-Demo-Audit
ISLVRCʼ12（左）とImageNet ʻpersonʼ subset（右）の男⼥⽐をカウント
顔検出の信頼度が0.9以上の顔についてラベルづけ

Does Object Recognition Work for Everyone?
18
著者 : Terrance DeVries, Ishan Misra, Changhan Wang, Laurens van der Maaten
● 世帯収⼊のラベルが付与されているDollar Street Images datasetを⽤い
て世帯収⼊別にオブジェクト認識精度をアノテーターにより評価
● ⾼収⼊世帯と低収⼊世帯では，同クラスでも外観や背景が異なるため精度
に差が⽣じる
世帯収⼊別でオブジェクト認識の精度に差が⽣じる

Unbiased Look at Dataset Bias
19
会議 : CVPR 2011
著者 : Antonio Torralba, Alexei A. Efros
● 画像データは偏り（e.g. 物体が中央に映りがち）を多く含みがちであると指摘
● 例として，各データに含まれるcar/personの識別及び検出をデータセットをクロ
スして学習・テストできるかどうかを検証（e.g. VOCのcarを学習，ImageNetのcarを識別可能か）
○ 同じデータセット内のtrain/testでないと性能劣化があることを確認
● Pascal VOC, ImageNet, SUN09など当時新しかったデータは⽐較的偏りが少な
く，正しい⽅向性であると捉えられた
データセットの偏りに関する調査研究を⼤規模に⾏った
（注：2011年当時の研究）
←少量の画像を⾒ただけでどのデータセットからサンプリングされた
のかを正解できてしまうのでは？という問題提起
←データセットを交差して⾃
動⾞（car）を学習ImageNet
でテストする場合には性能劣
化が少ないが，Caltech101で
テストする場合には他のデー
タの性能劣化が際⽴つ

Towards Fairness in Visual Recognition: Effective Strategies for
Bias Mitigation
20
会議 : arXiv 1911:11834
著者 : Zeyu Wang, Klint Qinami, Yannis Karakozis, Kyle Genova, Prem Nair, Kenji Hata,
Olga Russakovsky
● データセットの偏り（性別・⼈種・年齢）緩和⽅法を提案
● ドメイン間に依存しない特徴量の学習⽅法を提案，偏り緩和⽅法のベース
ラインと⽐較しても⾼い精度を実現
● 顔認識の問題（CelebA）に対して実験を⾏った
公平性を担保した効果的な学習⽅法を提案した！
（左）提案のDomainINDEPがベー
スラインよりも⾼い精度を⽰してい
る。データはCIFAR-10S。
（右）実環境に近づけるため、多少
平⾏移動させたCIFARと32x32
ImageNetを使⽤。

Balanced Datasets Are Not Enough: Estimating and Mitigating
Gender Bias in Deep Image Representation
21
著者 : Tianlu Wang, Jieyu Zhao, Mark Yatskar, Kai-Wei Chang, Vicente Ordonez
● 性別による偏りと物体の関係性を画像識別モデルが学習することは知られ
ている
● 画像データセットから性別を排除することで公平な表現を獲得した
男⼥の学習サンプル数を揃えてもダメ，性別を除外して学習
提案法の概略図
Adversarial Gender Loss: 性別に
関する識別を⾏う領域を⾒ないよ
うに学習
Task Specific Loss: それ以外の領
域から画像識別を実⾏する

Unsupervised Domain Adaptation for Distance Metric Learning
22
会議 : CVPR 2019 Workshop / ICLR 2019
著者 : Kihyuk Sohn, Wenling Shang, Xiang Yu, Manmohan Chandraker
● 教師なしドメイン適応（UDA），ソースドメインはラベルあり，ターゲッ
トドメインはラベルなしでクラスラベルは重なりがない
● Feature Transfer Network (FTN)を提案し，ソースとターゲットの特徴
空間を調整する
● Non-parametric multi-class entropy minimization lossを⽤いて学習
距離空間の学習は公平性に適⽤可能
提案法の概略図
ドメインを検証する誤差（
L_vrf），ドメイン⾃体を識別
する誤差（L_sep），ドメイ
ン間を混同させる誤差（
L_adv）を⽬的として学習

Discovering Fair Representations in the Data Domain
23
会議 : CVPR 2019
著者 : Novi Quadrianto, Viktoriia Sharmanska, Oliver Thomas
● センシティブ情報を排除して学習することを，元のデータから公正なデー
タへの変換タスクへと置き換えることで公平な表現を学習可能
● センシティブ情報を性別としてCelebAデータセットに適⽤した場合、ネ
ットワークは⽬と唇の領域を調整することで公平性を保つ
ソースドメインからターゲットドメインへのマッピングを学習

SensitiveNets: Unlearning Undesired Information for Generating
Agnostic Representations with Application to Face Recognition
24
著者 : Aythami Morales, Julian Fierrez, Ruben Vera-Rodriguez
● 顔認識にて性能低下なくセンシティブな認識結果を出⼒する要因を特徴空
間から取り除く
● SensitiveNets: Triplet（特徴空間の整備）/Sensitivity Detector（男⼥,
⼈種）により構成
● データの偏りを提⾔するため，MegaFaceに追加ラベル付を実施
● 性差や倫理的なラベルを検出して情報を排除しても顔認証の性能劣化は3-
4%のみと判明
顔認識にてモデル/DBの側⾯からセンシティブな認識を排除
SensitiveNetsの構造：事前学習モデル（
Pre-trained model）による偏りをなくす
ため，Triplet Distanceに対して属性（男
⼥）を検出してunfairnessを低減する
Sensitivity Detectorの誤差も同時に考慮
する

Age and gender bias in pedestrian detection algorithms
25
著者 : Martim Brandao
● 歩⾏者検出器の検出精度において，年齢や性別による偏りはないか調査
● INRIA Person Datasetに対し性別（男/⼥）と年齢（⼤⼈/⼦供）の追加
ラベル付与
○ データ⼊⼿HP: https://www.martimbrandao.com/pedestrian-detection-bias/
歩⾏者DBの偏りが検出率の違いに結びついている
現状，歩⾏者検出のためのデータセットで学習した検出器は
⼥性/⼦供の⽅がエラー率が⾼いという問題を含む

Predictive Inequity in Object Detection
26
会議 : CVPR2019 Workshop
著者 : Benjamin Wilson, Judy Hoffman and Jamie Morgenstern
● 物体検出器が肌の⾊が違う歩⾏者に対して，公平に検出できるか調査
● ⾞載カメラデータセットであるBDD100Kに，肌の⾊で注釈を付与
● 標準の検出器ではFitzpatrickスキンタイプがより低い⼈の⽅が⾼精度に検
出可能
○ Fitzpatrickがより低い⼈ : 肌の⾊がより⽩い⼈
○ Fitzpatrickがより⾼い⼈ : 肌の⾊がより⿊い⼈
肌が⽩い⼈の⽅が⾼精度に検出可能という偏りが明らかに

ConvNets and ImageNet Beyond Accuracy:
Understanding Mistakes and Uncovering Biases
27
会議 : ECCV 2018
著者 : Pierre Stock, Moustapha Cisse
● ImageNet事前学習済CNNによる失敗例を解析し，データの偏りを明らか
にする研究
● 事前学習モデルの出⼒を⼈物により解釈したところ半数以上が「理解でき
る」と回答
● Adversarial Examplesにおいても同様に過⼩評価されていると結論づけ
た
ImageNetの物体識別問題は思ってよりも「解けて」いる
ImageNet pre-trained ResNet-101による識別: バイ
アスを多分に含んでいる？
修正されたImageNet ValセットによるTop-1精
度は22.69 -> 9.47まで低下した

Gender Shades: Intersectional Accuracy Disparities in
Commercial Gender Classification
28
会議 : ACM FAT* 2018
著者 : Joy Buolamwini, Timnit Gebru
● 顔認識システム（Microsoft, IBM, Face++）が⼈種により識別率が異な
ることをレポート
● 顔データセットに対し {Darker, Lighter} x {Male, Female}のラベル付
けを⽤い/⾏い，顔認識システムにより精度の違いを検証
⼈種や性別による顔認識率の不均衡を明らかにした！
↑Adience, IJB-A, PPBのラベル割合を表⽰
←ラベルごとの平均顔を表⽰

29
会議 : FAT/ML 2018
著者 : Jakub Sliwinski, Martin Strobel, Yair Zick
● データの特性評価であるMonotone Influence Measures (MIM)の提案
● ラベル付きデータセットとデータポイントを⼊⼒し，任意の特徴マップが
クラス分類へどのように影響したかを評価
● 図は幸せそうな顔の画像例で，ポジティブな影響は⻘，ネガティブな影響
は⾚
● このベクトルに従って画像をシフトすると提案⼿法は笑顔を強調するよう
な発⽕
分野に精通した学者以外にも直観的に説明可能な評価
Axiomatic Characterization of Data-Driven Influence
Measures for Classification

30
会議 : FAT/ML 2018
著者 : Hee Jung Ryu, Margaret Mitchell and Hartwig Adam
● Face Attribute Detectionにおいて，学習前に⼈⼝統計情報 (性別や⼈種)
を学習しておくことで、精度の保持または向上するアプローチ
● 潜在に含まれるユーザの、人口統計学的なプライバシーを保持しつつ、良
好な精度を獲得
統計情報を利⽤したFace Attribute Detection
InclusiveFaceNet: Improving Face Attribute Detection
with Race and Gender Diversity

Faceless Person Recognition: Privacy Implications in
Social Media
31
会議 : ECCV 2016
著者 : Seong Joon Oh, Rodrigo Benenson, Mario Fritz, Bernt Schiele
● 顔認識の秘匿化：推論時の顔にモザイクをかけた状態で認識ができるか
● PIPAデータセット（PhotoAlbumの顔画像）を⽤い上記シナリオを実⾏
● Blur > Black > Whiteの順で精度が良い（Visible 90%に対してBlurは約
85%くらい）
● Domain Shiftの有無/で⼤きく精度は変わる（ドメインが異なる顔認識は
20〜30%くらい）
プライバシーのみでなく，公平性にも有効か？
学習時はモザイクなし，テスト時はモザイクありで⼈物認証はど
の程度できるのか？
ブラーの他にも⿊/⽩
塗りつぶしを実施

Automated Facial Trait Judgment and Election
Outcome Prediction: Social Dimensions of Face
32
会議 : ICCV 2015
著者 : Jungseock Joo, Francis F. Steen, Song-Chun Zhu
● 顔画像から各パラメータや当落などを推定する
● 具体的には顔画像を⼊⼒として下記の2種類を推定
○ Governor（知事; 67.9%で正答）かSenator（上院議員; 65.5%で正答）か
？
○ Democrats（⺠主党） vs. Republicans（共和党）を男性（62.6%）⼥性（
60.1%）で認識
選挙の⾏⽅はAIが予測？（結果からそれはできそうにないが読み物として⾯⽩い）
注：この論⽂が差別を助⻑したいわけでは
ないと思われます（念のため）
←図1は2016年⼤統領選挙から，顔画像のみ（!?）から各候補者
のステータスを推定，知事or上院議員，⺠主党or共和党も予測

33
会議 : TIFS 2012
著者 : Brendan F. Klare,Mark J. Burge,Joshua C. Klontz,Richard W. Vorder Bruegge,
Anil K. Jain
● 顔認識アルゴリズムにおいてバイアスを軽減するための⼿法
● ⼈物画像においてサンプリング，PCAなどを施し，バイアスによる特徴量
を軽減？
● 6つの顔認識アルゴリズム（商⽤：3つ，学習不可：2つ，学習可：1つ）
において検証
○ ⼥性・⿊⾊⼈種・特定の年齢層においては⼀貫して認識精度が⾼い
Face Recognition Performance: Role of
Demographic Information
法執⾏機関などにおける顔認証システムにおいて識別精度が向上

34
会議 : Science 2019
著者 : Ziad Obermeyer, Brain Powers, Christine Vogeli, Sendhil Mullainathan
● 病状の重度さの判断に医療⽀出費を⽤いた
● 医療⽀出費は，収⼊に依存し，収⼊は⼈種に依存していたため不公平な判
断
○ ⼈種によっては重度な病状でも⾼度な処⽅を受けることが少ない
約1億の⽶国⼈に影響した医療判断アルゴリズム
Dissing racial bias in an algorithm used to manage the
health of populations

VizWiz-Priv: A Dataset for Recognizing the Presence and Purpose of
Private Visual Information in Images Taken by Blind People
35
著者 : Danna Gurari, Qing Li, Chi Lin, Yinan Zhao, Anhong Guo, Abigale Stangl, Jeffrey P.
Bigham
● 視覚障がい者が⾃ら撮影した画像データセットを構築
● データセット内に個⼈情報（⼈物画像，クレジットカードなど）が含まれ
る画像が10%程度存在することを確認
● データセットはこちら（https://vizwiz.org/）から⼊⼿可能
視覚障がい者のSNSへのアップロードの危険性を⽰唆

Implications of Computer Vision Driven Assistive Technologies
Towards Individuals with Visual Impairment
36
著者 : Linda Wang, Alexander Wong
● 視覚障がい者に対してComputer Vision⽀援による影響（プラスとマイナ
ス）を検討
○ プラス：物体検知や顔認証によって視覚障がい者の⾃⽴や⾃律性の向
上を援助
■ Seen AI，Lookoutなどのコミュニケーションツールの発達
■ ナビゲーションシステムの登場
○ マイナス：視覚障がい者に対する偏⾒や個⼈情報の流出が懸念
■ 視覚障がい者に関する情報の保守が困難
データベースの偏りや個⼈情報保護が軽減する仕組みが重要

Dermatologist-level classification of skin cancer with
deep neural networks
37
会議 : Nature, 2017
著者 : Andre Esteva, Brett Kuprel, Roberto A. Novoa, Justin Ko, Susan M. Swetter, Helen
M. Blau, Sebastian Thrun
● メラノーマをDNN（GoogLeNet Inception v3）により検出，⽪膚科専⾨
医の診断と⽐較
● しかしBuolamwiniら（Gender Shades）の指摘によると肌の⾊，厚み，
⽑量などのラベルがないと誤診断してしまう可能性もある
専⾨医と同等の診断能⼒を持つが，偏りをさらに無くしたい

Using deep learning and Google Street View to estimate the
demographic makeup of neighborhoods across the United States
38
会議 : PNAS 2017
著者 : Timnit Gebru, Jonathan Krause, Yilun Wang, Duyun Chen, Jia Deng, Erez
Lieberman Aiden, Li Fei-Fei
● Google Street Viewを⽤い⽶国の200都市から50M枚の画像を収集，22M
台の⾞種を識別
● ⾞種から推測される属性情報との関連で選挙の投票傾向を予測
○ ⽶国の9割以上の家庭は⾞を保有，さらに⾞種と投票傾向には相関有
選挙の投票結果をGoogle Street View画像から予測
（1）ストリートビューから画像を収集
（2）DPMにより⾞両の位置を特定
（3）全2,657種類の⾞種を識別
（4）メーカー/モデル/製造年など属性情報を抽出

Detecting Bias with Generative Counterfactual Face
Attribute Augmentation
39
著者 : Emily Denton, Ben Hutchinson, Margaret Mitchell, Timnit Gebru
● CelebAデータセットを学習することで笑顔識別器を構築
● PG-GANにより属性により顔画像の編集ができる⽣成器を構築
● 上記の識別器や⽣成器により属性ごとの偏りを明らかにする
GANによる⽣成を⽤いて顔属性ごとの偏りを明らかにした
顔画像を部分的に編集（図は
髪を追加）して特徴に変更が
⽣じるかを検証，性差などは
無関係に顔認識を⾏いたい

Towards Standardization of Data Licenses:
The Montreal Data License
40
著者 : Misha Benjamin, Paul Gagnon, Negar Rostamzadeh, Chris Pal, Yoshua Bengio,
Alex Shee
● データセットのライセンスを標準化する取り組みであるMontreal Data
License（MDL）について説明した論⽂である
● MDLはこちら（ https://www.montrealdatalicense.com/en ）から参
照可能であり、⼿順に従って項⽬を選択すれば「データの種類」や「使⽤
の範囲」などが明記されたライセンスを発⾏可能
AI/ML分野のデータセットライセンスを明確にすることで
透明性だけでなく，公平にデータが⽤意されているかも判断
MDLのwebpageから参照
論⽂中では「データは現代の⽯油と⾔われる」とい
う⾔及もある⼀⽅で、「⽯油ほどは標準化されてい
ない」というところから問題意識がスタートする

Democratisation of Usable Machine Learning in
Computer Vision
41
著者 : Raymond Bond, Ansgar Koene, Alan Dix, Jennifer Boger, Maurice Mulvenna,
Mykola Galushka, Bethany Waterhouse-Bradley, Fiona Browne, Hui Wang and Alexander
Wong
● MLのツールを使⽤することに対する⻑所や短所、機械，脅威をSWOT分
析
● 知識のないユーザでも安全に利⽤できるアプリケーションが必要
● データサイエンスにおけるリテラシー基準を提案
「⼤きな⼒には⼤きな責任が伴う」

One-network Adversarial Fairness
42
会議 : AAAI 2019
著者 : Tameem Adel, Isabel Valera, Zoubin Ghahramani, Adrian Weller
● 公平性と正確性のトレードオフを定量化し、両者を最⼤化するためのモデ
ルを提案
● タスクを解く最終層とセンシティブ情報を予測する最終層の２つに分離
● センシティブ情報を予測可能＝特徴量にセンシティブ情報が含まれている
場合は，Lossを増加させるような勾配を伝播させることでセンシティブ情
報を削減し、Fairnessなネットワークモデルを実現
シンプルなネットワーク構造でFairnessを実現

チュートリアル
44
データセットとライブラリ
データセット
● 年齢や性別，肌の⾊にフォーカスした顔写真データセット
● 再犯率を調査したデータセット
● ImageNetに新たなラベルを付与したデータセット
● 成⼈の年収を調査したデータセット
ライブラリ
● IBM開発のAIの公平性を調査・軽減するライブラリ
○ AI Fairness 360
○ Watson OpenScale

データセット（1/8）
45
Adience Dataset
● 年齢と性別認識のための顔写真データセット
● 様々なポーズや照明下で撮影された写真をFlickrから収集
● Creative Commons (CC)で構成
データセット概要
● 画像数 : 26,580枚
● 年齢ラベル : 8個
(0-2, 4-6, 8-13, 15-20,
25-32, 38-43, 48-53, 60-)
● 性別ラベル : あり
https://talhassner.github.io/home/projects/Adience/Adience-
data.html#agegender

46
IJB Face Challenges
● 顔認識に関するチャレンジ (現在はIJB-C)
● 識別，検出，クラスタリングなどの8つのチャレンジ
● The IARPA Janus Benchmark-A face challenge (IJB-A)
● The IARPA Janus Benchmark-A face challenge (IJB-B)
○ 顔画像 : 67,000枚
○ 顔動画 : 7,000個
○ 顔以外の画像 : 10,000枚
● The IARPA Janus Benchmark-C face challenge (IJB-C)
○ 顔画像 : 138,000枚
○ 顔動画 : 11,000個
○ 顔以外の画像 : 10,000枚
https://www.nist.gov/programs-projects/face-challenges

47
Pilot Parliaments Benchmark (PPB)
● 性別や肌の⾊の偏りを考慮した顔認識⽤データセット
○ IJB-Aなどの従来データセットではlighter-skinnedに偏っていると指摘
● 1,270⼈，様々な⼈種の画像
○ African (Rwanda, Senegal, South Africa)
○ European (Iceland, Finland, Sweden)

48
Auditing ImageNet
● ImageNetのサブセットに対して追加ラベル (年齢と性別)
○ ILSVRC2012
○ ImageNetに含まれる“Person”カテゴリ
● ⾃動アノテーション
○ FaceBoxes networkによる顔検出
○ Deep EXpectation (DEX)による年齢・性別推定

49
APPA-REAL Database
● APPA : real and apparent age
● 顔認識のデータセット，年齢と性別がラベルづけされている
● 実際年齢と，⼈間によって投票された⾒た⽬の年齢のラベル
● 画像数 : 7,591枚
● 年齢ラベル
● ⾒かけの年齢ラベル
○ 投票数 : 約250,000票
○ 平均 : 約38票
http://chalearnlap.cvc.uab.es/dataset/26/description/

50
COMPAS
(Correctional Offender Management Profiling for Alternative Sanctions)
● 再犯予測データセット，名前や⼈種，年齢，⺟語などのラベルが付与
されている
● フロリダ州ブロワード郡の10,000⼈以上の刑事被告⼈
○ ⽩⾊⼈種よりも⿊⾊⼈種の⽅が再犯リスクが⾼いと誤識別
以下，Kaggleより
https://www.kaggle.com/danofer/compass

51
UCI Adult
● 成⼈における年収が50万ドルを超えるかどうかを予測するデータセット
○ 50万ドル超え : 24%
○ 超えていない : 76%
● 1994年の国税調査に基づいて，40,000⼈以上の年収や年齢，⼈種，
週当たりの労働時間，学歴などのラベルが付与
● train : 32,561
● test : 16,281
● 計48,842 instances
https://archive.ics.uci.edu/ml/datasets/Adult?ref=datanews.io

52
Diversity in Faces (DiF)
● IBMが構築した顔画像データセット
● SNS (Flickr)から収集したYFCC100Mが基
● 深層学習による顔認識の多様化に寄与
● 画像数 : 100万枚
● 顔に関する10種類の注釈
○ 頭⻑、⿐の⻑さ、額の⾼さなどの顔に関する客観的尺度
○ ⼈間による年齢や性別の予測値

IBM AI Fairness 360 / Watson OpenScale
53
モデルに潜むバイアスを排除するライブラリ
2つのライブラリを連動して使⽤することでより効果的にバイアスを軽減可能
● AI Fairness 360
○ 学習モデル作成のプロセスで使⽤
○ 開発者向け
● OpenScale
○ デプロイ済みモデル内に潜むバイアスを検出
○ ビジネス向け
https://developer.ibm.com/jp/2019/12/20/ibm-watson-openscale-and-ai-fairness-360-
two-new-ai-analysis-tools-that-work-great-together/

IBM AI Fairness 360
54
モデルに潜むバイアスを識別、調査、軽減
● データサイエンティスト向けオープンライブラリ
● python実装
○ レポジトリ : https://github.com/IBM/AIF360
○ API Docks : https://aif360.readthedocs.io/en/latest/
● 特徴
○ 70以上もの公平性を⽰す指標
○ 10のバイアス緩和アルゴリズム
○ データセットとモデルのバイアスを調査，軽減
● 参考
○ tutorials : https://aif360.mybluemix.net/resources#
○ Web Demo : https://aif360.mybluemix.net/data

IBM Watson OpenScale
55
視覚的かつ直観的にAIモデルの性能を説明
● 企業向けにAI実装を⼤規模に運⽤、⾃動化、分析するライブラリ
● ビジネスオーナーでも利⽤可能
○ コーディング要らずのプラットフォーム
● 参考
○ https://www.ibm.com/jp-ja/cloud/watson-openscale
○ https://developer.ibm.com/technologies/artificial-intelligence/series/

メタサーベイ？？
57
● 世界の「公平性研究・技術」の動向まとめ
● 国際ワークショップ開催の流れ
● 各機関の研究体制構築
● 注⽬研究者
● いかに研究を開始するか？
● いかにアイディアを発想するか？
という部分にフォーカス

AI分野における公平性
58
● 国際ワークショップ開催
● 機械学習の公平性を検討するFAT/MLが2014発⾜
● S. Barocas⽒ M. Hardt⽒が初回企画者
○ 機械学習研究者としても第⼀⼈者
○ NeurIPSのチュートリアルも担当 https://mrtz.org/nips17/
初回オーガナイザ
初回ワークショップでは後述の
Cynthia Dwork⽒を始め公平性研究の
第⼀⼈者たちが招待講演を⾏なった
https://www.fatml.org/schedule/2014

AI分野における公平性
59
● 国際ワークショップ開催までの流れ
● 開催までの流れはこちらを参照
○ https://www.fatml.org/schedule/2014/page/scope-2014
● 時はAIが流⾏り出した2014年
● 公平性, 説明責任, 透明性（FAT）は分野横断
○ 当時，FATを扱う特定の学会がない状態だった
● ホワイトハウスの声明も影響
○ https://obamawhitehouse.archives.gov/sites/default/files/docs/big_data_privacy_report_may_1_2014.pdf

各機関の研究体制構築（1/6）
60
● Microsoft Research
● FATEFairness, Accountability, Transparency and Ethicsグループが存在
● 効率や公平性のトレードオフを⾒極めて信頼できるAIに
技術を⾼める
● ACM FAT*にもGender Shadesなど論⽂投稿
https://www.microsoft.com/en-us/research/blog/microsoft-research-to-present-latest-findings-on-fairness-in-socio-technical-systems-at-fat-2019/
https://www.microsoft.com/en-us/research/group/fate/

61
● Google
● Google翻訳・Google Photsなどリリースしたシステムから，
unfairnessに気づくことで早期に研究開始
● Security, Privacy and Abuse Preventionといった研究チームが存在
○ Goodfellow⽒（元Google）も過去に所属するなどかなり激強研究メンバーで活動
○ Social scientists・Humanistsなどの専⾨家もチームに参加
● 研究の⼀例
○ Measuring bias
○ Building fair ML models and datasets
○ Techniques for mitigation
○ Understanding users & society
https://developers.google.com/machine-learning/fairness-overview
https://ai.google/responsibilities/responsible-ai-practices/?category=fairness
Google翻訳に対する性別バイアスの軽減

62
DeepMind
● Ethics & SocietyといったFairness
について研究するチームが存在
● Princeton Univ.と提携してWorkShopを開催
● Women in Machine LarningやAfrican Deep Learning Indabaなど
のコミュニティに資⾦提供
世界的に著名な経済学の教授ら
をアドバイザーとして加えて，
公共政策などの社会的な背景も
加味しながら研究を促進
https://deepmind.com/safety-and-ethics

63
● Amazon
● 資⾦提供型の研究を実施
○ Amazon and NSF Collaborate to Accelerate Fairness in AI
Research
○ Amazonと⼀体となり問題を解決する戦略
○ https://developer.amazon.com/ja/blogs/alexa/post/d9a995d4-943a-456b-9527-
848f437b1a8c/amazon-and-nsf-collaborate-to-accelerate-fairness-in-ai-research
Amazon’s “holy grail” recruiting tool was
actually just biased against women（再掲）
https://qz.com/1419228/amazons-ai-powered-recruiting-tool-was-biased-against-women/
採⽤AIの件もあり，いち早く問題に気付いた

64
MIT Media Lab.
● Joy Buolamwini⽒を中⼼に体制を構築
● Algorithmic Justice League
○ コミュニティが⼀体となってアルゴリズムバイアスからくる
不公平性をなくすために尽⼒
○ https://www.ajlunited.org/
● Civic Media Groupに所属
○ Ethan Zuckerman率いる
○ ⺠衆とメディアの⼒を活⽤するという⽬的のグループ
○ 個⼈ではなし得ない⼤きな⼒をうまく利⽤しコミュニティを
形成することに知⾒がある（のではないか）
https://civic.mit.edu/

65
● Harvard Univ.
● Cynthia Dwork⽒ (Harvard Univ. & Microsoft Research)
● Salil Vadhan⽒ (Harvard Univ.)
○ 2010年頃に公平性に関する研究を開始!?
○ 代表論⽂
■ Fairness Through Awareness (2012): 引⽤数808
■ Differential privacy: A survey of results (2008): 引⽤数5,576
■ Boosting and differential privacy (2010): 引⽤数464
● なぜに早々に研究を開始できたか？
■ 複数分野に精通していることが理由か？
■ 例としてDwork⽒はHarvard CSの教授でありながらLaw Schoolにも所属
がある（さらにMSRにも所属がある）
https://datascience.harvard.edu/people/cynthia-dwork
http://people.seas.harvard.edu/~salil/index.html

注⽬研究者（1/5）
66
● CVの公平性分野における第⼀⼈者
● Timnit Gebru⽒ (Google AI)
○ Black in AIの共同設⽴者
○ スタンフォード⼤SVL (Fei-Fei Lab.)出⾝
○ 代表論⽂
■ Gender Shades: Intersectional Accuracy Disparities in Commercial
Gender Classification (ACM FAT* 2018)
■ Datasheets for Datasets (FAT/ML 2018)
■ Model Cards for Model Reporting (ACM FAT* 2019)
http://ai.stanford.edu/~tgebru/
Google Mapの画像を収集，⾞両特定から⼈⼝解析を⾏うと
いう研究でも知られている [T. Gebru+, PNAS 2017]

67
● 顔認識システムに潜む不公平性を指摘
● Joy Buolamwini⽒ (MIT Media Lab.)
○ Algorithmic Justice League設⽴者
● アルゴリズムのバイアスと戦う
○ 代表論⽂
● Gender Shades: Intersectional Accuracy Disparities in Commercial
○ その他
● TED Talk:
https://www.ted.com/talks/joy_buolamwini_how_i_m_fighting_bi
as_in_algorithms/up-next
https://www.media.mit.edu/people/joyab/overview/

68
● Stanford/Princeton Univ.の注⽬研究者
● Olga Russakovsky⽒, Jia Deng⽒, Fei-Fei Li⽒
○ ImageNetを構築し, 2020年公平性について議論
○ スタンフォード⼤SVL (Fei-Fei Lab.)
■ ImageNet構築，ILSVRC運営等
■ Russakovsky⽒, Deng⽒は現在プリンストン⼤
○ 代表的な共著論⽂
■ ImageNet Large Scale Visual Recognition Challenge
(IJCV 2015)
■ Towards fairer datasets: Filtering and balancing the
distribution of the people subtree in the imagenet
hierarchy (ACM FAT* 2020)
https://www.cs.princeton.edu/~olgarus/
http://vision.stanford.edu/people.html
https://www.cs.princeton.edu/~jiadeng/

69
● Google AIの注⽬研究者
● Moustapha Cisse⽒
○ Head of GoogleAI in Accra, Ghana
○ 代表論⽂
○ ConvNets and ImageNet Beyond Accuracy:
Understanding Mistakes and Uncovering Biases (ECCV 2018)
http://moustaphacisse.com/

70
● Univ. of Virginiaの注⽬研究者
● Vicente Ordonez Roman⽒
○ Vision, Languageの両側⾯から公平性について研究
○ 代表論⽂
■ Balanced Datasets Are Not Enough: Estimating and
Mitigating Gender Bias in Deep Image Representation
(ICCV 2019)
http://vicenteordonez.com/

研究を始めるには？（1/4）
71
● 既存データに対し追加アノテーション
● 属性 (男⼥/年齢/肌の⾊)などを追加している
● 既存のモデルを試して認識率の⽐較
● 例：Pedestrian Detection Bias, Auditing ImageNet
○ Age and gender bias in pedestrian detection algorithms (CVPR 2019
Workshop)
○ Auditing ImageNet: Towards a Model-driven Framework for Annotating
Demographic Attributes of Large-scale Image Datasets (CVPR 2019
Workshop)
https://www.martimbrandao.com/pedestrian-detection-bias/
INRIA Person Detectionに追加ラベルを付与，著者
ページにて公開 [M. Brandao, CVPR 2019 WS]

72
● データから偏りを省く
● インスタンス数の不均衡を解消
● 画像収集・ラベル⾃体を付け直す場合も
● 例：Towards Fairer Datasets, Balanced Datasets
Are Not Enough
○ Towards Fairer Datasets: Filtering and Balancing the Distribution of the
People Subtree in the ImageNet Hierarchy (ACM FAT* 2020)
○ Balanced Datasets Are Not Enough: Estimating and Mitigating Gender
Bias in Deep Image Representation (CVPR 2019 WS / ICCV 2019)

73
● 特徴空間を調整して不公平性を解消
● 距離学習など
● 例：SensitiveNets, Unsupervised Domain
Adaptation
○ SensitiveNets: Unlearning Undesired Information for Generating
Agnostic Representations with Application to Face Recognition (CVPR
2019 WS)
○ Unsupervised Domain Adaptation for Distance Metric Learning (CVPR
2019 WS / ICLR 2019)

74
● モデルの出⼒を解析して考察
● 既存システム解析，定性評価など
● 例：Gender Shades, ConvNets and ImageNet
Beyond Accuracy
○ Gender Shades: Intersectional Accuracy Disparities in Commercial
○ ConvNets and ImageNet Beyond Accuracy: Understanding Mistakes and
Uncovering Biases (ECCV 2018)

研究コミュニティ⾃体も公平性を検討？
75
● 研究者⼈⼝を増やそう！コミュニティで研究しよう！
● ⼥性コミュニティ
○ Women in ML https://wimlworkshop.org/
○ Women in CV https://wicvworkshop.github.io/CVPR2019/index.html
● ⿊⾊⼈種コミュニティ
○ Black in AI https://blackinai.github.io/
● ラテンアメリカコミュニティ
○ khipu.ai https://khipu.ai/
● AI⼈材育成組織
○ AI4ALL http://ai-4-all.org/
● 直近のアフリカ開催の学会
○ ICLRʼ20 in Addis Ababa, Ethiopia https://iclr.cc/Conferences/2020
○ アフリカでの学会開催が少ないため

研究コミュニティ⾃体も公平性を検討？
76
● ACM FAT*の取り組み
● 英語⾮ネイティブも投稿：英語に関するコメントは避け
，⾔語を理由に落とさない
○ もし⾔語が問題の場合は丁寧にコメント！
○ Proof-readingやNative English Speakerは禁句
● （噂だが）採択論⽂/参加者/講演者の⼈種や性別などの
バランスが適切かどうかを判断している
● 2021年から国際会議名はFAccTに変更
○ FAT (太ってる)からFAccT (事実; FACT)へ
○ 公平性の国際会議なだけに，差別⽤語と捉えかねない表現を正
した？

まとめ
77
● CVの公平性は絶対に取り組むべき課題
● CVはいわば「⾒た⽬」で判断してしまう
● 差別を助⻑しないために研究を始めよう！
○ ⼈間の歴史を鑑みるに, 公平性研究の究極的な解決はないのか
もしれない
○ しかし，取り組まなければ差別の低減もできない！

関連資料
78
● Computer Vision meets Fairness:
https://visualai.princeton.edu/slides/Fairness_CVPR2018.pdf
● Fairness-Aware Data Mining: http://www.kamishima.net/archive/fadm.pdf
● 公平性を保証したAI/機械学習アルゴリズムの最新理論:
https://www.slideshare.net/kazutofukuchi/ai-197738033
● Leveraging GANs for fairness evaluations:
http://ganocracy.csail.mit.edu/slides/Denton_GANocracy.pdf
● Fairness in Machine Learning: https://mrtz.org/nips17

研究協⼒者募集・著者紹介

cvpaper.challenge: CV分野の研究コミュニティ
80

CVと公平性に関する研究協⼒者募集！
81
● 研究協⼒者募集：
● CV x FATEの枠組みで研究を開始！
○ ご興味のある⽅はぜひ！（その他CV分野について広く研究）
● CVやAI以外の分野のディスカッションも！
○ 法学・社会学などの分野からのご意⾒もお待ちしてます！
● 情報共有⼤歓迎：
● ⽇本・世界の状況を共有！
● FATEのサーベイ！
○ 勉強会も実施しましょう！
多くの意⾒に基づいて公平に議論しましょう！
# 2020年2⽉現在，CV研究者のみで議論しており，公平性が担保できているとは⾔いづらい状況です
コンタクト: cvpaper.challenge[at]gmail.com
http://xpaperchallenge.org/cv/recruit.html

⼭⽥亮佑(やまだりょうすけ)
● Twitter：https://twitter.com/FragileGoodwill
● 東京電機⼤学知能機械システム研究室 B4
● ⻑崎県南島原市出⾝
● ⼩学⽣：サッカー（国体強化選⼿），中学⽣：バスケ
，⾼校：テニス（シングル⻑崎県ベスト32）
● 最近はアコースティックギターに挑戦
【研究テーマや興味がある研究】
● 研究テーマ：ファッションスタイル解析，三次元点群
● 興味のある研究：動画認識，敵対的サンプル
【将来の夢】
5年後：同世代のAI研究者代表
10年後：⽇本が誇るAI研究者
15年後：世界トップクラスのAI研究者
【影響をうけた漫画】
● スラムダンク，キングダム
【最後に⼀⾔】
世界的に影響を与えることのできる研究者(AIスター)になります！

• 研究テーマ：画像・動画認識，⼈物⾏動認識・予測，
物体検出，交通予防安全，⾔語&視覚，⼤規模DB構築
，数式ドリブンDB⽣成
• 最近の興味：FATE
• 主要論⽂：CVPRx2, ICRAx3, BMVC, ACCV等
MyPage/SNS HP: http://hirokatsukataoka.net/ Twitter: @HirokatuKataoka
• 産業技術総合研究所（CVRG/AI Center/AL Lab.）研究員（2016, Apr. ~ 現在)
• 東京電機⼤学訪問研究員（2016, Apr. ~ 現在）
• cvpaper.challenge 主宰（2015, May~），nlpaper.challenge HQ（2018,
Dec.~）, robotpaper.challenge（2019, Jul. ~）
• 茨城県笠間市出⾝, 芝浦⼯⼤（ʼ05-ʼ09）, 慶應義塾⼤学（ʼ09-ʼ14）, 東京⼤（ʼ14 -
ʼ15），⻑距離⾛（フルマラソンBest 3ʼ30），⽔泳（茨城県5位），野球（⾼校~
⼤学; 海外選抜メンバー），⽝と遊ぶこと
• ひとこと：根っからのチャレンジャーです！
• cvpaper.challenge: 研究分野のトレンドを把握し
トレンドを創り出せる研究コミュニティにする
• xpaper.challenge: 分野横断的に研究連携する枠組
みを構築することが⽬標
⽚岡裕雄
（かたおかひろかつ）
【研究テーマや研究の興味】
【ひとこと，⽬標】
研究コミュニティを強くする！

コンピュータビジョンの観点から見たAIの公平性

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à コンピュータビジョンの観点から見たAIの公平性

Similaire à コンピュータビジョンの観点から見たAIの公平性 (20)

Dernier

Dernier (11)

コンピュータビジョンの観点から見たAIの公平性