TOPコラム海外最新IT事情「自分の絵を画像生成AIから守る」――学習される前に絵に“ノイズ”を仕込みモデルに作風を模倣させない技術「Glaze」【研究紹介】

「自分の絵を画像生成AIから守る」――学習される前に絵に“ノイズ”を仕込みモデルに作風を模倣させない技術「Glaze」【研究紹介】

2023年2月21日

先端テクノロジーの研究を論文ベースで記事にするWebメディア「Seamless/シームレス」を運営。最新の研究情報をX（@shiropen2）にて更新中。

米シカゴ大学に所属する研究者らが発表した論文「GLAZE: Protecting Artists from Style Mimicry by Text-to-Image Models」は、テキストから画像を生成する拡散モデルにおいて、絵に仕込んだノイズで学習後のモデルを騙し、作風を模倣した絵を出力させない技術を提案した研究報告である。学習される前に自分で描いた絵に敵対的な摂動を仕込むことで、学習されてもモデルの出力が誤った画像になるという。

keyboard_arrow_down 研究背景
keyboard_arrow_down 研究内容
keyboard_arrow_down 評価結果

研究背景

StableDiffusionやMidJourneyなどのテキストから画像を生成する拡散モデルの登場は、アート業界を一変させ、根底から覆した。以前はプロのアーティストが何時間もかけて描いていたような、驚くほど詳細で高解像度のアートワークを誰でも生成可能になったからだ。これらのモデルで生成した画像は、既存のアートコンベンションで賞を獲得し、雑誌の表紙を飾り、児童書やビデオゲームの挿絵に使用されている。

便利な一方で解決していない問題もある。著作権度外視でアーティストの作風を悪意を持って盗用する問題だ。オープンソースのStableDiffusionモデルを利用し、特定のアーティストからの追加サンプルで微調整し、そのアーティストの作風を模倣したAIアートを生成することを可能にしている。長年かけて磨かれたアーティストの作風を模倣したモデルは、アーティストに対価を支払わず、そのトレーニングから利益を得ることができる。

特定のアーティストを模倣したAIモデルがアップロードされ、無料で共有され、プロのアーティストはユニークなスタイルを模倣したモデルによって生計を失いつつあるのだ。アーティストは訴訟やボイコットなどで反撃しているが、法的・規制的措置には何年もかかり、国際的に強制するのは難しい。

したがって、ほとんどのアーティストは、何もしないか、モデルに学習されるのを避けるためにオンラインで自分の作品を共有しない。そうすることで顧客に作品を宣伝し促進するための主要な方法を不能にするという選択に迫られている。

2022年にリリース後1日で閉鎖した国産AIイラスト「mimic」（ミミック）は記憶に新しい。15枚以上のイラストを入力に、それらのタッチや画風を学習し、作風が似た新たな画像を出力するサービスである。閉鎖の要因は、プロのイラストレーターや漫画家の絵を入力し、似た絵を出力してコンテンツを作って販売する悪意ある盗作行為が懸念されたからだ。

▲（左）Hollie Mengert氏が描いたオリジナルの絵（右）Hollie Mengert氏の作風を模倣したAIの絵

研究内容

本研究では、これらの脅威からアーティストを守るため、テキストから画像への拡散モデルによる作風の模倣を防ぐ技術「Glaze」を提案する。Glazeは、AIモデルがターゲットのアーティストとは異なる作風を生成するよう誤解させるために、学習される前に作品へ最小限の敵対的な摂動（Style cloakと呼んでいる）を加えることで画風模倣からアーティストを保護するシステムである。

アーティストはGlazeを使って、オンラインで共有する前に、自身のアート作品の画像に人間の目には気が付かれない小さな摂動を追加する。遮蔽された絵で学習するテキスト画像変換モデルは、特徴空間におけるアーティストの作風の誤った表現を学習する。モデルは狙ったアーティストの作風を模倣できず、代わりに誰が見ても認識できるほどの異なる絵を出力することになる。

▲Glazeの概要図。左上が入力画像で右下が出力した画像。入力画像と出力した画像が全く違うことが確認できる

Glazeの開発にあたっては、プロのアーティストコミュニティと密接に協力し、アーティストコミュニティから1,156名の参加者を得て複数のユーザースタディを行い、その有効性、使い勝手、様々な能動的対策に対する頑健性を評価した。

これは、アーティストが自分の作品に悪影響を与えることなく、自分の作風を模倣しようとするAIモデルを混乱させるのを助けることが目的だからだ。この文脈での「成功」は非常に主観的であるため、唯一の信頼できる評価指標はプロのアーティスト自身による直接のフィードバックであると考え、多数のアーティストに依頼し評価してもらっている。そのため、Glazeの評価は可能な限り、プロのアーティストコミュニティのメンバーを対象とした詳細なユーザー調査によって行われている。

▲（左2列）オリジナルの絵（中央2列）Glazeを使用せず出力されたAIによる絵（右2列）Glazeを使用して出力されたAIによる絵

評価結果

評価の結果、調査対象のアーティストの92％が作品の価値を損なわない程度の小さなノイズであると回答しており、88％以上が自身の作品を模倣攻撃から守るためにGlazeを使いたいと考えているとわかった。また93%のアーティストが、現実の模倣プラットフォームとのテストを含む様々な環境下でGlazeによる保護が成功したと評価している。

現在、研究チームはGlazeのWindows版とMac版の開発を積極的に行っている。

Source and Image Credits: Shan, S., Cryan, J., Wenger, E., Zheng, H., Hanocka, R., & Zhao, B. Y. (2023). GLAZE: Protecting Artists from Style Mimicry by Text-to-Image Models. arXiv preprint arXiv:2302.04222.