イスラエルと米国の研究者らが開発 3Dモデルを簡単編集できるAIシステム「GeoCode」【研究紹介】
イスラエルと米国の研究者らは、ユーザーがパラメータを操作することで、3次元形状を直感的に編集できるシステムを提案した。与えられた点群やスケッチをパラメータ空間にマッピングするニューラルネットワークを用いることで、パラメータ表現を変換して高品質なメッシュ出力を実現する。
「3D化した顔を巧妙に仮装」 呪文で3Dシーンをスタイル変換するモデル「NeRF-Art」【研究紹介】
香港城市大学などは事前に学習されたNeRFモデルのスタイルを、簡単なテキストプロンプトで操作するテキスト駆動型NeRFスタイライゼーションを提案した研究報告を発表した。数枚の画像から生成した3Dシーンに対して、詳細にスタイル変換を行う。
ピタッとくっつく3Dキャラクターの足と地面、より自然な動きに NVIDIAが物理ベースの拡散モデルを開発【研究紹介】
NVIDIAが、物理法則を拡散プロセスに組み込み、リアルな動作を生成するAIモデルを開発。3DCGキャラの足滑りや浮遊など、実世界でありえない現象を解消した。物理シミュレーションと深層学習の融合により、高品質なアニメーション生成を実現する技術を紹介。
シールみたいにペラペラな「布製太陽電池」、厚さ0.05mmで発電量は従来の18倍 米MITが開発【研究紹介】
MIT研究者らが、髪の毛より薄く軽量な太陽電池を開発した。従来の100分の1の重さで発電効率は18倍、布など多様な素材に接着可能だ。次世代エネルギー技術として期待される、この革新的な極薄ソーラーパネルの研究成果を紹介する。
「顔を少し若返らせて動画配信」 人の若さ具合を自在に変えられる映像編集ツール、Disneyが開発【研究紹介】
スイスのDisney ResearchとETH Zurichの研究者が、映像中で自然なリ・エイジングを実現する新しいシステムを開発。顔の動きを損なわずに若返りや老化を可能にする技術を探る。
スマホを90度に曲げ、奥行きをリアルに感じながら立体物を編集できる3Dモデリングツール「AngleCAD」【研究紹介】
香港城市大学が、折りたたみスマホを活用した3Dモデリング技術を開発。画面を90度に曲げることで奥行きを知覚させ、側面からのマルチタッチ操作を実現する。物理的形状変化を利用した、直感的で新しいインタラクション手法の仕組みを紹介。
動画内の“顔だけ”を後からくっきり高画質に補正するAI技術 シンガポールの研究者らが開発【研究紹介】
シンガポールのNanyang Technological Universityに所属する研究者らは低画質な画像や動画内の顔を高画質に補正する深層学習技術を提案した。昔に撮影したノイズの多い写真や映像の顔だけを高品質に修復し、コンテンツ全体の質を向上させる。
音楽動画からピアノカバーを生成するAI「Pop2Piano」 韓国チームが技術開発【研究紹介】
韓国のRebellions社とソウル大学校の研究チームは、ミュージックビデオなどの音声からピアノカバーを深層学習モデルで自動生成する手法を提案した研究論文を発表した。メロディとコード抽出モジュールを用いずにポップミュージックの音声から直接ピアノカバーを生成する。
指1本でモノを浮かし移動させる技術 英UCLなど超音波浮遊「TipTrap」開発【研究紹介】
イギリスとスペインの研究チームは、指先のすぐ下でビーズを浮かして移動させることができる超音波浮遊技術を提案した研究報告を発表した。指先の音の反射を利用して、浮遊コンテンツの制御を可能にする。
テキストのみで実写画像の部分的編集ができるモデル「Imagic」 Googleとイスラエルの研究者らが開発【研究紹介】
Google ResearchとイスラエルのTechnion、Weizmann Institute of Scienceによる研究チームが、1枚の実写画像に対してテキストを用いた様々な部分的な意味編集を実行できる学習ベースの手法を提案した。
「他人の“顔”で動画配信」——リアルフェイスマスクを映像内の動く自分に滑らかに適合できる技術 ディズニーなどが開発【研究紹介】
Disney Researchなどが、映像内の顔を別人の顔に入れ替える学習ベースの手法を開発。照明や表情、頭部の動きを考慮し、違和感のない自然な合成顔を生成する。映画制作や映像編集の効率化に寄与する、高精度なフェイススワップ技術の仕組みを解説。
たった1枚の画像からシャープな3Dモデルを自動生成 Google「3DiM」開発【研究開発】
Google Researchの研究チームは、わずか1枚の2次元画像から3次元オブジェクトを自動生成する拡散モデルを用いたフレームワークを提案した。画像から3次元的に一貫性のある複数の新規ビューを生成する。
顔のみをアニメ風にして動画配信。動く人の顔を高品質に漫画化するスタイル転送技術「VToonify」【研究紹介】
動画コンテンツの中心であるポートレートビデオに革新を。VToonifyで高品質なスタイル転送を実現し、ソーシャルメディアでの存在感を引き上げる。
「合成脳」10万枚を公開 画像生成AIで脳のMRI画像を医療用に大量生成 欧米の研究者らで実施【研究紹介】
英米の研究チームは、拡散モデルを用いた方法で脳のMRI画像を大量に生成し、医療用の大規模な脳合成データセットを作成した研究報告「Brain Imaging Generation with Latent Diffusion Models」を発表した。
文章からアバターの動きを生成するAI「MotionDiffuse」 シンガポールと中国の研究者らが開発【研究紹介】
シンガポールと中国の研究チームは、入力したテキスト（自然言語）に応じてアバターの動きを生成する学習ベースのシステムを開発した。より忠実な動きが出力されるだけでなく、パーツごとの操作と長時間のシーケンス生成を可能にする。
「コード」から「漫画」を自動作成するツール「CodeToon」。カナダの研究者らが開発【研究紹介】
カナダ・ウォータールー大学が、コードから漫画を自動生成するツールを開発。入力されたプログラミングコードを物語化し、視覚的なコミックとして出力する。直感的な理解を助ける教材作成など、プログラミング教育のハードルを下げるユニークな可視化技術を紹介。
3Dモデルの質感を好きな画風に変えられるスタイル変換モデル NVIDIAなどが開発【研究紹介】
NVIDIAと独大学チームが、静止画の画風を3Dオブジェクトの質感に転写するAIモデルを開発。微分可能レンダリングと深層学習を用い、高品質なスタイル変換を実現した。3Dアセット制作を効率化し、表現力を高めるテクスチャ生成技術の詳細を紹介。
1枚の写真から作成する動くメガピクセル頭部アバター。ロシアチームが開発【研究紹介】
Samsung AI Centerなどが、1枚のポートレート写真から高解像度の動く頭部アバターを生成するシステムを開発。静止画からリアルな表情や動きを作り出す技術とは。メタバースやゲームでの活用が期待される、ワンショットアバター生成AIの進化を紹介。
画像1枚から永久に続く“空飛ぶシーン”をつくれる技術 Googleなどが開発【研究紹介】
Googleらが、1枚の静止画から鳥が飛行する動画を永続的に自動生成するAIを開発。学習に動画データを使わず、単一のRGB画像のみから自然なシーンと新規ビューを生成できる。映像生成技術の新たな可能性を示す、学習ベースのシステムの仕組みとは。
手書きスケッチで描いたキャラやロボットの関節を自在に動かせるデザインツール 韓国チームが開発【研究紹介】
韓国KAISTが、スケッチ中に多関節オブジェクトの動きを試行錯誤できるデザインツールを開発。両手操作で関節の動きを瞬時に制御し、初期段階で動作検証が可能だ。静的なスケッチにインタラクティブな動きを与える、革新的な設計支援システムの詳細を紹介。
「テレポート会議」ができるレベル 全身の動きを忠実に真似する実写アバターを米Metaが開発【研究紹介】
米Metaの研究チームが、ヘッドセット不要の全身3Dアバターシステムを開発。市販センサー数台だけで、衣服を着たアバターをリアルタイムに駆動できる。遠隔地でも写実的なテレプレゼンス体験を可能にする、次世代のアバターコミュニケーション技術を紹介。
「スマートフォンを3秒持っているだけで個人認証」。心臓の動きによる「手の震え」を利用【研究紹介】
フランスの研究チームが、スマホを持つ「手の振動」だけでユーザー認証を行うシステムを開発。標準センサーを利用し、3秒間の測定で96％以上の精度を実現した。パスワード不要で高セキュリティを実現する、身体特性を活かした生体認証技術を紹介。
手書きした絵コンテの人物画を3Dキャラクターに自動変換する「Sketch2Pose」 不自然なポーズも自動修正【研究紹介】
カナダの研究チームが、1枚の手書きスケッチから3Dキャラクターのポーズを再構築する深層学習技術を開発。身体のバランスが不自然な画でも、AIが補正し整った3Dモデルに仕上げる。クリエイターの創作活動を支援する最新AI技術の仕組みを解説。
AirPodsを聞いている人の横からこっそり自分のイヤホンで盗聴可能な技術 ワイヤレスイヤホンの脆弱性と情報漏洩の脅威を指摘【研究紹介】
中国の研究チームが、AirPodsなどのワイヤレスイヤホンに深刻な脆弱性を発見。60cm以内の距離で他人の音声を盗聴できるという。研究の詳細と、自分のヘッドフォンで盗み聞きが可能になる仕組み、我々が知るべきセキュリティリスクを解説。
材料を「空中に浮かせながら」工作するロボット、部品や接着剤の液を音で浮遊させ、接触なしで組み立て可能【研究紹介】
スペイン、イギリス、ブラジルの3ヵ国による研究チームが、超音波を用いて材料を空中に浮遊させながら非接触で組み立てを行うロボットアームを開発した。接触型工程によるクロスコンタミネーションの課題解決に挑む。
「ほぼ実世界。リアルすぎるバーチャル空間を構築」多視点の写真から精密な3Dシーンを作成【研究紹介】
独フリードリヒ・アレクサンダー大学が、点群ベースの深層学習レンダリング技術を開発。異なる視点の複数画像から、アーチファクトを抑えた高精度な3Dシーンを作成可能だ。バーチャル空間生成の質を高める、微分可能なレンダリングパイプラインを紹介。
写真から「立体的なアート作品」をAIが自動作成 米Adobeなどが開発【研究紹介】
米コーネル大とAdobeが、写真を立体的なアート作品に変換する機械学習技術を開発。平面画像とスタイル画像を組み合わせて、どの角度から見ても自然な3Dオブジェクトを生成する。クリエイティブの幅を広げる、画期的なスタイル変換技術の仕組みとは。
物理キーボード不要 机の上で「指だけタイピング」を実現する手首型デバイス「TapType」【研究紹介】
スイス連邦工科大学チューリッヒ校が、机を叩いて文字入力できる手首型ウェアラブルデバイスを開発。物理キーボードなしで、スマホ利用時などにQWERTY配列でのタイピングが可能になる。場所を選ばず入力できる次世代インターフェース技術を紹介。
Google、日常に溶け込む「隠れタッチディスプレイ」開発 木や布、鏡の上に映像が浮き出でる【研究紹介】
Googleが家具や壁に溶け込む隠蔽型タッチディスプレイを開発。木や布などの素材を通して映像を表示し、タッチ操作も可能だ。必要な時だけ情報が浮かび上がる、生活空間のノイズにならない次世代の「アンビエントコンピューティング」技術を紹介。
VR空間に籠もって仕事ができる個室 部屋内で起きる実世界の出来事をリアルタイム再現・後から3D再生可能に【研究紹介】
スイスのETH Zürichの研究チームがVR（バーチャルリアリティ）空間"だけ"で仕事を完結させるための物理的な個室を開発した。部屋には多数の深度カメラが完備され、ユーザーがVR空間にいる間で起きる部屋内の事象を全て3D録画する。それによって、VR空間にいながら実世界とコミュニケーションが取れたり、後から追体験したりすることができる。
「タッチパネル操作時の“遅れ”をなくす」スマホに貼る透明シート 米カーネギーメロン大が開発【研究紹介】
米研究チームが、タッチパネルの操作遅延を軽減する透明シートを開発。スマホに貼るだけで指への追従性が劇的に向上する。抵抗膜や静電容量方式など既存の多くのスクリーンに適用可能だ。UI操作の快適性を高め、ユーザー体験を改善する低遅延化技術の仕組みとは。
手術なしで顔に電子機器を埋め込むメイク技術 ユーザー操作で頬を赤らめ涙を流すことが可能【研究紹介】
米カーネギーメロン大学の研究チームは、皮膚パッチを使った特殊メイクでウェラブルデバイスを顔の皮膚に埋め込む技術を開発した。ユーザーは、自分の操作で頬を赤らめたり、涙や汗を流したりができる上、そばかすを浮き出させたり、眉毛を上げ頬骨やえくぼをつくったりする動的な機能を付加できる。
市販メガネに取り付けて食べた量を計測できるデバイス「MyDJ」 低消費電力で長時間モニタリングが可能【研究紹介】
KAIST（韓国科学技術院）とDYPHI Inc.の研究チームは市販のメガネフレームに取り付けるだけで、着用者の食事摂取量を検出する小型デバイスを開発。着用者の咀嚼信号を取得し、食べた量を低い消費電量で自動的にモニタリングする。
フリーハンドで電子回路を描ける手持ちプリンター「Print-A-Sketch」手書き絵のスキャン・コピーも可能 ドイツチームが開発【研究紹介】
ドイツのチームは、手書きの要領で描くように電子回路を印刷できるハンドヘルドプリンターデバイスを開発。ユーザーはデバイスをさまざまな表面に当て、自由に動かしながら電子回路を形成できる。手の動きや素材の特性に合わせてインクの量が自動で調整され、高品質な電子プリントが実現される。
どの角度からもシームレスに見える「巨大ホログラム」の作成に成功 英ケンブリッジ大と米ディズニーが「Holobricks」を開発【研究紹介】
英ケンブリッジ大とDisney Researchが、ホログラムをタイル状に並べて巨大な立体像を作る「Holobricks」を開発。どの角度や奥行きからもシームレスに見える3D映像を実現した。拡張性のある次世代ホログラフィックディスプレイ技術を紹介。
音が聞ける「布」?! シャツが周囲の会話や体内の心拍音をマイクのように録音 MITなどが開発【研究紹介】
米マサチューセッツ工科大学（MIT）などによる研究チームが、可聴音（人が聞こえる音）を聞けるマイクとして機能する布を開発。心拍音のような静かな音から、交通量の多い道路の騒音まで広範囲の音を検出することができる。シャツに搭載し身の回りの会話音から体内の音までを記録する。
映像のみから動けるリアル3Dアバターを作成 服の動きまで精密に再現【研究紹介】
独マックス・プランク研究所が、1枚の画像から服を着た3Dモデルを再構成する新手法を開発。ビデオフレームから直接、個人のポーズや衣服の変形を反映したアニメーション可能なアバターを作成できる。高精度なデジタルヒューマン生成技術を紹介。
サンフランシスコの街を画像からリアルに3D化 Waymoなど「Block-NeRF」開発【研究開発】
Googleらが、複数枚の街並み写真から都市全体を写実的な3次元シーンとして再構築する手法を開発。280万枚の画像からサンフランシスコの一部をレンダリングすることに成功した。自動運転シミュレーションやVRマップ生成への応用が期待される最新技術を紹介。
VRヘッドセットの脆弱性を指摘 装着者の顔の動きから個人情報を抜き取るシステムを開発【研究紹介】
米ラトガーズ大学、上海交通大学、米Texas A&M University、米テネシー大学による研究チームは、装着したVRヘッドセットを用い、人間の音声に伴う顔の動きを利用して個人情報や機密情報を推定する攻撃方法を提案し、VRヘッドセットの脆弱性を指摘した。同様な仕組みを利用して攻撃を仕掛けることができるという。
YouTubeなど動画内の人を3Dモデルで抜き取る技術 米ワシントン大とGoogle Researchが「HumanNeRF」開発【研究紹介】
ワシントン大とGoogleが、単眼カメラ映像から動く人物の自由視点レンダリングを生成する技術を開発。見えない背中側も含め、あらゆる角度から高忠実に3D再現が可能だ。YouTube動画などから立体的な人物モデルを生成できる、映像解析技術の進化を解説する。
4足歩行ロボットは野外でも「生存」できるか？ 険しい山道や雪が積もる階段など 未知なる環境でも自律歩行に成功【研究紹介】
チューリッヒ工科大学（ETH Zurich）とIntelによる研究チームは外部知覚と内部知覚を組み合わせて、山道や洞窟、雪が積もる階段などの未知なる困難に満ちた実環境でも適宜判断して、自律歩行で高速で乗り越える4足歩行ロボットシステムを開発した。
青と黄を混ぜると「きちんと」緑色になるお絵かきデジタルツール 油絵や水彩画などのデジタル再現に活用【研究紹介】
チェコ工科大学の研究チームは実際の絵具が混ざったような色を表現できるペイントデジタルツールを開発。これまでと違い、忠実度の高い混色を出力し、油絵、パステル画、水彩画などのスタイルをリアルに描ける。
AIが大学レベルの数学を即座に解き、高品質な問題の生成にも成功。プログラム合成技術を活用 MITなどが発表【研究紹介】
米マサチューセッツ工科大学（MIT）、米コロンビア大学、米ウォータールー大学の研究チームがテキストで事前学習し、コードで微調整（fine-tune）したTransformerが、プログラム合成によって大学レベルの数学問題をリアルタイムに解き、採点し、生成できることを実証した。
医療用ロボットの過去10年の研究成果 8つのホットトピックスから考察【研究紹介】
世界8大学の研究チームが、2010年から2020年の医療用ロボット研究を振り返る報告書を発表した。手術支援からリハビリまで、過去10年間の主要な成果とホットトピックスを網羅的に評価。医療ロボティクスの進化の軌跡と、今後の技術的展望を簡潔にまとめる。
ゲームの「主人公の声」を「自分の声」にしたらどうなる？ 米研究チームは声の類似性がユーザーに与える影響を実験【研究紹介】
ゲーム内のアバターの声が自分の声に似ていると、ユーザーにどのような影響を与えるか。米研究チームが、リアルタイム変換ではなく事前録音されたセリフを用いて検証。プレイヤーの没入感やアイデンティティ形成における、声の類似性の効果を調査した。
