【MIXI TECH CONFERENCE 2023】MIXIの最新映像技術が集結。スポーツ中継で見せた新たな挑戦【イベントレポート】

MIXIが手掛ける競輪・PIST6・オートレースのネット投票アプリ『TIPSTAR（ティップスター）』。そのアプリ内では映像伝送システムを駆使し、365日にわたって高品質で「楽しい」レース映像が配信されている。

走者目線でより臨場感のある映像を、いかにしてユーザーに届けられるのか。3月1日から3日間にわたり開催された「MIXI TECH CONFERENCE 2023」では、制作された映像とともに、そこに利用されている最新の映像技術が紹介された。

• keyboard_arrow_down 競輪の制約に配慮しながら迫力ある映像を撮る工夫
• keyboard_arrow_down リアルタイムに映像を送るため自作した自転車向け車載カメラ
• keyboard_arrow_down 独自開発した、リアルタイムに映像を自動編集するシステム「Uros」
• keyboard_arrow_down 視聴体験を盛り上げるために開発したAR 拡張現実「Astra」
• keyboard_arrow_down IT×映像の技術で面白いことを届けたい

2023年2月、千葉市にある「TIPSTAR DOME CHIBA」で、これまでに培ってきた新映像技術の集大成となる映像をつくる実験会が行われた。競輪の選手に「バンク」と呼ばれる競輪場の走行場所を実際に走ってもらい、その様子を4K中継車と4Kカメラ8台、ワイヤーにカメラを吊るすケーブルカム（以降、ワイヤーカム）など、計20台以上のカメラを入れて撮影するというものだ。

この実験会では試験的にバンクの内側と外側、それぞれに「Wiral LITE（ワイラル・ライト）」という簡易型のワイヤーカムを設置し。ワイヤーにカメラやスマホを装着するだけで、手軽かつ安全に空撮風の映像が撮れるという機材だ。より選手に近いところで撮影ができるため、臨場感のある映像を撮ることができたという。カンファレンス内では、iPhoneを吊るして撮影した映像も交えながらセッションが進行した。

撮影時には、競輪場ならではの安全上の制約も多かったと話す佐藤氏。

「バンクに万が一にでも物が落ちると、選手の走行の妨げになってしまいます。そういう意味でワイヤーを使ってカメラを吊るすのは非常に重要なことで、これにより安全に映像を撮ることができています」

『TIPSTAR』のサービスで基幹となるのは、配信される競輪場のライブ動画である。走者の目線で、より臨場感のある映像を届けるために、さまざまな工夫が凝らされている。

達成すべき課題として、1つ目はバンク内から無線で複数台同時に映像伝送すること、2つ目は軽量、小型でバッテリーを搭載した、低遅延かつエンコードに対応した映像を撮影できるカメラを調達することだった。

佐藤氏は自動車レースF1中継を例に挙げ、競輪での映像伝送技術の難しさについてこう語る。

「F1は車のモーターからカメラに電気が取れるから、ハイパワーで映像を送れるので低遅延にしやすいメリットがあります。でも、自転車からは電気が取れません。さらに、F1中継でも、車載カメラ映像は実際の試合進行より1~2秒ほど遅れています。このタイムラグを埋め、可能な限り低遅延を実現したいのが今回の取り組みです」。

車載カメラに関しては、まず市販のカメラを試していくことにした。最初に試したのは手のひらサイズの小型LTEスマートフォン「Unihertz Jelly2 Jp」だ。これを競技用の自転車に設置する。映像はライブ中継用のアプリ「Dejero LivePlus」を使い、伝送方式はsXGPとWi-Fiを使ったが約 0.9秒の遅延が出てしまった。

「“我々でも車載カメラをつくれたら面白いよね”という考えもあって、遅延などの課題を解決するためにもデバイスを自作しました」と佐藤氏。2代目は伝送方式をローカル5Gにした。この車載カメラの制作過程は開発を担当した開発本部 本部長の吉野 純平氏が「デバイス構築という挑戦」と題したセッションで登壇。自転車に車載カメラを取り付けるための専用ケースの開発秘話とともに、詳しく解説している。

▼デバイス構築という挑戦 | D1-8 | MIXI TECH CONFERENCE 2023

誕生したMIXI製のローカル5G車載カメラは、伝送遅延を約0.4秒遅れで映像を届けることができるようになった。

「実際に選手が走る風景を後ろから（車載カメラで）撮ることで、特に追い抜きの瞬間とか、迫力のある絵を撮りやすくなったかなと思っております」

次に映像編集システム「Uros」について話題が移った。スポーツ中継映像や会場に設置された大型ビジョンに流れる映像に、スコアや個人の成績などといったスタッツ情報が表示されているのを目にしたことがある人も多いだろう。これはスポーツ・コーダと呼ばれる入力システムを使用し、映像にテロップで情報を合成させている。

これをMIXIが独自で開発したのが「Uros」だ。「Uros」は自動で外部のDBに保存されている選手の写真や選手情報を取得し、現地のテレビ室が撮影している映像に、リアルタイムで選手の紹介やリザルト（戦績）をテロップで載せることができる。これらは『TIPSTAR』で配信される動画や、「TIPSTAR DOME CHIBA」内に設置された大型ビジョンで放映されている。

これを測定しているのが、IPS（Indoor Positioning System）というGPSが利用できない屋内でも利用可能な位置情報測位システムだ。

「ロケータというアンテナを「TIPSTAR DOME CHIBA」のバンク外周に24個設置しました。さらに500円玉くらいの位置情報のタグを各選手の車載カメラと一緒に取り付けています」。

このロケータと位置情報タグにより、電波の到着角度を検知。測位演算サーバーが位置を算出し、「Uros」へ情報を投げ続ける仕組みで、情報を受け取った「Uros」が前述のようなテロップを描画する。これまで人の手によって操作されてきた編集作業が、自動で行えるメリットは大きいだろう。

ほかにも佐藤氏は、AR映像にも力を注いでいると話す。初心者でも競技の状況を分かりやすく、また視聴体験を妨げずに情報を付け加えられることから映像がより分かりやすくなるという。また、視聴体験を盛り上げるというエンターテイメント性の観点や、レースとレースの間のスキマ時間に視聴者を離さない目的もあると話す。

この視聴体験を実現するために、開発本部CTO室 映像開発グループが自転車競技向けに開発したのがAR 拡張現実「Astra」だ。
参考：AR（Augmented Reality）拡張現実 “Astra” 2023年2月10日撮影 デモ映像

選手動画が含まれるため権利の都合上ここでは紹介できないが、セッション会場内では「Astra」による選手紹介動画とレース動画のデモ版も披露された。選手紹介では静止画ではなく、会場の動画に選手の写真やプロフィールを載せられるほか、出走順や車番順に並べることで、より臨場感をもってユーザーに競技動画を届けることも可能だ。

「このような動画は実際に競技場のなかに出たら大変なんですが、ゴールすると雷を落として火を上げるといった演出もARだからやることができます。こういうところが面白いなというふうに思っております」

ARがより現実に近い描写をしているのも見どころだと佐藤氏は話す。映像上で球体や火柱などのオブジェクトが実際の映像と重なっているだけでなく、建物内の壁面にぶつかるとちゃんと跳ね返っている。また、炎が屋根の柱に反射している様子も確認できた。

遠隔操作機能をもつPTZカメラで会場の様子を撮影しているが、使用している機材にはカメラの向きを知らせるProtocolを備えているという。これによりカメラがどんな映像を送ってくるのか、向きから予測できるようになった。そして3Dスキャンした会場の映像と前述の「Astra」を使い、AR映像が出力されるというのが一連の流れだ。

このほかにも、まだ実験中の位置情報とARを組み合わせた映像を見せてくれた。サーバーから受け取る位置情報と、ARで矢印のオブジェクトを重ね、バンクを走行する選手達の頭上に矢印が飛ぶ。これは前述のPTZカメラを使うのではなく、StypeKit（スタイプキット）を使用している。カメラトラッキングが可能で、雲台の動きでどこを向いているか判断し、情報をサーバーに飛ばして映像と位置情報をリンクさせるため、先程のようなAR映像を作ることができるというわけだ。

 最後に佐藤氏は今後の取り組みについて次のように述べた。

「Unity とかUnreal Engineはゲーム開発で使われるようなソフトウェアですが、MIXIがゲームの制作で培った技術を映像にも転用したいですね。そして実はまだ、映像とITの融合が足りていないのが現実です。その両方の技術をMIXIがもっているので、これから引き続き面白いことをやっていきたいと思っております」

今後もMIXIが起こす映像の技術革新に期待したい。

セッション動画