テクノロジーで見えない景色が見えるように！アリババ・ファーウェイ・復旦大学が行うソリューションとは

中国政府は2023年に「バリアフリー環境建設法」を制定し、ハード、ソフトともに高齢者や障がい者に役立つ製品サービスを開発するよう後押しをしている。これは、それまでおざなりだった障がい者への対策だけでなく、社会の高齢化が進み続ける昨今、目が不自由になった高齢者へのフォローともいえるものだ。

中国には約1700万人以上の視覚障がい者がいるとの推計もある。中国ネット大手は、法律制定前からバリアフリーに力を入れていて、障がい者向け製品やサービスの開発のほか、雇用を生むための仕組みづくりなどを行っている。

この記事では、高齢者を含む視覚障がい者、つまり目が見えないかそれに近い状態の人に対するネット大手のスマートソリューションを紹介していきます。

• keyboard_arrow_down 音声や点字で医薬品へのアクセス向上
• keyboard_arrow_down 視覚情報をテキスト化してアナウンス
• keyboard_arrow_down バリアフリー機能を備えたOSも登場

アリババのデジタル医療部門の「アリヘルス（阿里健康）」は、オンライン医療やオンライン薬品販売をしており、医療および健康サービスに誰でもアクセスできるようにしている。「誰でもアクセスできる」という意味で1つ引っかかるのが、市販薬の説明だ。直接医師にかかる場合、オンラインであれ対面であれ、わかりやすく解説してもらえる。一方で、市販薬となると、パッケージの内外や添付の説明書に小さい字で長々と説明が書かれているだけになる。目が不自由でなくても要点をつかむのにちょっとした時間が必要なのに、これが目が不自由な方となれば、どれほど大変なのかは察しがつくだろう。

目が不自由ならば、文字を読み取って音声にすればいいじゃないか、と思うかもしれない。ところが、薬箱の長い説明を音声で流されると、端的に言ってダルイ。あまつさえ技術的にも、「メトホルミン、セフタジジム、メチマゾール」などの複雑な薬剤名や医学用語、それに使われる珍しい文字は、通常のテキスト音声読み上げ機能では認識、読み取り、セグメント化することが困難だ。

アリババグループで手がけるクラウドサービス「アリババクラウド（阿里雲）」には、普段使いには十分な音声読み取り機能が備えられていて、すでに市民の日常生活において活用されている。しかし、医薬品の説明に含まれる多声文字や珍しい文字に関しては、依然として医学的専門知識に基づいた特別な修正が不可欠だ。そこで、まずアリヘルスはアリクラウドと協力し、医薬品の説明書がちゃんと読めるように、医療用語ライブラリを追加し、読み取り機能を強化した。

ただ、それだけでは説明が長すぎてよくわからないという問題が解決しない。

アリヘルスは周囲の高齢者から「どのようなソリューションが良いのか？」「高齢者がどのような医療サービスを受けたいのか？」といった聞き取りを行い、彼らの本当のニーズを把握した。その結果、 アリヘルスが開発し中国の医薬品に記載されている、医薬品のトレーサビリティコードを使用することを決定した。このサービスは、医薬品がいつ、どこを経て製薬されたのかがわかるこのコードを、アリペイやタオバオのアプリでスキャンすると、簡易的な説明が表示されて音声も発せられるというもの。今後もアリババとアリヘルスはより多くの製薬会社と協力し、より多くの医薬品や高齢者向けに一般的に使用される医薬品をカバーできる医薬品説明の音声ブロードキャストの導入を進めていくという。

しかしここまでは全て、目に不自由を抱えているものの、まだ少し視力のある方向けの施策である。一方、全く目が見えない人は、点字を通して読まなければいけない。

そこでアリヘルスはフォントに強い中国の老舗企業「方正」と提携し、中国初の中国語/音声/点字変換機能を備えてカスタマイズされたフォントセット「アリババヘルスフォント」を共同開発した。フォントが納品された後も「どのような役割を果たすのか」を考え続けることをデザインコンセプトとした結果、フォントデザインは、優しさを重視した、日本語フォントで言えば丸ゴシック系のフォントとなった。

中国には点字の標準があり、点字にも独自の筆記体系、綴り、読み方、印刷方法がある。中国の点字表記は、中国語の発音表記のピンインにだいたい一致しているため、点字とピンイン表記と漢字表記が一致して意味がわかるようになっている。また、このフォントには、漢字の上にピンインを同時表記することもできる。これも前述した理由と同じで、医薬の漢字は普段の生活上見ない漢字も多く、読み方がわからないので表記できるようにしたというものだ。パッケージには点字で薬の情報と日付が書かれるようになり、目が不自由でも判別できるようになった。目が不自由な人でも薬箱や健康製品のパッケージを読めるようにしたいという思いから、中国の視覚障がい者向けフォントは創られ、薬箱の中国語点字ライブラリーはフリーで公開された。

以前はアリババ傘下にあり、今は別企業となったアリペイの「アント（蚂蚁金融）」は、アリペイでのバリアフリー決済サービスを磨き続けている。音声アナウンスのほか、音声のみでの金額入力などや可否の操作、声紋決済、指で形を描くことによる認証といった機能を加えた。これらの機能により、視覚障がい者は手と口で決済を完了し、決済の全プロセスを聞いて確認できる。なお、デジタル人民元でも同様の実装が進んでいるようだ。

また、LMM（大規模マルチモーダルモデル）を活用した視覚障がい者向けサービスも登場している。中国の名門大学復旦大学が開発したLMM「眸思（MouSi）」の「听見世界」というサービスだ。「世界を聴いて“見”る」というサービス名の通り、スマホのカメラを目の代わりにして、それを聴いて周囲を知るというものだ。

スマホを前に向けておくと、カメラがリアルタイムで状況を撮影し、クラウドにアップする。すると眸思LMMが周りの状況を分析し、信号・交差点・障害物・階段・スロープなどについて道路状況を詳細に把握する。必要な情報が出てきた後にテキストが生成されて音声が合成され、「前から二輪車がやってくるので避けるために左に動いてください」といった音声が出力される。例えば、視覚障がい者であれば、情報は大事なのでイヤフォンをつけてそれを受け取る。

つまり、自動運転車の画像認識の結果を音声としてスマホから伝えるようなものだ。実装手法も似ていて、復旦大学の開発の現場では「自動運転よろしく歩行」に向けた無数の画像を学習させて、様々なシナリオに適応できるようにした。プロジェクトには張奇教授を筆頭に、学部生から博士課程まで計25名の学生が参加。張教授は、画像とテキストのマッチング、光学式文字認識 (OCR)、画像のセグメンテーションなどの研究者だ。

グループセッションでは、参加者が様々な画期的なアイディアを提案していき、そのアイディアには代替ソリューションにもなりうるものも多くあった。視覚障がい者が直面する困難をより深く理解するために、学生らは目隠しをした上で視覚障がい者の見えない世界を体感し、本当に必要としているものは何かを模索した。

眸思の大規模モデルでは、本記事を執筆した2024年8月時点で80億、140億、350億の 3つのパラメータのバージョンが用意されている。パラメータが多いほど精度は高まるが、GPUによるコンピューティングコストはかかる。80億パラメータバージョンを使用した場合でも、1時間あたり約1元（約20円）かかり、サービスを提供しようとすると1人あたり月額約150元（約3000円）はかかるという。そこは慈善事業で、関係各所と調整を行い、視覚障害のある友人にこの製品を無料で提供できるよう最善を尽くしたいと考えているという。

ちなみに、このサービスは街歩きモードがメインだが、視覚障がい者が博物館、美術館、公園に入場した際に、周囲を把握しながら紹介を受けられるモードや、部屋の中で映し出されているテレビの内容を、アプリがまとめて解説してくれるモードが用意されている。

ファーウェイも目が不自由な人をスマホでサポートするというアプローチを行っている。米国によるファーウェイへの規制により、ファーウェイはAndroidの代替えとして新たに複数端末利用を前提においた新OS「HarmonyOS」を開発。当初はAndroidと互換性を持たせていたが、HarmonyOS NEXTでは脱Androidを行い、専用のアプリのみが動くように。そのHarmonyOS NEXTの機能の中にバリアフリー機能がある。

HarmonyOSの視覚障がい者向けバリアフリー機能の1つには、眸思のように周囲を把握して「3m先に障害物がある」「前に、博物館、歩行者天国、中心広場と文字で書かれている」といったようなアドバイスをしてくれる機能がある。これもファーウェイのLMM「盤古大模型」を活用したもので、認識したうえでテキストを生成し音声を出力する。また、ファーウェイのスマートフォンでは電源ボタンを押し続けると、音声アシスタントの小藝（Xiaoyi）が起動するので、そこで「読み上げて」と言えば、画面上のテキストを音声で読み上げてくれる。同社のLMMの用途のひとつとして、以前から障がい者向けAIの強化が言われていて評価も高い。

加えて、ファーウェイはHarmonyOSNextのエコシステムの中で、各アプリ提供企業に対し高齢者や障がい者に優しいモードを用意するよう依頼してきた。中国版のインスタグラムと呼ばれる「小紅書（RED）」などのサービスや、中国南方航空や交通銀行といった企業などがこれに応え、通常版とともに「高齢者版」や「介護版」をリリースする企業も現れた。

近年、中国では障がい者を支援するITを活用したハイテク技術の研究、開発、応用、展開、実装への取り組みを強化し続けている。また「第14次5か年計画」において、「科学技術による国を強化するための行動計画に障がい者への技術支援を組み込み、社会における科学技術の実証と応用を促進する」ことも提案されている。これにネット大手各社や教育機関研究機関が応えたわけだ。

今回は目が不自由な視覚障がい者向けハイテクソリューションを紹介したが、次回は耳が不自由な聴覚障がい者向けのソリューションを紹介したい。