共創と越境により新たな時代をデザインする（前編）

―最初に南澤先生の研究領域やキャリアなどをご紹介いただけますか。 

人間の身体感覚をデジタルテクノロジーでいかに記録再生し、離れた人々をつなげるか、あるいはどう拡張していくか、ということを、「身体性メディア（Embodied Media）」と名付けて研究しています。身体的な経験、僕らが身体を通じて感じる経験を、デジタル技術やロボット技術を使って共有する、今感じているものをさらに拡張する、あるいは全くゼロから創造する。そういった技術を総称して「身体性メディア」と呼んでいます。

KMD Embodied Media Project 

例えば、オンラインで会話をしている際には、もう既にある意味で目と耳がデジタル側に乗っていて、距離を越えてつながっている状態になっています。これが、目と耳だけではなく、物に触れる皮膚感覚や体を動かす運動機能なども含めて、あらゆる意味で人がデジタルネットワーク上で拡張され、つながっていく未来を目指しています。 

僕自身、子供時代は浦安に住んでいました。ディズニーランドが近く、良く遊びに行っていました。さまざまなアトラクションがある中で、特にスターツアーズは、もう35年も前にあのクラスのVR（バーチャルリアリティ）ができていたという意味で、非常に最先端でした。アトラクションの裏側にある照明や音響やロボティクス、そういったところに興味を持っているような子供でしたね。 

中学・高校では電子工作少年をしていて、秋葉原に通いながらものづくりに夢中になりました。東京大学の五月祭でVRサークルと出会いました。「ディズニーランドで実装されていた技術を、VRと呼ぶのか」とそこで初めて知りました。その流れで、日本で VR を初めて立ち上げた舘暲先生（現・東京大学名誉教授）の研究室に入ることになったんです。 

僕が大学院生として研究室に入ったのが、愛・地球博（EXPO 2005 AICHI JAPAN）、いわゆる愛知万博が開催された2005年でした。当時は、HMD（ヘッドマウントディスプレイ：VRや拡張現実の体験に用いられる装着型のディスプレイ機器）の値段はまだ高かったといえ、技術的には既にある程度完成していた状態でした。3D 映像を見せること自体は、研究から産業へと移りつつあるフェーズだったこともあり、「見る機械ができたら次は触りたいよね」ということで、触覚の研究を修士・博士の期間で手掛けていました。 

―その後、慶應義塾大学に移られて、現在はメディアデザイン研究科（KMD）に在籍されていますよね。 

KMDは結構面白い大学院で、いわゆる一般の学部のように工学部や法学部、文学部などには分かれていません。デザインとテクノロジー、マネジメント、ポリシーという4つの柱を掲げていて、教員のバックグラウンドも、デザイナー、アーティスト、官僚、起業家や、僕らみたいな情報工学の研究者など多岐に及んでいます。その中で実際に新しい技術を開発し、プロダクトやサービスとしてデザインして、それを新たなビジネスにしながら社会制度レベルで変えていこうというのが、KMDのミッションになっています。 

慶應義塾大学大学院メディアデザイン研究科（KMD）

その中で僕自身は、VRをさらに広げて人の身体や経験と融合させていくところを研究しています。ご存じの通り、2014年はVR元年と呼ばれ、VRやメタバース（インターネット上に構築された3次元の仮想空間）が社会や産業の様々なところで普及し始めました。 

その頃はゲーム関連の共同研究が多く、ソニーさんや任天堂さんなどのゲームメーカーと一緒に、触覚でゲームの体感をより強く高めていこうということに挑んでいました。 

Synesthesia Suit（共感覚スーツ）はその象徴的な事例です。ソニーからPlayStation VRが発売されるタイミングで、プロダクトとしてのVR ヘッドセットに加えて、「未来のゲーム体験」を実現するための全身触覚スーツを共同で開発しました。このスーツを着てゲームをプレイすると、全身にさまざまな感覚が伝えられます。例えば、飛んでいるとき、撃たれたとき、ワープしたとき、体の中からエネルギーを発して腕からビームを出したときなど、ゲームの中で行われる現実には存在しない感覚を、数十個の触覚アクチュエータ（触覚を再生する装置）を通じて体中で感じられる超没入体験を作りました。 

Synesthesia Suit

こうしたフルボディの体験を作ることで、一つにはエンタテインメントにおける没入感（何かの体験や活動に深く集中している状態）を高めるみたいなこともできますし、あるいは日常生活にも役立ちます。例えば、目の見えない人のために使うと、白杖で周りの世界を感じるだけでなくて、周りの世界のものが感覚として変換されて自分の体に伝わって来るようになり、「何かが来た」「危ないから止まろう」「こちらに行けば良いのでは」などが体感的にわかるようになります。 

Super Sense（超感覚）challenge

米国のFACEBOOK社が社名を meta に変えるみたいなところも象徴的だったと思いますが、10年前から本格的に動き出したVRの普及が、5年前のコロナ禍を経てさらに加速しており、今はAIやロボットがVRと繋がってデジタルツイン（現実世界の物理的なデータを基に情報空間上に再現する技術）を構成し、NVIDIA （エヌビディア ・コーポレーション。大手半導体メーカー）を筆頭に米国や中国で産業化の勢いが一段と増しています。 

デジタルツインの世界の中で、ありとあらゆる空間を現実とほぼ同じ精度で構成して、その中で車やロボットを動かすことでどんどん学習させていくという、実際の時間のスケールの何千倍ものスピードで学習させることを、この空間の中でできるようになりました。さらに人にHMDをかぶせてデジタルツインの世界に招き入れ、その空間の中で色々なことをさせて、その動きを学習し、人の技を AI にどんどん取り込んでいき、そのAIに実体を与えるためにロボットを使う、みたいなことが、ここ数年で急激に加速しています。 

その中で僕らが興味を持っているのは、AIやロボットそのものよりも、そのときに人間はどうするのかという側です。今やAIやロボットもどんどん進化していますが、人間もある意味進化しています。オンライン上に自分の体があったり、デジタルネットワーク越しにコミュニケーションするみたいなことは、コロナ禍を経てあらゆる人ができるようになりました。5年前であれば、打ち合わせをするとなったら必ず対面がデフォルト（標準）だったと思うので、価値観や文化のレベルで大きな変化が起きたといえると思います。 

こういった変化を、人の「身体のDX（デジタルトランスフォーメーション）」 が起きていると僕は捉えています。つまり、今までは自分の肉体が必然で、何か行動するときは肉体をそこに移動させないといけなかったのですが、肉体を移動させなくともデジタル上で経験と能力だけをやりとりできる時代が、既に到来しはじめているということです。 

オフィスのDXでは、いままで紙の書類だったのがデジタル書類となり、手軽に送ったり複製したりできるようになりました。「身体のDX」も基本的には概念は一緒で、人の身体が保有する経験や感情、技能などの情報を、保存する、共有する、遠くに送る、あるいはそれを AI に取り込んで生成できるようになる。要は、人が空間や時間の制約を越えて活動できるようになっていくわけです。 

昨年から、日本工芸協会さんとの共同研究の一環で、沖縄で300年ぐらいの伝統を誇る陶芸窯元・育陶園さんを訪れ、人の技、職人さんだけが持っている高度な技を触覚により記録する取り組みを行いました。研究チームが毎月のように沖縄に通って、職人さんの協力を得ながら、彼らの技を記録しました。例えば、2-3年目ぐらいの新人さんと経験30年のベテランでは、体の動かし方や指先の感覚が全く違います。それをお互いに体験してもらうと、どこでどう身体を動かし力を入れたり抜いたりすれば良いかが理解しやすくなります。職人技のような、なかなか言葉にならないものを伝えるというのも、こうした技術を通じて行えるようになってきています。大阪・関西万博で開催された「工芸産地博覧会」で実際に来場者にも体験いただき、陶芸の経験者から子供まで、多くの方に陶芸の技を体感していただきました。 

CrafTouch: 職人技のデジタル共有

人の技能や経験がこうやってデジタルで記録されて、インターネットに上がっていくと今度はそれをダウンロードすることもできるようになります。「こんな技が欲しい」「こんなことをしたい」と思っても、今の自分の能力ではできないというときに、アプリストアからアプリをダウンロードするように、職人の技をダウンロードする。あるいは目の前で人が倒れていて、人工呼吸をしなければいけない場面で救急救命士の技をダウンロードして、それを自分の身に付けた装具を通じて再生しながら対応することによって、目の前の人を救うことができる。こういった、技能や経験がデジタルで流通する未来を「身体のDX」で実現したいと思っています。 

これのようなデジタル情報としての技能や経験がさらに実体を持つようになってくるというのが、この数年、遠隔操作ロボット（遠距離から自由に操縦可能なロボット）の領域で起きていることです。一つの大きなきっかけとなったのが、2018年に米国の非営利組織Xプライズ財団が始めた、ANA AVATAR XPRIZE（エイ・エヌ・エー アバター エックスプライズ）です。VR がブームになった後に、VR のデジタルの世界だけで閉じるのではなくて、実体を持って実際の世界の中で何か行動ができないかということで、アバターロボット（ロボット技術を利用してユーザの動きを再現する装置）のグローバルコンペティションが始まり、これがきっかけで世界中から様々な研究機関やスタートアップがチームを組んで開発競争を繰り広げました。 

そういった流れを受けて、東大の舘研究室と僕らの研究室からの大学発ベンチャーとして、テレイグジスタンス株式会社というスタートアップが2017年に設立され、今やNEXTユニコーン企業（日本経済新聞社が独自の基準で選定した、ユニコーン企業＝企業価値10億ドル以上の未上場企業になれる可能性を秘めた有力スタートアップ企業）の一角になっています。ロボットを使って人の能力を遠隔に送る、もちろんその間でAIに様々に学習させて、いずれは人がいなくても活動できる、そんなロボットが実現しつつあります。

Telexistence inc. 

そうすると最終的に人はいらなくなってしまうのでは、という疑問が出てきます。ビジネス的には、人がいらない方が生産性は高いのかもしれませんし、コストも削減できますが、人間の生きがいという意味では、それはそれで問題があります。そこで、人がより生きがいをもって活躍できるような，社会のインクルージョン（多様な人材がお互いに尊重され、その能力や個性を発揮して活躍できる環境を作ること）やダイバーシティーを高める技術としてアバターロボットを捉え直すということを、ムーンショット型研究開発制度（日本発の破壊的イノベーションの創出を目指し、従来技術の延長にない、より大胆な発想に基づく挑戦的な研究開発を推進する国の大型研究プログラム）で取り組んでいます。 

Project Cybernetic beingと名付けた僕らのムーンショットプロジェクトでは、アバターロボットという新しい身体があることによって、特に障害当事者や高齢の方など、自分の肉体に制約がある方が、自由自在に行動できるようになる、そういった近未来の生き方や働き方を実現しようとしています。 

株式会社オリィ研究所が運営する「分身ロボットカフェ DAWN ver.β」を舞台として、寝たきりの方や、車椅子を使っている方など、外に出ることが難しい人々が、「分身ロボット」と呼ばれるサイバネティック・アバター（人々が自身の能力を最大限に発揮し、さまざまな人々の多彩な技能や経験を共有できるアバター技術）を用いて働いて社会との繋がりを作れる、そんな未来の働き方の実現に向けた研究開発と社会実装に取り組んでいます。アバターを使うことによって、肉体の障がいを越えて人とふれあい、実際にお金を稼ぐこともできるし、何より社会との接点が生まれる。障がいがあるから家の外に出れない、自由に活動できないというのではなく、テクノロジーを積極的に活用し、アバターという新しい身体を通じて社会と繋がれるようになるということを目指しています。 

複数アバター分身実験

分身ロボットで自分の代わりとなる「分身」を手に入れるだけでなく、自分の身体を「拡張」する研究も行っています。例えば、難病であるALS（筋委縮性側索硬化症）を患いながらも、DJやコミュニケーションクリエイター、実業家として活躍されている武藤 将胤さんと取り組んでいるBrain Body Jockeyプロジェクトでは、ALSによる体が動かなくなるという障害を乗り越えるための、拡張された身体を今一緒に作っています。脳波を使って武藤さんの意思を汲み取り、車椅子に装着されたロボットアームを動かすことで、例えば家を出る時にエレベーターのボタンを自分で押せたり、外で買い物をするときに自分で物をつかむこともできます。そうやって自分の体の一部になるようなロボット技術は、身体拡張技術（AIやIoTなどのテクノロジーの力を用いて、人間の身体能力・筋力・耐久性を増強・拡張させる技術）と呼ばれており、人間の身体を限界を突破することを目指して取り組んでいます。 

Brain Body Jockey Project

―非常に興味深いです。「分身ロボットカフェ DAWN ver.β」での取り組みは、テレビなどでも紹介されていて、社会的意義のある研究をされているなと感心していました。陶芸家のケースだと身体感覚を受信するのかと思っていたのですが、データとして取り出すということもやられているのですね。 

両方ですね。出して、入れています。陶芸家さんのところでは最近、ベテランの方が作業されているときの身体感覚を記録して、そのままリアルタイムで目の前にいる若手の人が感じて、陶芸中の様子を見ながら同時に身体で感じて、コツを掴むということを試みていました。送受信両方が大事なので、どちらも扱っています。 

―そうすると、指一本一本はもちろん、関節まで含めてセンサーを持っていたりするのですか。 

その辺りは実用性とのバランスです。やろうと思えば、色々付けられるのですが、そうすると複雑になりすぎて現場で使えなくなってしまいます。むしろ、僕らはいかにシンプルに作るかというアプローチを取っていて、極力機能を絞るようにしています。例えば、陶芸のケースだと、送受信するのは指先で感じる土の触感と手首に込めている力ぐらいに絞っていて、その他は一旦無視しています。例えば、壺を作るにしても、厳密に同じ形を作ることはできないし、実はその必要もありません。どちらかというと大事なのは、力加減などを感じてコツを掴むことなのです。位置そのものよりも感じている力や込めている力の方が大事だというのが、僕らのアプローチです。なので、再生するときも動きそのものは、多少ズレていても受け手に委ねて、こういう力加減でこういう手触り感だというところを感じられるようにしています。 

―障がい者の方が買い物をされたり、エレベーターボタンを押したり、そういう領域まで研究されているのは、今日初めて知りました。触れるデザインだけでなくて、脳波も使った形での身体拡張に取り組まれているのですね。 

そうですね。脳波に関しては、僕ら自身が開発をしているわけではありません。どちらかと言えば、僕らはユーザです。脳波の技術は様々ありますが、猿をつかって基礎的な実験をしているような段階のものだと、人間には適用できません。僕らは実際のユーザがいる現場に導入したいので、今ギリギリ使えるラインを探りながら連携しています。普段は脳波以外の手段も使いますが、武藤さんみたいなケースだと身体を使った操作ができないので、「脳波ならいけるはず」ということで、あくまでも道具として最先端のものを導入しながら、トータルで新しい身体を作っています。 

―ところで、南澤先生はハプティックデザイン（触覚を利用して身体と製品や環境をつなぐ新たなデザイン分野）についても言及されています。これは、南澤先生が提唱された概念ですか。 

そうですね、僕は元々ハプティクス（触覚）の研究が専門です。2010年に博士課程の学生を卒業して、「触覚技術をもっとたくさん人に使ってもらいたい」と思ったときに作ったのが 「TECHTILE toolkit」（テクタイルツールキット）という装置です。これは子供でも、おじいちゃんおばあちゃんでも扱えるような触覚技術を作ろうということで開発したものです。KMDに赴任してから最初の2〜3年は、触覚の布教活動みたいなことをひたすら行っていました。 

実際、色々な企業の方や子供たちと会ったり、老人ホームや芸術系の大学生のところに行ったりしながら、「触覚を使って色々なものを作ろう」と、年間何十ものワークショップをしながら啓蒙していたんです。そうした中で、「新しいゲーム機に触覚を入れてみたい」「テレビ放送に触覚をつけられないか」「携帯電話に入れられないか」などと、さまざまなご相談をいただくようになりました。そうなってくると、技術の話だけをしていてももう間に合いません。技術は僕らの方でかなりシンプルにして誰でも使えるようにしているので、今度はそれを使って価値やエクスペリエンス（経験）を生み出す人を増やさないといけません。「僕らだけでやっていても無理だよね」ということで、この「ハプティックデザイン」プロジェクトを2014年に立ち上げました。 

HAPTIC DESIGN PROJECT

ハプティックデザインプロジェクトは、渋谷にある「FabCafe Tokyo」を拠点として運営していました。ここは、カフェとデジタルファブリケーションの工房が融合した独自な空間です。そこに、企業のデザイナーや新規事業担当者、広告マン、学生などさまざまな人を呼んで、皆で触覚の知見を共有したり、実際に作ってみたり、ハッカソンを行ったりしていました。そこから派生して色々なプロジェクトや共同研究が次々と生まれています。

ハプティックデザイナーという言葉も提唱しました。まさに、触覚を通じて人やモノとの身体を通じた関係性をデザインする人を指します。実際、電機メーカーやゲームメーカーからこの活動に参加して、いまもハプティックデザイナーとして活動されている方もいたりします。新しい「職業」として名付けることで、その人に触覚に関わる案件が集まるので、必然的にノウハウも溜まり、ビジネスが生まれ、人材が育成されていきます。そういったエコシステムが生まれることを狙っています。 

―ちなみに、「シナスタジア・スーツ」（VRゲーム「Rez infinite/レズ・インフィニット」の体験を拡張する共感覚スーツ）の開発プロジェクトでは、スーツを用いてプレイステーションのゲームの感覚を受けていたのですか。 

そうです。Synesthesia Suitは、全身に散りばめられた数十もの触覚アクチュエータから伝わる感覚をゲームと連動してデザインし作っている最初の事例です。僕らが「ハプティックデザイナー」としてゲーム作品のエンドクレジットに公式にクレジットされた初めての事例でもあります。 

―触覚を活用することで音楽を聴く楽しみも変わってきそうですね。 

そうなんです。例えば、Karada Tapというプロジェクトでは、ライブのステージと、お客さんが座る椅子を触覚で繋げました。ステージ上で踊っているのは、耳の聞こえないダンサー。その振動を床から収録してお客さんの方に伝える。お客さんにも耳が聞こえない方もいらっしゃって、通常ならばまるで無声映画みたいに何も聞こえない世界になってしまいますが、触覚を伝えることでお客さんの身体を通じてリズムが伝わってきて、目で見たものと身体で感じるものとが合わさる体験となり結構楽しんでいただけました。 

―すごいですね。 

この辺りの技術はどんどん進歩しています。2023年からは、NTTドコモさんと一緒に、「フィールテック」（FEEL TECH・触覚共有技術）プロジェクトを進めています。離れていても触れられる、触覚を通じて人のさまざまな技や記憶を伝えられる次世代のコミュニケーションを創造する取り組みです。大阪・関西万博では、万博の花火を収録して触覚とともに体感できる映像体験や、神戸のアリーナで行われたBリーグのバスケットボールの試合を、アリーナの床面に触覚センサを仕込み、万博会場に触覚付きで生中継するような未来型ライブビューイングイベントも行いました。エンターテイメントの世界、そして多様な人々のコミュニケーションにおいて、今後さらに活用されていくと思っています。 

フィールテック