Digital Nature Group

07/05/2026

研究紹介2016｜Coded Skeleton

Coded Skeleton: A design method for shape-changing UI integrating actuators and sensors via mechanical metamaterial
機械的メタマテリアルによるアクチュエータ・センサ統合型形状変更UIの設計手法

Realizing shape-changing user interfaces requires unified integration of actuators and sensors and the ability to uniquely define deformation. To address this, we propose a design method for fabricating ""Coded Skeleton"", a novel shape-changing user interface that computationally integrates actuators and sensors using a mechanical metamaterial. Leveraging the fact that the Coded Skeleton is flexible in one deformation mode but stiff in others, the method realizes various curve deformations using simple expansion and contraction actuators. We describe the design method, structural analysis of the mechanical metamaterial, and the creation and control method of the Coded Skeleton, along with three proposed applications.

形状変更ユーザインタフェースの実現には、アクチュエータとセンサの統合および変形の一意な定義が課題となっています。この課題に対して、本研究では機械的メタマテリアルを用いてアクチュエータとセンサを計算により統合することで、「Coded Skeleton」と呼ばれる新しい形状変更ユーザインタフェースを製作するための設計方法を提案しました。Coded Skeletonは一方の変形モードでは柔軟であるが他方では硬いという性質を利用し、単純化された伸縮アクチュエータによりさまざまな曲線の変形を実現します。設計方法と機械的メタマテリアルの構造解析、Coded Skeletonの作成および制御方法を概説するとともに、3つのアプリケーションを提案します。

Project Page:
https://digitalnature.slis.tsukuba.ac.jp/2016/06/coded-skeleton/

Movie:
https://youtu.be/lcRVH2z9z1I?si=Ewe78LxhL5cDHg5l
https://youtu.be/CnaJr2WVjKE?si=cX3QV0xxln7GZAG2

01/05/2026

研究紹介2016｜Cross-Field Haptics

Cross-Field Haptics: A haptic texture display combining magnetic and electrostatic fields
磁場と静電場の複合による触覚テクスチャ提示デバイスの提案

Conventional research on haptic textures relies on a single physical quantity for rendering. Representing texture in the real world remains difficult, despite its importance in fabrication and manufacture across many industries. To address this, we propose a system that physically deforms and changes the physical force between the finger and the device by combining magnetic and electrostatic fields. The device integrates ferrofluid — a flexible liquid driven by the magnetic field — and electrovibration with adsorption force from the electrostatic field.

従来の触覚テクスチャ研究では、単一の物理量のみを用いたレンダリングが行われてきました。現実世界でのテクスチャ変更は困難であり、触覚フィードバックによるテクスチャおよびアフォーダンスの提示が求められています。この課題に対して、本研究では磁場と静電場を組み合わせることで、指とデバイス間の物理的な力を変形・変化させるシステムを提案しました。磁場による柔軟な液体であるフェロ流体と、静電場による吸着力を伴う電気振動を組み合わせることで、Cross-Field Hapticsデバイスを実現します。

Project Page:
https://digitalnature.slis.tsukuba.ac.jp/2016/06/cross-field-haptics/

Movie:
https://youtu.be/BB9gjtYMHyc?si=ZQcIt7coIJuJPj00

30/04/2026

研究紹介2016｜Cross Field Aerial Haptics

Cross Field Aerial Haptics: A method for aerial haptic rendering using combined laser and acoustic fields
レーザーと超音波の複合フィールドによる空中触覚提示の手法

Conventional aerial haptic research has rendered haptic images using a single physical quantity — either light or acoustic fields. To address this limitation, we present Cross Field Aerial Haptics, a method that combines femtosecond-laser light fields and ultrasonic acoustic fields simultaneously. While these fields have no direct interference, their combination provides multi-resolution haptic images and a synergistic effect on haptic perception. User studies with laser haptics and ultrasonic haptics separately, and their superposition, demonstrated that the acoustic field affects the tactile perception of laser haptics. We further explored AR/VR applications, contributing to the exploration of laser haptic displays and expanding the expression of aerial haptic displays based on other principles.

従来の空中触覚研究では、単一の物理量（光または音響場）のみを用いた触覚画像レンダリングが行われてきました。この制約に対して、本研究ではフェムト秒レーザー光フィールドと超音波音響フィールドを同時に組み合わせるCross Field Aerial Hapticsを提案しました。両フィールドは直接の干渉を持たない一方、複合することで多解像度触覚画像の提示および触覚知覚への相乗効果が得られます。レーザー触覚・超音波触覚それぞれのユーザスタディおよびその重ね合わせ実験を実施し、音響フィールドがレーザー触覚の触知覚に影響を与えることを示しました。さらにAR/VRへの応用を探索し、レーザー触覚ディスプレイの探求および他原理に基づく空中触覚ディスプレイの表現拡張に貢献します。

Project Page:
https://digitalnature.slis.tsukuba.ac.jp/2016/05/cross-field-aerial-haptics/

Movie:
https://youtu.be/NYpfnUc9vU8

27/04/2026

研究紹介2016｜Leaked Light Field from Everyday Material

あらゆる素材をディスプレイにする「微小穴」を用いた光線制御：素材感を活かしたまま映像を映し出す新しい表示技術

This project proposes a new light-field display that overcomes the limitations of traditional smooth materials like glass by utilizing everyday materials such as wood, grained board, or mirror. By making 100μm pinholes in the surface of the material, rays from the backlight are transmitted to enable visual display. This system allows for the integration of displays into objects with a natural appearance, preserving the material's properties while providing viewing-angle-dependent imagery.

ガラスやプラスチックに限られていたディスプレイ表面の材質を、木材や石材、鏡などへ自由に広げるプロジェクトである。光を透過しない材料を板状にし、表面に100マイクロメートルほどの小さな穴（ピンホール）を加工することで、バックライトの光を透過させ表示を実現した。物体に自然な見た目でディスプレイを埋め込むことができ、視点に応じて変化する映像提示を可能にする。素材の美しさと情報の表示を両立させるソリューションである。

Project Page:
https://digitalnature.slis.tsukuba.ac.jp/2016/03/leaked-light-field/

Movie:
https://youtu.be/UKKXEyLBd3s?si=mlYu20jEuz1vAHJI

24/04/2026

研究紹介2016｜Yadori :Transformed Human Presence for Puppetry

練習不要で自在なパペット操作を実現：遠隔から観客を魅了するテレプレゼンス技術

This project proposes an immersive telepresence system for puppetry that transmits human body and facial movements into a puppet. By streaming video from puppet eyes to an HMD, performers can visually understand the ambience and manipulate puppets remotely. The system addresses traditional issues such as the need for practice and physical positioning. It makes puppetry more accessible for beginners and allows performers to fascinate audiences.

パフォーマーの身体的・顔の動きを人形へ同期させ、没入感のある体験を提供するテレプレゼンスシステムである。パペットの視界をHMDで共有することで、視覚的理解を保ちながらの遠隔操作を実現。従来の人形操作に必要だった練習や、パフォーマーとパペットの距離的制限といった課題を解消した。初心者による操作を容易にし、豊かな表現で観客を魅了することを可能にするソリューションである。

Project Page:
https://digitalnature.slis.tsukuba.ac.jp/2016/01/yadori/

Movie:
SIGGRAPH2016 ▶︎ https://youtu.be/11-axfTvPS4?si=luCEcecvcu84QaYr
ACE 2016 ▶︎ https://youtu.be/MRy5pgXY8es?si=w59o-t1ofDsPubkD
UIST2016 ▶︎ https://youtu.be/r1nIahAgNws?si=T2fAg15Stl8rMPdq

23/04/2026

研究紹介 2025｜Lottery and Sprint Arcade

[A voice-based system for editing games during play, without technical knowledge]

LLMs are enabling a shift from pre-generated games to real-time, player-driven modification, yet editing games typically requires technical knowledge. To address this, we present a voice-based system that allows players to edit a retro Space Invaders–style game during play using natural language. Spoken commands are interpreted by an LLM and converted into updates to game parameters, supporting an iterative play–edit–feedback loop. A user study found that edits to visible elements improved usability, while deeper structural changes were more closely linked to enjoyment.

【専門知識不要、音声でプレイ中にゲームを編集できるシステムの提案】

ゲームは事前生成からプレイヤーがその場で変更できるリアルタイム型へと移行しつつある一方、編集には専門知識が必要という課題があります。この課題に対して、音声による自然言語操作でプレイ中にスペースインベーダー風ゲームを編集できるシステムを提案しました。発話はLLMによって解釈され、ゲーム設定の更新に変換されることで「プレイ→編集→フィードバック」のサイクルを実現します。ユーザー調査では、見た目に直接関わる編集は使いやすさに、ゲーム構造の変更は楽しさに関係する傾向が見られました。

Project page:
https://digitalnature.slis.tsukuba.ac.jp/2025/09/lottery-and-sprint-arcade/

Movie:
https://youtu.be/PK2glOVXqrw

22/04/2026

研究紹介 2025｜Instant Skinned Gaussian Avatars for Web, Mobile and VR Applications

高い視覚的忠実度とリアルタイム動作を両立。大阪万博・落合陽一館「null²」で使用の3Dリアルアバター技術「Instant Skinned Gaussian Avatars」

Gaussian Splattingをアニメーション化する既存手法は、カメラアレイや長い前処理時間、あるいはハイエンドGPUを必要とするという課題があります。また、メッシュベースの表現に変換する手法では視覚的な忠実度が損なわれます。これらの課題に対して、リアルタイムかつクロスプラットフォーム対応の3DアバターシステムInstant Skinned Gaussian Avatarsを提案しました。各スプラットを並列に処理することで高い視覚的忠実度を維持し、スマートフォンによる3Dスキャンからアバター生成まで全工程を約5分で完了します。ソーシャルメディアやメタバースアプリケーションへのシームレスな統合に最適です。

A real-time, cross-platform 3D avatar system achieving both high visual fidelity and lightweight performance

Existing approaches to animate Gaussian Splatting often require camera arrays, long preprocessing times, or high-end GPUs. Methods converting Gaussian Splatting into mesh-based representations sacrifice visual fidelity. To address these challenges, we present Instant Skinned Gaussian Avatars, a real-time and cross-platform 3D avatar system. By leveraging parallel splat-wise processing, the system preserves high visual fidelity while completing the entire process from smartphone-based 3D scanning to avatar generation in just around five minutes, making it ideal for seamless integration with social media and metaverse applications.

https://digitalnature.slis.tsukuba.ac.jp/2025/11/instant-skinned-gaussian-avatars-for-web-mobile-and-vr-applications/

21/04/2026

研究紹介 2026｜Suzume-chan

[A plush agent as an embodied response to information access challenges in clinical care]

Care information is often delivered in dense formats at fixed times, making it difficult for patients to access when needed and increasing the burden on nurses. To address this, we propose Suzume-chan, a small ""pet-like"" plush agent that acts as an embodied information hub. Patients can ask questions or receive reminders through natural conversation without operating devices, while nurses gain concise, relevant records. The system runs on a local network using speech recognition, a language model, retrieval, and speech synthesis.

【ぬいぐるみ型エージェントが、患者と看護師の情報格差に応える】

医療・介護における情報提供は、決まった時間にまとめて行われることが多く、患者が必要なときにアクセスしづらいという課題があります。また、看護師の負担増にもつながっています。この課題に対して、身体性を持つ情報ハブとして、小型のぬいぐるみ型エージェント「Suzume-chan」を提案しました。患者はデバイス操作なしに会話で説明やリマインドを受けられ、看護師は簡潔で有用な記録を得ることができます。本システムは音声認識・言語モデル・検索・音声合成をローカル環境で統合しています。

Project Page: https://digitalnature.slis.tsukuba.ac.jp/2026/03/life-is-mystery/

16/04/2026

15/04/2026

🎉 CHI2026にて研究発表をおこないます！

「Eyes on the Finger: Investigating a Ring-Shaped Camera for Seamless Accessible Tactile Exploration」

🗓️ Thu, 16 Apr
🕰️ 12:15 PM - 12:27 PM（CEST）🇪🇸
🗣️筒井彩華

視覚障害・弱視（BLV）の方にとって、触察（手で触れて物を理解すること）はとても重要な情報収集手段です。本研究では、手のひら側から撮影できる指輪型カメラに着目し、科学博物館でのフィールド実験を通じて、スマートフォンと比較しながらその有効性を検証しました。

実験の結果、リングカメラは「両手で触りながら探索する」「片手をアンカーとして固定しながら情報を確認する」といった自然な両手操作を支援することがわかりました。一方、スマートフォンでは探索が断片的になりやすいことも明らかになりました。

これらの知見をもとに、インタラクティブシステムも開発・評価しました。ウェアラブルカメラによる触察支援の設計指針として、多くの方に役立てていただければ幸いです。

Ayaka Tsutsui, Xiyue Wang, Hironobu Takagi, Yoichi Ochiai, and Chieko Asakawa. 2026. Eyes on the Palm: Investigating a Ring-Shaped Camera for Seamless Accessible Tactile Exploration. In Proceedings of the 2026 CHI Conference on Human Factors in Computing Systems (CHI '26). Association for Computing Machinery, New York, NY, USA, Article 1250, 1–24. https://doi.org/10.1145/3772318.3791659

14/04/2026

【受賞報告🏆】デジタルネイチャー研究室の See-Through Captions チームが、令和8年度 科学技術分野の文部科学大臣表彰・科学技術賞（開発部門）を受賞しました！

■受賞業績名■
「透明字幕ディスプレイによる双方向字幕可視化技術の開発」

本技術は、透明なディスプレイに字幕を表示することで、手話話者や聴覚障害者を含むすべての人が自然にコミュニケーションできる環境を実現することを目指したものです。

■受賞者■
落合陽一教授、設楽明寿、山本健太、鈴木一平（筑波大学 デジタルネイチャー研究室）
奥山健太郎氏（株式会社ジャパンディスプレイ）

プロジェクト始動から一貫してご助力・ご助言いただき、Rælclear の機材提供をはじめ多大なご協力をいただいた株式会社ジャパンディスプレイの関係者各位、実証実験にご協力いただいた日本科学未来館・つくば市役所の関係者各位、実験にご参加いただいたみなさま、そして修了生の飯嶋稜さんと百田涼佑さんに、この場を借りて深く感謝申し上げます。

▶受賞報告：
https://digitalnature.slis.tsukuba.ac.jp/2026/04/awards/

▶ プロジェクトページ：
https://digitalnature.slis.tsukuba.ac.jp/2021/02/see-through-captions/

▶ 文部科学省 受賞者一覧：
https://www.mext.go.jp/content/20260403-mxt_sinkou01-000048647_1.pdf