KOeDAMA

録音した音声がこだまする ARサンプラー

KOeDAMA
録音した音声をARの世界に球の形で出現させ、平面ではねた時にその音を再生するアプリです。スマホに向かって発した声こだまするような体験を提供します。作った音声の球に画面越しに触れたり、キーを上げ下げできたりと、バーチャルこだまならではの楽しみをプラスしています。 企画からデザイン、実装、β版のリリースまで行っています。
制作期間 3ヶ月(2020.11-2021.01)+修正対応2週間(2021.05-06)
制作体制 個人制作
スキル

制作背景

環境に依存した音楽体験を模索する目的で制作しました。

本来、音楽体験は常にその場に固有のものだと思います。楽器の音は、その演奏空間に多少左右されます。また、歌を、いつも完全に同じように歌い上げられる人はきっといません。 デジタル録音と再生の技術は、場によって生じていた差異を小さくしたでしょう。私たちは徐々に「均質化された音」に触れる機会が多くなったことは確かだと思います。しかし、それすらも再生機器・再生環境、はたまた聞き手のコンディションによって、違うように聞こえるのではないでしょうか。

では、思い切り「その場」に依存した音楽体験というのは、どんなものになるだろうかと考えました。そして、プレイする場所によって、積極的にフィードバックが異なる仕組みをデザインするに至りました。

この発想で以前習作した「Clap!」は2DCGでの表現にとどまっていました。より現実環境とリンクした体験にしたいという思いから、拡張現実(AR)で実践することに決め、まずは前作を3D・AR化することを目標に制作を始めました。

先行事例

AR×音楽の先行事例やその他の関連事例について調べ、今回の企画の参考になる点や差別化すべき点を整理しました。

AR Music Kit | Yuri Suzukiさん

https://www.yurisuzuki.com/jp/design-studio/ar-music-kit

  • Androidスマートフォン向けのマーカーベースのARアプリ
  • 「新しいDIY音楽体験のプラットホーム」
  • ギターやピアノ、レコードなど、楽器・音楽再生機器を模したものにマーカーをつけて、そのマーカーをアプリで読み取る
    • アプリがマーカーを認識したり、見えていたマーカーが隠れた時に、そのマーカーに割り当てられた音が鳴る
    • アプリ内にとどまらない、よりフィジカルな体験を提供している
    • マーカーを用意しないと体験できないというハードルがある

この企画では、ユーザーにアプリのインストール以外を必要と用意せず、端末とプレイ空間でより手軽に遊べるものを目指す

KAGURA | 株式会社しくみデザイン

https://www.kagura.cc/jp/pro/

  • WIndows、Mac向けアプリ(PCとカメラのみ必要)
  • 「体を動かすことでパフォーマンスできる新世代楽器アプリケーション」
  • カメラ映像をリアルタイムに画像解析することで、体の動きをセンシングし、音楽に変換する
    • カメラで解析されるのはプレイヤー側
    • 「身体そのものが楽器になったかのよう」な体験を提供する
  • 画面上にインターフェースが表示されていて、それに触れると音が出る
    • アプリ画面上にマーカーがある、逆ARマーカーのようなニュアンス
  • 画像素材(インターフェース用)や音素材がプリセットで豊富に搭載されている
  • 自作の画像や音を取り込むこともできる
  • 適当に操作しても、いい感じに演奏できるように設計されているところが、製品として完成されている

この企画では、楽器としての性能よりも、3次元空間として周囲の環境を活用した音の体験を作ることを重視する。また、プレイヤーが楽器になるのではなく、あくまで奏者として、周囲の環境を楽器化する体験をつくる。

walking around surround | 山口情報芸術センター

未来の山口の授業 at YCAM で2019年8月に実施されたワークショップ

https://www.ycam.jp/events/2019/walking-around-surround/

  • 「〈音を聴く〉という行為を捉え直」す取り組み
  • 「ワイアレススピーカーを使って、『音と空間のコンポジション』」を作る
  • 音源であるワイアレススピーカーを空間に配置する試行により、「音が空間へと拡がり耳へと届く、そのイメージを獲得する」

この企画で提供しようとしている体験の基本は同じである。 この企画では、この基本構造を踏まえた上で、配置する「音」が飛び跳ねたり、大きさを変えられたりと、動的で可変な要素にすることでさらなる発展を目指す。

制作プロセス

1.ARのデザイン研究

ARアプリのデザインは、AR空間ならではの誘導をする必要があるなど、他のアプリとは性格の違う配慮が不可欠です。自身のAR体験経験も乏しく、要領をつかめてませんでした。そのため、既存のARアプリを触ってUI・UXデザインを確かめたり、ARのデザインに関する記事を読んだりして、アプリをどのように設計・表現すべきかをリサーチしました。

とくに以下の記事やガイドラインは、ARのデザインをする上で基本として据えていました。

2.プロトタイピング

リサーチを通じて、2次元の画面を通じて3次元のAR空間にアクセスするという点が、デザイン上も開発上も苦戦する点であると感じました。

ARアプリの制作は初めてなので、SwiftとUnityの両方で様々なチュートリアルを試し、開発やデザインの勘所を探りました。同時に、実際に採用する開発環境を検討し、Unityに決定しました。

3.開発

こまめに実機テストをしながら開発を行いました。

工夫した点は、球の生成・消去という負荷の大きい処理を極力避けるため、一度生成したものを使い回す仕組み(オブジェクトプール)を実装したところです。

また、UIをタップした時は球が生成されないように、条件分岐をしました。

4.リニューアル

当初は一つのアプリに、現在のKOeDAMAとTAPuTAの基本機能をまとめた状態で制作していましたが、「モード」の概念が複数存在し、煩雑になりすぎていました。この二つは、世界のルールや操作性は同じでも、機能やコンセプトが異なります。結果的にシリーズアプリとして2分化することにしました。

機能を整理して再実装し、変更に合わせてUIのリデザインを行いました。背景が前面カメラの映像になっても見やすいことと、シリーズとしての一貫性を意識しています。

KOeDAMA UIリデザイン

作品のポイント

企画のポイント

環境を音に変換する

標高を音の高さに変換して反映しています。

音を視覚的に表現する

音量と球の大きさが比例するなど、音の要素を直感的に捉えられるような表現にしています。

アプリのポイント

遊び方をイメージさせるスタート画面

平面で球が跳ねることと、様々な平面がある場所で遊ぶと面白いということが伝わるように、実際のシーンをモチーフにしたCGを制作しました。

KOeDAMA スタート画面
アプリガイドのアニメーション

このアプリをはじめて体験する人にとっては、この世界の楽しみ方を理解するところにハードルがあると感じました。この課題を解決するために、操作方法や発音のルールをわかりやすく表現したアニメーションを制作しました。これらを使用してアプリガイドとしてまとめ、アプリを立ち上げたとき・プレイ中のいずれもアクセスできる導線を引きました。

反省と展望

実装した結果、快適な体験の提供には至れず、企画自体の実現性の問題も感じました。しかし、AR技術と自分の技術が向上すれば、少しずつより楽しい体験になるという仮説は立ちました。研究や他の制作に影響が出ない範囲で、引き続き向き合っていきたいです。

開発に追われ、ロゴや画面のビジュアル面のデザインを詳細に練られていないため、まずはこの2点から再検討したいと思っています。

参考

開発環境

  • Mac OS 10.15.7
  • Unity(v.2019.4.11f)
  • Xcode(v.12.1)

使用したUnityアセット

schedule update

chevron_left一覧に戻る