録音した音声がこだまする ARサンプラー
| 制作期間 | 3ヶ月（2020.11-2021.01）+修正対応2週間（2021.05-06） |
|---|---|
| 制作体制 | 個人制作 |
| スキル |
環境に依存した音楽体験を模索する目的で制作しました。
本来、音楽体験は常にその場に固有のものだと思います。楽器の音は、その演奏空間に多少左右されます。また、歌を、いつも完全に同じように歌い上げられる人はきっといません。 デジタル録音と再生の技術は、場によって生じていた差異を小さくしたでしょう。私たちは徐々に「均質化された音」に触れる機会が多くなったことは確かだと思います。しかし、それすらも再生機器・再生環境、はたまた聞き手のコンディションによって、違うように聞こえるのではないでしょうか。
では、思い切り「その場」に依存した音楽体験というのは、どんなものになるだろうかと考えました。そして、プレイする場所によって、積極的にフィードバックが異なる仕組みをデザインするに至りました。
この発想で以前習作した「Clap!」は2DCGでの表現にとどまっていました。より現実環境とリンクした体験にしたいという思いから、拡張現実（AR）で実践することに決め、まずは前作を3D・AR化することを目標に制作を始めました。
AR×音楽の先行事例やその他の関連事例について調べ、今回の企画の参考になる点や差別化すべき点を整理しました。
https://www.yurisuzuki.com/jp/design-studio/ar-music-kit
この企画では、ユーザーにアプリのインストール以外を必要と用意せず、端末とプレイ空間でより手軽に遊べるものを目指す
この企画では、楽器としての性能よりも、3次元空間として周囲の環境を活用した音の体験を作ることを重視する。また、プレイヤーが楽器になるのではなく、あくまで奏者として、周囲の環境を楽器化する体験をつくる。
未来の山口の授業 at YCAM で2019年8月に実施されたワークショップ
https://www.ycam.jp/events/2019/walking-around-surround/
この企画で提供しようとしている体験の基本は同じである。 この企画では、この基本構造を踏まえた上で、配置する「音」が飛び跳ねたり、大きさを変えられたりと、動的で可変な要素にすることでさらなる発展を目指す。
ARアプリのデザインは、AR空間ならではの誘導をする必要があるなど、他のアプリとは性格の違う配慮が不可欠です。自身のAR体験経験も乏しく、要領をつかめてませんでした。そのため、既存のARアプリを触ってUI・UXデザインを確かめたり、ARのデザインに関する記事を読んだりして、アプリをどのように設計・表現すべきかをリサーチしました。
とくに以下の記事やガイドラインは、ARのデザインをする上で基本として据えていました。
リサーチを通じて、2次元の画面を通じて3次元のAR空間にアクセスするという点が、デザイン上も開発上も苦戦する点であると感じました。
ARアプリの制作は初めてなので、SwiftとUnityの両方で様々なチュートリアルを試し、開発やデザインの勘所を探りました。同時に、実際に採用する開発環境を検討し、Unityに決定しました。
こまめに実機テストをしながら開発を行いました。
工夫した点は、球の生成・消去という負荷の大きい処理を極力避けるため、一度生成したものを使い回す仕組み（オブジェクトプール）を実装したところです。
また、UIをタップした時は球が生成されないように、条件分岐をしました。
当初は一つのアプリに、現在のKOeDAMAとTAPuTAの基本機能をまとめた状態で制作していましたが、「モード」の概念が複数存在し、煩雑になりすぎていました。この二つは、世界のルールや操作性は同じでも、機能やコンセプトが異なります。結果的にシリーズアプリとして2分化することにしました。
機能を整理して再実装し、変更に合わせてUIのリデザインを行いました。背景が前面カメラの映像になっても見やすいことと、シリーズとしての一貫性を意識しています。
標高を音の高さに変換して反映しています。
音量と球の大きさが比例するなど、音の要素を直感的に捉えられるような表現にしています。
平面で球が跳ねることと、様々な平面がある場所で遊ぶと面白いということが伝わるように、実際のシーンをモチーフにしたCGを制作しました。
このアプリをはじめて体験する人にとっては、この世界の楽しみ方を理解するところにハードルがあると感じました。この課題を解決するために、操作方法や発音のルールをわかりやすく表現したアニメーションを制作しました。これらを使用してアプリガイドとしてまとめ、アプリを立ち上げたとき・プレイ中のいずれもアクセスできる導線を引きました。
実装した結果、快適な体験の提供には至れず、企画自体の実現性の問題も感じました。しかし、AR技術と自分の技術が向上すれば、少しずつより楽しい体験になるという仮説は立ちました。研究や他の制作に影響が出ない範囲で、引き続き向き合っていきたいです。
開発に追われ、ロゴや画面のビジュアル面のデザインを詳細に練られていないため、まずはこの2点から再検討したいと思っています。
