Sonicry III
2026 | Audiovisual
Overview
これまで作者は、自作の機械学習モデル・システムを用いて、泣くこと（Crying）を含む顔面の情動状態（Facial Emotion）の音化（Sonification）および音楽化（Musification）を主軸とした作品群を制作してきた。この制作行為には、作者にとって抑制の対象となってきた「泣く」という私的な状態を、聴覚領域の表現へと外化・共有することで、その忌避感を克服し、受容し直すという動機がある。すなわち、その前提として、作者は「泣くことを肯定する」という意志を強く保持している。 本作では、AIが生成した映像に現れる「泣き」の状態を対象として、自作のシステムを用いて音楽化を試みる。 ・存在しない（が、作者にとってはそう受容してきたはずの）過去をAIによって顕現させること。 ・これまでの作品群にはなかった「ナラティブ性」を付与すること。 以上が、本作における唯一の意図である。 ※Sonic Interaction 2026.03の上演時プログラムノートより抜粋
Process
映像素材の制作には、画像・動画生成AIツールである「Runway」および「Kling」を使用した。 まず、Runwayを用いて、作者自身の顔画像や背景の参照画像を入力し、各シーンのキーフレームとなる画像を複数枚生成した。この際、映像全体を通したキャラクターの同一性を保持しつつ、最終的な映像の時系列や物語の展開が破綻なく連続するように、意図的なプロンプトエンジニアリングと画像生成を行った。 次に、生成した複数のキーフレーム画像をKlingに入力し、指定した2枚の画像間のトランジションを推論・補間させる形式で動画素材（フッテージ）を生成した。この手法により、シーン間の滑らかな接続と、リアルな表情変化（泣きの表情への変容など）を伴う映像表現の獲得を試みた。 生成された複数の動画素材を一本の長尺映像として再構成したのち、前作『Sonicry II』で開発した音響生成システムに対してこの映像を入力した。映像内に描画された人物の表情や「泣き」の推移をシステムがリアルタイムに解析し、その特徴量をパラメータとしてマッピングすることで、映像に同期した音楽を生成している。 なお、足音やドアの開閉音といった映像内の環境音（音響効果）については、AIによる生成ではなく、映像の展開に合わせて自身で実録・編集したものを配置し、映像内の空間における現実味の補強を図っている。