楽譜をその場でスキャン、リアルタイムに演奏できるデバイス「Gocen」
首都大学東京の研究者が、手書きの譜面をスキャンデバイスでなぞっていくことで、リアルタイムに演奏ができるシステムを開発した。
首都大学東京 馬場哲晃助教のグループは、手書きの譜面をスキャンデバイスでなぞっていくことで、リアルタイムに演奏ができるシステムを開発しました。
まずは五線の場所を見て、その後音符の場所を見て、その音符が五線譜のどの位置にあるかというので、音高を判断します。それに加え、ピアノやギターなどの文字をスキャナで直接読むとコンピュータが自動的に文字を認識して、楽器を変更してくれます。また、例えばこの曲の調はCメジャーじゃなくて、Fマイナーだという時には、「Fm」という文字を読むと楽譜にフラットが4つ付くといった機能があります。
楽譜画像は、OpenCVライブラリと独自アルゴリズムによって解析されています。演奏ラインが音符上にある間、その音程を発音し続け、主に弦楽器の場合は、音を鳴らした後デバイスを上下に動かすことで音程にゆらぎをつけることができます。
また、音符の大小は音量として扱われ、和音にも対応しています。
元々、楽譜出版社と話してる中でできたアイデアです。楽譜の活用の仕方というのが、譜面台に立てて演奏するくらいしか今まで無かったんですが、楽譜があればリアルタイムに演奏ができたり様々な表情付けが楽譜の上からできるので、例えば小学校や音楽教室で音楽の初学者に向けて、五線譜の学習の敷居が下がると思います。
コンピュータを使って、作曲される方はたくさんいますが、どんな楽曲にしようかとかどんなメロディをつくろうかという創作の初期段階において、紙というのは有効に機能するというのは研究からも分かっていて、そういった部分でこのシステムは作曲支援システムとしても非常に有効だと感じています。
関連記事
- ローランド、デジタルピアノ「HPi-50」と電子ドラム「TD-4KP-S」を発売
液晶画面の搭載で譜面のほか練習用ソフトやゲームなどが楽しめるデジタルピアノと、折りたたんで持ち運び可能な電子ドラムが、ローランドからそれぞれ発売される。 - 日々是遊戯:マリオにゼルダ、ピカチュウも! ゲームキャラ続々登場のマーチングバンドに観客興奮しすぎ
演奏もさることながら、一糸乱れぬ動きがスゴい。 - なぜ、人はゲームにハマルのか?:第21回:ゲームは耳でも楽しめる! 効果音による快感演出のマジック
「なぜ、人はゲームにハマルのか?」をまじめに考察する不定期企画の21回目は、ビデオゲーム独特の効果音に焦点を当ててみました。 - ミクは巨大な水の女王。39祭りに行ってきたよ
雨女のミクさんらしいウォーターステージでのライブもあったPS Vita「初音ミク -Project DIVA- f」発売記念前夜祭「夏の終わりの39祭り」に参加してみた。 - 日々是遊戯:「制作者もみんな実況するといいよね」――「ぷよぷよ」「ドシン」「かまいたち」の3人が「ゆめにっき」を実況して感じたこと
8月10日から13日にかけ配信された「SIRENシリーズ+人気ホラーゲーム一挙クリア81時間ぶっ通し! 実況」。人気の生主や実況主らがホラーゲームに挑戦する中、唯一「ゲームクリエイター」枠で参加した、米光一成氏、飯田和敏氏、麻野一哉氏の3人に、ゲーム実況についてどう見ているのか質問をぶつけてみた。 - ミサイルの人気のなさを嘆く場面も! PC版の生みの親も訪れた“洞窟物語3D発売記念プレミアムトーク&ライブショー”をレポート
- 新ジョブ情報も:「FFXI」10周年記念オフラインイベント「ヴァナ☆フェス2012 A DECADE OF FINAL FANTASY XI」をふらりと覗いてみた
PS2初のオンラインタイトルとしてスタートし、様々なユーザーに衝撃を与えた「FINAL FANTASY XI」の10周年を祝したオフラインイベントに潜入。新拡張ディスクの情報もあるよ! - PSP「FINAL FANTASY III」発売決定
「ファイナルファンタジーIII」が9月20日に発売される。価格は3990円(ダウンロード版:3300円)。
Copyright(c) Digitized Information, Inc. All Rights Reserved.
-
身長174センチの女性アイドルに「ここは女性専用車両です!!!」 電車内で突如怒られ「声か、、、」と嘆き 「理不尽すぎる」と反響の声
-
元「AKB48」メンバー、整形に250万円の近影に驚きの声「整形しすぎてて原型なくなっててびびった」
-
小1娘、ペンギンの卵を楽しみに育ててみたら…… 期待を裏切る生き物の爆誕に「声出して笑ってしまったw」「反応がめちゃくちゃ可愛い」
-
築年数不明の平屋にある、ボロボロ床板をはがしてみたら…… 発覚したヤバい事実に「ビックリ!」「大丈夫でしたか?」心配と驚きの声
-
ママの足にくっつく生後7カ月の赤ちゃん、甘えてるのかと思いきや…… 計算された行動と「ちいこい後ろ姿がかわいすぎ」て目が離せない
-
「電車の中で見ちゃダメ」「笑ったww」 実家からLINE「子ヤギがすばしっこくて捕まらない」→送られてきた衝撃姿が320万表示!
-
“作画軽減ガンダム”をガンプラで作成 → 使用パーツも最小限の再現ぶりに「完全に一致」「部品軽減ガンダム」
-
誰も教えてくれなかった“裁縫の裏ワザ”が目からウロコ 200万再生のライフハックに「画期的」と称賛【海外】
-
21歳の無名アイドル、ビジュアル拡散で「あの頃の橋本環奈すぎる」とSNS騒然 「実物の方が可愛い」「見つかっちゃったなー」の声も
-
0歳赤ちゃん「(ママ来たっ!)」→喜びが抑えきれなくて…… 尊すぎるダンスが300万再生「心が浄化されていく」「朝から癒やされました」
- 小1娘、ペンギンの卵を楽しみに育ててみたら…… 期待を裏切る生き物の爆誕に「声出して笑ってしまったw」「反応がめちゃくちゃ可愛い」
- 富山県警のX投稿に登場の女性白バイ隊員に過去一注目集まる「可愛い過ぎて、取締り情報が入ってこない」
- 2カ月赤ちゃん、おばあちゃんに少々強引な寝かしつけをされると…… コントのようなオチに「爆笑!」「可愛すぎて無事昇天」
- 異世界転生したローソン出現 ラスボスに挑む前のショップみたいで「合成かと思った」「日本にあるんだ」
- 【今日の計算】「8+9÷3−5」を計算せよ
- 21歳の無名アイドル、ビジュアル拡散で「あの頃の橋本環奈すぎる」とSNS騒然 「実物の方が可愛い」「見つかっちゃったなー」の声も
- 1歳赤ちゃん、寝る時間に現れないと思ったら…… 思わぬお仲間連れとご紹介が「めっちゃくちゃ可愛い」と220万再生
- 業務スーパーで買ったアサリに豆乳を与えて育てたら…… 数日後の摩訶不思議な変化に「面白い」「ちゃんと豆乳を食べてた?」
- 祖母から継いだ築80年の古家で「謎の箱」を発見→開けてみると…… 驚きの中身に「うわー!スゴッ」「かなり高価だと思いますよ!」
- 「ゆるキャン△」のイメージビジュアルそのまま? 工事の看板イラストが登場キャラにしか見えない 工事担当者「狙いました」
- フワちゃん、弟の結婚式で卑劣な行為に「席次見て名前覚えたからな」 めでたい場でのひんしゅく行為に「プライベート守ろうよ!」の声
- 親が「絶対たぬき」「賭けてもいい」と言い張る動物を、保護して育ててみた結果…… 驚愕の正体が230万表示「こんなん噴くわ!」
- 水道検針員から直筆の手紙、驚き確認すると…… メーターボックスで起きた珍事が300万再生「これはびっくり」「生命の逞しさ」
- フワちゃん、収録中に見えてはいけない“部位”が映る まさかの露出に「拡大しちゃったじゃん」「またか」の声
- スーパーで売れ残っていた半額のカニを水槽に入れてみたら…… 220万再生された涙の結末に「切なくなった」「凄く感動」
- 桐朋高等学校、78期卒業生の答辞に賛辞やまず 「只者ではない」「感動のあまり泣いて10回読み直した」
- 「これは悲劇」 ヤマザキ“春のパンまつり”シールを集めていたはずなのに…… 途中で気づいたまさかの現実
- 「ふざけんな」 宿泊施設に「キャンセル料金を払わなくする方法」が物議 宿泊施設「大目に見てきたが厳格化する」
- がん闘病中の見栄晴、20回以上の放射線治療を受け変化が…… 「痛がゆくなって来ました」
- 食べ終わったパイナップルの葉を土に植えたら…… 3年半後、目を疑う結果に「もう、ただただ感動です」「ちょっと泣きそう」