Obwohl sich die Empfindlichkeit und Leistung von Mikrofonen ziemlich verbessert hat seit Alexander Graham Bell erstmals patentiert Sie haben noch einen großen Nachteil, den Forscher ausmachen Carnegie Mellon Universität kann durch die Verwendung endlich überwunden haben a zwei gewöhnliche Videokameras.

Stellen Sie ein Mikrofon in einen Raum mit ein paar Musikern, und während Sie jede letzte Note und Nuance ihrer individuellen Darbietungen einfangen, bleibt Ihnen eine einzige Aufnahme, in der alles zusammengemischt ist. Aber um diese Leistung noch besser klingen zu lassen, ydu idealerweise jedes Instrument und jeden Musiker separat aufnehmen wollen, So kann jede Darbietung von einem Tontechniker mit einem erfahrenen Ohr neu gemischt werden.

Es wurden Softwaretools entwickelt, um einzelne Töne aus einer Audioaufnahme zu extrahieren, aber die Ergebnisse sind einfach nicht so gut wie bei der Aufnahme einer Tonquelle mit einem Mikrofon. Deshalb sind Mischpulte oft so gigantisch und aufwändig: Unzählige Mikrofone mit begrenzten Aufnahmemustern müssen eingerichtet werden, um jede Komponente einer musikalischen Darbietung, von Gesang bis zu Instrumenten, richtig einzufangen, was eine Menge Ausrüstung bedeutet, um die Dinge richtig zu machen.

Es gibt wirklich keine Möglichkeit, Mikrofone neu zu gestalten, um die erfassten Schallschwingungen zu unterscheiden, die sich durch die Luft bewegen, weshalb die Forscher der Carnegie Mellon University Institut für Robotik der Fakultät für Informatik haben sich stattdessen Videokameras zugewandt. Schlage die Saiten einer Gitarre, und es wird nicht nur Schallwellen erzeugen, die durch die Luft schwingen, sondern dabei wird auch die Gitarre selbst zum Vibrieren gebracht. Mit der richtigen Ausrüstung können diese Vibrationen visualisiert und analysiert werden, um die erzeugten Geräusche nachzubilden, selbst wenn keine Geräusche aufgezeichnet werden.

Optische Mikrofone, wie diese Kamerasysteme genannt werden, sind keine neue Idee, sondern das, was die CMU-Forscher sich ausgedacht und in einem kürzlich veröffentlichten Artikel mitgeteilt haben: „Optischer Dual-Shutter-Vibrationssensor,“ ist eine Möglichkeit, sie mit preiswerterer Kameraausrüstung zum Laufen zu bringen.

Das neue System strahlt eine helle Laserlichtquelle auf eine vibrierende Oberfläche, wie den Körper einer Gitarre, und erfasst die Bewegungen des resultierenden gesprenkelten Lichtmusters. Da der Bereich des menschlichen Gehörs Töne wahrnehmen kann, die bis zu 20.000 Mal pro Sekunde oszillieren, haben sich optische Mikrofone in der Regel auf teure Hochgeschwindigkeitskameras verlassen, um ebenso schnell oszillierende physikalische Vibrationen zu erfassen. Aber das neue CMU-System verwendet Kameras, die mit nur 63 Bildern pro Sekunde laufen, was scheinbar die Hochgeschwindigkeitsbewegungen einer Vibration verpassen würde, die 20.000 Mal pro Sekunde stattfindet.

Der clevere Durchbruch hier ist die gleichzeitige Verwendung von zwei verschiedenen Kameratypen: eine mit einem Global Shutter, der ganze Videoframes aufnimmt, was zu deutlichen gesprenkelten Mustern führt, und eines mit einem Rolling Shutter, der Frames Zeile für Zeile von oben nach unten auf dem Sensor erfasst, was zu verzerrten gesprenkelten Mustern führt, die tatsächlich mehr Informationen darüber enthalten, wie sie sich im Laufe der Zeit hin und her bewegen.

Mithilfe eines benutzerdefinierten Algorithmus können die erfassten Frames jeder Kamera miteinander verglichen werden, um die Bewegungen der vibrierenden, gesprenkelten Lasermuster bis zu 63.000 Mal pro Sekunde genauer zu bestimmen – oder so schnell, wie es eine teure Hochgeschwindigkeitskamera könnte.

Der Ansatz ermöglicht die individuelle Extraktion von Audio aus mehreren Quellen in einem einzigen Video, z. B. von mehreren Musikern, die jeweils ihre eigene Gitarre spielen, oder sogar von mehreren Lautsprechern, die alle unterschiedliche Musik spielen.

Das extrahierte Audio ist nicht so klar oder High-Fidelity wie das, was ein herkömmliches Mikrofon aufnehmen kann, aber das optische Mikrofon könnte Mischtechnikern eine einfache Möglichkeit bieten, einzelne Instrumente während einer Live-Performance zu überwachen, und im Laufe der Zeit gibt es kaum Zweifel an der Qualität von Das extrahierte Audio wird weiter verbessert. Das System hat andere interessante Anwendungen außerhalb der Musik. Eine Videokamera, die alle Maschinen in einer Fabrikhalle überwacht oder auf den Motor eines laufenden Autos gerichtet ist, könnte feststellen, wenn einzelne Teile oder Komponenten ungewöhnliche Geräusche machen. zeigt an, dass eine Wartung erforderlich sein kann, bevor ein Problem tatsächlich zu einem Problem wird.