Дело движется. Моя цель - 80-90% верно распознанных нейросетью интервалов.

На выходных я добавил к своему набору ещё 20 инструментов и кривая распознанных интервалов довольно бодро двинулась по направлению к недостижимым 100%


Глядя на эту картинку хочется верить что для достижения поставленной цели будет достаточно записать около 80 инструментов. Сейчас у меня их 45.

Поездка к консерватории в тот момент когда там происходил конкурс Чайковского выглядела авантюрой.
Никто там толком не подсказал мне где можно было бы записать какие-нибудь инструменты.
Даже в репитиционных мне ничего не удалось.

Случайным уловом был лишь убитый рояль в кафе "Николай", находящемся справа от Чайковского:


Удача улыбнулась мне лишь когда я перестал вертеться около консерватории - в крупном салоне музыкальных инструментов C. Bechstein на Тверском бульваре.
Там я и записал около 20 пианино и роялей.
Огромное спасибо сотрудникам салона за моментальное разрешение и за проявленное терпение!

Тема интересная. На сколько я понимаю, Вы записываете звуки "хоров", но струны в хоре могут колебаться со сдвигом по фазе, да и частоты могут отличаться. Таким образом имеем до 6 струн с разными фазами. Настройщики слушают биения от двух струн. Может будет проще измерять число периодов колебания одной струны за 1-3сек., т.е. определять "псевдо частоту", каждой струны в отдельности, ну а соотношение уже может дать расчётное число биений. Биения могут быть +/-, т.е. уменьшенный и увеличенный интервал, а математическое сравнение поможет в этом разобраться. И ещё один момент, если этот прибор делается для настройщиков, можно использовать не микрофон, а 2 звукоснимателя, как на электрогитаре и улавливать совпадение фаз, при переходе через ноль. Число этих совпадений за одну секунду и даст число биений...

Согласен. Обучать нейросеть лучше было бы на хороших примерах ) Скажите, а разве настройщики не могут количественно оценить интервальные биения при прослушивании интервала с незаглушенными струнами? Я размышлял над этой проблемой. Но она мне не кажется принципиальной. Ведь если инструмент настроен правильно то биения должны ласкать слух даже если в работе все шесть струн. Всякие унисонные биения вроде бы легко исключить из рассмотрения программы отфильтровав соответствующую полосу частот.

Нейросеть по своей природе ничего не измеряет. Скорее, она пытается подогнать результат под известный ответ. Если ей это удается, считается что она чему-то научилась

Интересный список моделей пианино и роялей в порядке убывания правильности распознанных нейросетью интервалов:

Bechstein: 93.0%
Kawai-02: 91.9%
Kawai-01: 91.4%
AugustFursterGrand-01: 91.9%
Bohemia: 87.2%
Glinka002: 86.4%
Petrof002: 85.4%
Petrof003: 84.5%
Nocturne01: 84.2%
Composer: 84.4%
Zimmermann: 83.7%
Kawai-04: 82.0%
Kawai001: 82.9%
Weber002: 81.4%
PetrofGrand-01: 81.2%
Kawai-05: 81.7%
EstoniaGrand-01: 81.8%
Bohemia002: 81.8%
YamahaGrand-02: 80.1%
YamahaGrand-01: 80.6%
Weber003: 80.4%
Leppenberg: 80.7%
KriegelStein: 79.2%
KriegelStain: 79.0%
Falcone: 79.3%
Essex-01: 79.3%
Weber001: 78.6%
Petrof001: 78.1%
Lira: 78.3%
Glinka001: 78.7%
Weinbach-01: 77.8%
SomeGrand: 77.5%
Petrof-01: 77.6%
BostonGrand-01: 77.0%
Seiler: 76.8%
Petrof-02: 76.1%
Bechstein001: 76.8%
Essex-02: 75.1%
Petrof004: 74.5%
Essex-03: 74.5%
Legnica 73.2%
Kawai-03: 72.1%
Volodimer: 71.8%
Nocturne: 70.0%
Accord: 62.9%

Не знаю чем объясняется такой разброс успешности "распознавания": c 63% до 93%
Ведь все инструменты я записывал примерно в одинаковых условиях и одним и тем же телефоном.

Ещё можно рассмотреть отдельные интервалы. На пианино Kawai, например, нейросеть угадывает на слух все 100% больших терций.
Хотя, Каваев у меня было несколько. Не все одинаково успешны в этом смысле

Блин второй. Уже есть что комментировать. Если захотите комментировать - на экране появляются временные метки. В своем комментарии пожалуйста указывайте это время.

Я исправил серьезные ошибки в своей программе. Так что теперь она не только часто справляется с угадыванием интервалов но также выдает, как мне кажется, правильные цифры биений.

Так или иначе, в этой демонстрации я использую весьма расстроенное пианино, самый дешевый (и медленный) noteboook и какой-то совершенно случайно попавшийся мне микрофон. Не то чтобы это всё подобрано умышленно. Просто я уверен что все дефекты работы программы происходят не от пианино, компьютера или микрофона. Ошибки программы в определении интервалов и биений прежде всего объясняются нехваткой инструментов на этапе обучения нейросети а также самим несовершенством программы.

Я был бы признателен тем кто указал бы места в этом видео, если есть такие, где есть очевидное несоответствие того что слышно тому что пишет программа. В биениях угаданных интервалов. Там где программа не угадывает интервал всё и так ясно.

У Яновского в приложении к его книжке есть таблица "стандартных" биений. Почему-то биения указаны с точностью до трёх (!!!) знаков после запятой.
Пытаюсь понять такое и никак иначе нежели использованием каких-то формул не могу.
Но ведь на слух то наверняка не точнее чем на полбиения можно слышать. Так ведь?

Там указаны табличные биения. В реальной настройке цифры отличаются, и они разные у разных инструментов

Это то ясно. Да хоть и табличные. Написал бы он их с той же примерно точностью с которой слух позволяет - было бы ещё яснее.