Hi-Fi БАЗАР

banner myhifi ads

Анкета
Kаква музика слушате?
Kаква музика слушате?
Трябва да изберете поне един отговор!

Относно слепите тестове

myhifi.org blind tests

Ю.Александров

 

През годините съм участвал в доста дискусии относно ползата от слепи тестове като метод за потвърждаване на разлики в звука. Целта на желаещите сляп тест обикновено е установяване на истината, съществува ли даден феномен или е плод на въображението.

Спорните теми в аудиото са безброй - посока и разсвирване на кабели, влиянието на захранващите кабели, мпинго-дискове, шуманови генератори, различни резонатори, демагнетизатори, стабилизатори, подложки за кабели, софтуерни трикове, необясними даже за създателите си устройства и т.н.. Разликите в звука от тях може да не са сигурни, но това, което предизвикват със сигурност, са ожесточени спорове между „скептици” и „чуващи”.

Коронен довод на скептиците по отношение на всяко спорно явление е, че за да е доказано, то трябва да се потвърди при сляп тест.

Всеки път, когато се отвори въпросът, че нещо трябва да бъде доказано със сляп тест, обяснявам защо слепият тест не е решение. До обсъждане на аргументите ми обаче рядко се стига: самият факт, че някой оспорва легитимността на вездесъщия сляп тест, се приема за бягство от спора, за доказателство, че отказващият сляп тест не е убеден в правотата си и че съответно твърденията му са лъжа или самозаблуда.

Доводите срещу слепия тест като метод за търсене на разлики в звука са два, единият касаещ системата, другият участниците в теста:

За системата

В повечето случаи споровете, които водят до предизвикателството „сляп тест” в аудиото, са около компоненти, които (евентуално) предизвикват малки изменения в звуковата картина. Обикновено спорещите долавят (или не) разлики, слушайки на добре познати собствени системи.

Най-разпространеният метод за сляп тест в България обаче е следният: Група хора се събират на място, където има аудио система. Избират се тестови парчета, които се пускат многократно докато ръководителят на теста прибавя или маха тествания компонент. Задачата на участниците, подложени на теста, е да определят кога присъства спорният компонент и кога не. Въз основа на отношението "верни/неверни отговори" от участниците се отсъжда дали изпитваният компонент има ефект. С различни вариации това е принципната схема, която прилагаме тук. Проблемът в този метод е, че се слуша на система, позната на един, най-много двама човека от групата. На останалите участници, които винаги са мнозинство, им се налага бързо да се адаптират към звука на напълно непозната за тях система, вследствие на което за тях е много трудно или направо невъзможно долавянето на деликатни промени в звука. При този модел на сляп тест има огромен риск много от участниците да не доловят промени, които действително съществуват и същите тези участници биха чули, ако слушат на собствените си системи.

Няколко пъти съм бил свидетел на провеждане на „сляп тест” по време на аудио шоута с участието на 20 и повече човека, които се опитват уловят звукови разлики на система, току-що събрана от компоненти, собственост на различни хора. Тишината по време на тези събития е само пожелателно понятие, а особеностите на новородената система са непознати никому. За каква достоверност на резултатите можем да говорим в такива случаи?

Участникът

Вторият довод срещу слепите тестове като метод за търсене на разлики в звука е психологическото състояние, в което се намира участниците по време на събитието. Умствената нагласа, която имате, когато сте на чуждо място и в група, няма нищо общо с тази, когато слушате музика сами вкъщи. Концентрацията и възприемчивостта към нюанси и детайли, когато сте пред собствената ви уредба, са несъизмерими с тези, когато сте заобиколени от хора и се напрягате да чуете разликите в няколко многократно повтаряни пасажа от песни. В такава сигуация е много възможно да не доловите нещо, което в по-интимна обстановка би било безспорен и повторяем факт за безпристрастно слушащия.

Слепите тестове може да са сполучлив начин за събиране на субективни мнения относно някой аудио компонент или за проучвания при нови разработки. Но в тази форма, в която обикновено се практикуват у нас, и за целта, за която се използват – търсене на малки разлики в звука - слепите тестове са неподходящ метод за установяване на истината.

 

Наскоро попаднах на един текст на Джон Аткинсън относно слепите тестове като начин за установяване на промени в звука. Предлагаме ви превод със съкращения от stereophile.com:

 

"За простия всичко е просто*

Разстроих се докато четях коментарите на фейсбук-страницата на Stereophile. В ноемврийския брой публикувахме ревюта на устройството UpTone Audio USB Regen с автори Kalman Rubinson, Michael Lavorgna и моя милост. Michael и Kal бяха ентусиазирани от положителния ефект на USB Regen, но аз не успях да регистрирам никакви измерваеми разлики. Във Фейсбук страницата ни Dan Madden e написал: „Мисля, че такива устройства се нуждаят от сляп слушателски тест, за да се удостовери по статистически измерим начин дали слушателите могат да чуят разлики с висок процент успеваемост. ”.

Не оспорвам това твърдение. Но когато Madden продължи, „Ако някой беше закачил тази джаджа във ВАШАТА система и след това чуете една и съща песен 10 пъти със и без нея, включвана произволно, и ако установите, че е „по-добре с нея” 9 от 10 пъти, тогава ще съм сигурен, че тя води до разлики в звука.”.

Звучи като прост тест, но организирането на сляп тест с цел удостоверяване или отричане на малки звукови разлики, е далеч от простотата. В крайния статистически анализ на тестовите резултати не можеш да докажеш отрицанието, можеш да заключиш само, че при условията на теста не е могла да бъде уловена разлика. И напротив, статистически значима положителна идентификация може да бъде сметната като универсално доказатество, че разликата е доловима. Но този анализ разчита на тест, изследващ само една променлива – разликата, за която се следи – и, както неведнъж сме дискутирали в списанието, методологията на слепите тестове сама по себе си може да бъде объркваща променлива в теста. Фактът, че слушателят е в различно състояние на духа по време на слепия тест, може да бъде фактор в теста.

Следователно строгият сляп тест, ако трябва да доведе до действително валидни резлутати, става сложна и отнемаща време процедура, включваща слушатели, които са опитни и са добре запознати с тестовата процедура. Иначе резултатите от теста стават до голяма степен случайни, т.е. безсмислени.

Както казва известният мастеринг-инженер Bob Katz: “Няма такова нещо като „обикновен” сляп тест. Слепите тестове са сериозна работа. Експериментаторите се нуждаят от тренировка как да проведат слепите тестове правилно. Слепите тестове могат да се провалят (да доведат до статистически невалидни резултати), ако експериментаторът пренебрегне само един критичен детайл. Седмици интензивно обучение се изискват, за да се научиш как да организиран слепи тестове. А след това седмици подготовка, за да създадеш теста. И накрая следва седмици тестване.”.

Някой може да сметне за парадоксално,че редакторът на списание, фокусирано главно върху оценки на аудио компоненти чрез слушане в контролирани условия, коментира методологията на слепите тестове. Но от първия ми сляп слушателски тест, в който взех участие през 1977г., организиран от покойния James Moir за изданието Hi-Fi News, аз съм участвал в над 100 такива теста като слушател, ръководител или организатор. Моето мнение за тяхната ефикасност и за това колко трудно е да се получат валидни резултати, а не фалшиви отрицателни отговори (т.е. мнения, че не могат да се чуят разлики, когато малки, но реални чувами разлики действително съществуват) е било оформено като резлутат от този опит.

Всъщност има официална дисциплина, посветена на организацията на слепите стестове, базирана на препоръките, формулирани от Международния телекомуникационен съюз в документа ITU-R BS1116-3. В цитата по-горе Bob Katz обобщава препоръките на този документ и последствията му, а контекста на неговите думи беше един семинар на 139-тата конференция на Audio Engineering Society, проведена миналия октомври в Ню Йорк, относно чуваемостта на възможните подобрения в звука от записа и плейбека на аудио с резолюция по-голяма от тази на компактдиска (16bit/44.1kHz).

Темата за високите резолюции е спорна. Във форума на уебсайта на Sterophile миналото лято читателят David Harper написа: “Хората не чуват никаква разлика между 16bit/44.1kHz и по-висоите резолюции. Това е установен факт.”.

Harper се позовава на на един документ от 2007г. от Е.Brad Meyer и David R.Moran¸които „доказват”, че форматите с висока резолюция нямат звуково предимство. Техните заключения са в разрез с опита на много звукозаписни инженери, учени и аудиофили, но въпреки съмненията относно методологията и фактът, че тестовия материал е с неизвестен произход, документът на Meyer и Moran изглеждаше като окончателната присъда по въпроса за високите резолюции.

Семинарът на AES, в който Bob Katz беше взел участие, е включвал презентация от легендарния звукозаписен инженер George Massenburg (сега професор в университета МакГил в Монреал) и специалистът по бинаурални записи Bob Schulein. Но това, което привлече вниманието ми беше презентацията на Joshua Reiss от университета Куин Мери в Лондон, член на управителния съвет на Audio Engineering Society.

До момента са пuбликувани около 80 изследвания върху аудиото с висока резолюция, половината от които включват и слепи тестове. Резултатите от тези тестове са разнопосочни, което изглежда че потвърждава заключенията на Meyer и Moran. Но около 20 от публикуваните тестове включват достатъчно експериментален материал и детайли, за да може д-р Reiss да направи мета-анализ на анализите. Reiss доказва, че въпреки индивидуалните тестове и разнородните резултати, крайното заключение е, че тренирани слушатели могат да различат при спяп тест записи с висока резолюция от техните CD еквиваленти, при това с висок статистически резултат."

* - оригинално заглавие "То the Simple, Everything Appears Simple"

 

Myhifi.org е готов да публикува всяко мнение по темата, което не съдържа нецензурни, обидни или провокативни текстове.

 myhifi.org blind tests 1