Проблемы теории вероятности

К обоснованию практического применения теории вероятностей Колмогоров вернулся позднее, предложив для разрешения проблемы бесконечного числа экспериментов два подхода: аппроксимативной случайности и алгоритмической сложности. При рассмотрении относительных частот появления события в ряду экспериментов, достаточно ограничиваться последовательностями из нулей и единиц, так чтобы единица соответствовала реальному осуществлению события в результате эксперимента, а ноль обратной ситуации. В концепции аппроксимативной случайности рассматриваются последовательности нулей и единиц длины - . Утверждается, что эта последовательность является -случайной для по отношению к конечному набору допустимых алгоритмов, если существует число , такое что для любой последовательности с , полученной из с помощью некоторого алгоритма из набора, относительная частота появления единицы отличается от не более чем на . Алгоритмы, приводящие к последовательностям длины меньше , не рассматриваются. Доказывается, что если для заданных и число допустимых алгоритмов не слишком велико, то для каждого и любого можно найти последовательность , обладающую свойством аппроксимативной случайности.

Как и в случае с коллективами фон Мизеса, здесь присутствует неопределенность, связанная с описанием и отбором допустимых алгоритмов. При большом классе алгоритмов множество аппроксимативно случайных последовательностей может оказаться пустым, также желательно, чтобы допустимые алгоритмы были бы просто описуемы. В теории вероятностей сложилось представление о том, что типичные случайные последовательности устроены достаточно нерегулярно, и потому сложно. Это представление подкреплено различными утверждениями теории. Поэтому если стремиться к тому, чтобы алгоритмическое определение случайности последовательностей было близко к вероятностному представлению о случайных последовательностях, то алгоритмы должны позволять устранять нетипичные, просто устроенные последовательности, и объявлять случайными достаточно нерегулярно или сложно устроенные последовательности. Это приводит ко второму подходу Колмогорова к понятию случайности, опирающемуся не на простоту алгоритмов, а на сложность самих последовательностей. Колмогоров вводит числовую характеристику сложности последовательности по отношению к данному алгоритму , характеризующую степень ее иррегулярности, как необходимую для получения ее на выходе длину наименьшей последовательности, которую надо подать на вход . Оказывается, что алгоритмическая сложность последовательности может быть также корректно определена относительно классов алгоритмов. Алгоритмический подход объявляет случайными те последовательности , сложность которых является максимальной (приблизительно равняется длине последовательности). Это положило начало изучению применимости вероятностных законов к алгоритмически случайным последовательностям, открывая тем самым возможности применения результатов и методов теории вероятностей в тех областях, которые не имеют отношения к понятиям случая и вероятности в прямом смысле. Оказалось, что практически значимые выводы теории вероятностей обосновываются как следствия из гипотез о предельной сложности изучаемых явлений. Таким образом алгоритмическая концепция в теории вероятностей может согласовать интуитивное представление о случайности как отсутствии закономерности с пониманием случайного, лежащим в основе применения классической теории вероятностей.

Понятие субъективной вероятности

Курно также рассматривает понятие философской вероятности. Тогда как математическая вероятность как мера возможности осуществления есть свойство порядка вещей в мире и не зависит от исследователя, философская возникает из интуиции, на основании внутренней уверенности, а не математического расчета. Чувство таких вероятностей присуще всем разумным людям, оно опирается на уверенность в том, что законы природы просты, и что явления природы связаны в рациональные последовательности. Часто ею руководствуются философы и математики при проведении своих изысканий. Различие между философской и математической вероятностью можно показать на примере случайной выборки 4 чисел от 1 до 10000. Если оказалось, что числа подчиняются простому закону, то мы склонны думать, что их последовательность была вовсе не случайной, и чем сложнее закон, которому они подчиняются, тем более мы склонны рассматривать их как порожденные случаем, или совпадением взаимонезависимых причин, но Курно затрудняется с тем, как определить сложность последовательности. Образованный человек признает достоверными следствия, полученные из постулатов Евклида, или иные математические результаты, несмотря на то, что при их доказательстве и проверках могли быть допущены ошибки, и математическая вероятность совершения ошибки на одном и том же месте каждым, кто доказывал или проверял утверждения, ненулевая.

Субъективное понятие вероятности интерпретирует ее как степень разумной веры. Данное понятие зависит от человека, делающего высказывание о субъективной вероятности - как от его умственных способностей, так и знаний. Поскольку знания подвержены изменению, то субъективные вероятностные суждения также меняются в зависимости от них. Численное измерение степени веры может быть основано на методе пари. Например, если заключается пари о событии, что «завтра будет дождь», то степень веры в это событие для субъекта оценивается наивысшей ставкой, которую он предлагает в пари. Если ставки были соответственно 5:2, то вероятность будет равна 5/7.

В субъективной теории вероятностей важную роль играет понятие голландской книги против субъекта. Она состоит из пари, все из которых приемлемы для субъекта, но осуществление которых гарантирует субъекту чистый проигрыш. Доказано, что против субъекта можно составить голландскую книгу (и тем самым обобрать его до нитки) тогда и только тогда, когда степени веры не подчиняются законам классической теории вероятностей. Степени веры называются разумными, если они подчиняются законам классической теории вероятностей.

В субъективном понятии вероятности заложен подводный камень, потому как в реальности степени веры разумными быть не могут, поскольку субъект должен приписывать значение вероятности 1 всем логически истинным высказываниям, и вероятность 0 всем ложным высказываниям. По принципу голландской книги для повторяющихся случайных явлений значения объективной вероятности должны совпадать со значениями субъективной вероятности. Трудно представить, чтобы такое было возможно. Поэтому представляется разумным ограничить сферу явлений, к которым применимо понятие субъективной вероятности теми, к которым неприменимо понятие объективной вероятности, за исключением событий, очевидно невозможных или очевидно необходимых при определенных условиях. Для каждого события, в котором участием воли субъекта можно пренебречь, очевидно найдется лучше осведомленный человек, который сможет составить голландскую книгу против субъекта.

Существуют другие подходы к субъективной вероятности, которые не требуют полного выполнения законов классической теории, но автору реферата не известен ни один из них, который получил признание близкое к тому, которой обладает классическая теория. Более того теория субъективных вероятностей не может быть сфальсифицирована никаким другим способом, кроме как выяснением несоответствия между следствиями присвоения субъектом событий их численной вероятности.

Может ли вообще субъективная вероятность быть полезной для науки, изучающей объективные явления? Если известна объективная вероятность, то мнение кого-либо ее изменить не сможет и значения оно не имеет. Если объективная вероятность неизвестна, например, по причине невозможности подсчета относительных частот, то применяя однородную процедуру числовой характеризации качественного мнения многих экспертов, можно с успехом ее оценивать, как это было проделано для оценки энтропии и информационной избыточности человеческих языков (см. раздел 5). Если понятие объективной вероятности к случайному явлению неприменимо (случайное явление не может быть воспроизведено произвольное число раз в исследуемом аспекте), то, скорее всего, данное явление не может являться предметом научного исследования, так как результаты будет невозможно проверить или опровергнуть.

Условная вероятность, независимость и теорема Байеса

Кроме простых причинно-следственных связей в виде причины и ее необходимого результата было подмечено существование статистических закономерностей, когда одна серия событий влияет на частоту другой серии событий. Например, известно, что выздоровление от болезни может наступать как при приеме вещества, считающегося неспособным оказать лечебное действие, так и при приеме лекарства. В то же время критерий эффективности лекарства определяется по тому, существенно ли выше относительная частота выздоровления среди больных, принимающих лекарство, чем та же частота среди принимающих эрзац, выглядящий как лекарство, причем ни пациентам, ни врачам для исключения посторонних эффектов не известно, кто что принимает. Существенное увеличение вероятности выздоровления больного при условии приема лекарства считается критерием его эффективности, и позволяет сделать вывод о том, что прием лекарства статистически является причиной выздоровления больных.

Условная вероятность события при условии события обозначается и определяется как . Отвлекаясь от событий экстремальных вероятностей, можно попытаться определить, что событие является причиной , если , что будет равносильно или . В случае, когда одно из событий необходимо влечет другое, неравенство выполнено авоматически. В теории вероятностей события и называются независимыми тогда и только тогда, когда . Здесь можно сделать замечание о симметричности формулы относительно событий и , так как часто следствие не считается причиной причины. Поэтому при выполнении вышеупомянутого неравенства нельзя сказать, что явилось причиной . Если какое-то из событий и произошло раньше, то зачастую его и считают причиной, но это не всегда можно однозначно определить. Кроме того, может быть так, что неравенство выполнено, но события находятся между собой в опосредованной связи, например являясь следствиями третьего события. Выяснению того, как определить событие-причину путем анализа условных вероятностей посвящено много трудов, и вопрос о возможности этого является открытым. Однозначно лишь то, что если , то между и есть некоторая связь, например, предел относительной частоты осуществления одного из событий меняется, когда мы начинаем ограничиваться теми экспериментами, где произошли оба события.

Стоит также заметить, что аксиоматическое понятие независимости шире интуитивно понимаемого понятия практической независимости. Ведь не исключено, что соответствующее равенство может быть выполнено и для существенно связанных между собой событий. Но это лишь расширяет область применимости теорем, использующих допущение о независимости, поскольку они будут применимы и там, где независимость постулируется в силу реальных соображений, и там, где независимость выводится в силу своего теоретического определения. Алгоритмический подход к теории вероятностей, проясняющий понятие случайности, также дает возможность определения независимости, более близкую нашей интуиции.

Теорема Байеса об условных вероятностях (середина XVIII в.) породила в XX веке байесовскую теорию подтверждения гипотез. Теорема заключается в формуле, позволяющей менять местами событие и условие (или гипотезу): , она также распространяется на случай нескольких гипотез.

Байесовская теория подтверждения гипотез утверждает, что событие подтверждает гипотезу , если , и не подтверждает ее в случае противоположного знака неравенства. Если гипотеза логически включает событие , то подтверждает , а не опровергает . Если две гипотезы логически эквивалентны, то они имеют те же вероятности, и любое событие будет подтверждать их одинаково. Вероятности гипотез изменяются под влиянием наблюдения событий по формуле Байеса.

Но при применении этой теории на практике встают вопросы. Один из них заключается в первоначальном распределении вероятностей. Однако при некоторых условиях было доказано, что при любом первоначальном распределении вероятностей, при наблюдении большого количества одних и тех же явлений вероятности гипотез выравниваются. Наблюдение события предполагает, что его вероятности начинают приписывать значение 1. Но приписывать вероятность 1 может быть не совсем правомерно, так как известны случаи, когда ученые отвергали то, что наблюдалось в прошлом. Предположим,что существует гипотеза , и известно что некогда произошло событие . Вдруг обнаруживается, что влечет . Это должно увеличить степень подтверждения , но теория не объясняет, как это может произойти. Предположим, что в первом случае теория разработана с тем, чтобы из нее следовало . Во втором случае предположим, что во время разработки теории о не было известно, но после разработки теория предсказала , и путем опытной проверки было выяснено, что имеет место. Кажется правильным считать, что во втором случае имеется большая степень подтверждения теории событием , чем в первом, несмотря на то, что различий в вероятностях между двумя случаями быть не должно.

Теория информации

Из классической теории вероятностей в первой половине XX века возникла теория информации, что сразу же позволило получить важные результаты, используя мощный аппарат теории вероятностей. Информация может уменьшать неопределенность. Ситуация неопределенности имеет место всюду, где есть случайность. Так, например, до проведения опыта с равновозможными исходами, имеется неопределенность относительно того, какой из исходов осуществится. После проведения опыта неопределенность устранена. Поэтому информацию можно рассматривать как уменьшение неопределенности.

Понятие неопределенности можно вывести из понятия неожиданности события, которое в свою очередь определяется логарифмом числа, обратного вероятности, чем менее вероятно событие, тем оно более неожиданно. Неопределенность опыта задается средним взвешенным значением неожиданностей его исходов, с весом неожиданности исхода, равным его вероятности. Из всех опытов с исходами самая большая неопределенность, или энтропия, оказывается там, где все исходы равновозможны. Из закона больших чисел следует, что при проведении опыта с неравновозможными исходами достаточно большое количество раз, сколь угодно близкая к единице доля неопределенности составного опыта будет приходиться на исходы, являющиеся почти равновозможными. Аналогично понятию условной вероятности вводится понятие условной энтропии. Информация об опыте β, содержащаяся в опыте α, определяется как разность между энтропией β и энтропией β при условии α.

Теория информации предлагает пути решения некоторых задач. Если необходимо что-либо выяснить в среднем наиболее эффективным способом, то необходимо ставить опыт, направленный на выяснение необходимой информации, с максимально возможной энтропией и далее необходимо ставить «направленные» опыты с максимальной энтропией относительно предыдущих. Примером может служить алгоритм бинарного поиска по алфавитному каталогу, в котором предполагаемое место нахождения все время делится на две (почти) равные части.

Применение понятия энтропии к языкам позволяет сконструировать (в среднем) экономные коды для передачи сообщений по линиям связи, используя коды меньшей длины для часто встречающихся сочетаний языковых единиц. Если бы все символы языка можно было встретить в тексте с одинаковой вероятностью, то удельная энтропия письменного языка была бы равна энтропии опыта с числом равновозможных исходов, равным количеству символов языка. Но, как известно, не все символы встречаются одинаково часто, а если рассматривать группы из нескольких символов, то относительные различия в частотах будут только усиливаться. Количество 9-символьных сочетаний настолько велико, что подсчет их относительной частоты технически невозможен. Для больших N относительные частоты N-символьных комбинаций оценивались с помощью экспертов, которым предлагалось по (N − 1) символу вынести суждение заранее определенного вида о том, каким может быть следующий символ, далее эти суждения обрабатывались, и на этой основе получались оценки относительных частот. Выяснилось, что степень информационной избыточности литературных текстов приблизительно равна 80%. Это позволяет восстанавливать текст с отсутствующими символами, даже не принимая во внимание его смысл. Моделируя случайную выборку символов языка согласно частотам N-символьных комбинаций при увеличивающемся N можно получить «фразы» все более и более приемлемые для обычного языка, но так как теория информации не принимает в расчет смысл, скрывающийся за наборами символов, такие фразы будут иметь более или менее похожую на правильную грамматическую структуру, лишенную смысла. В музыке ноты особого смысла не несут, поэтому случайное моделирование нот по относительным частотам их комбинаций в произведениях определенного композитора может дать и экспериментально давало произведения, написанные в стиле композитора.