Выборочный метод

В своей работе историк далеко не всегда исследователь имеет дело с генеральной совокупностью, т.е. множеством всех единиц совокупности, обладающих определенным признаком и подлежащих изучению. Чаще всего ограничиваются изучением ее части с тем, чтобы впоследствии распространить полученные результаты на всю генеральную совокупность. В этом и заключается выборочный метод.

Часть генеральной совокупности, с которой работает исследователь (выборка) либо отобрана самим исследователем (искусственная выборка), либо представляет собой сохранившуюся ее часть (естественная выборка): сохранившиеся фрагменты некогда существовав­шей более или менее полной совокупности данных. Так, многие актовые материалы, документы текущего делопроизводства и отчетности представляют остатки в прошлом обширных и систематических массивов данных. Следует также учитывать, что при систематическом сборе тех или иных сведений отдельные показатели могли учитываться лишь частично (именно частично, а не выборочно). Например, при составлении «Экономических примечаний» к Генеральному межеванию второй половины XVIII в., которое охватило большую часть территории страны, ряд показателей (количество населения, площадь земельных угодий и др.) учитывался повсеместно, а некоторые важные данные (о величине барской запашки, размерах оброка) в силу целого ряда причин были собраны лишь частично. Многие сведения вообще собирались только частично. Это, прежде всего, относится к тем из них, которые не являлись нормативными и сбором которых занимались различные местные органы власти, научные и общественные организации, а также частные лица.

Теоретической основой выборочного метода является закон больших чисел. В соответствии с этим законом, при ограниченном рассеивании признака в генеральной совокупности и достаточно большой выборке с вероятностью, близкой к полной достоверности, выборочная средняя может быть сколь угодно близка к генеральной средней. Таким образом, средняя арифметическая, рассчитанная по выборке, может рассматриваться как показатель, характеризующий генеральную совокупность в целом.

Не всякая выборка может быть использована для характеристики генеральной совокупности, а только репрезентативная выборка, т.е. такая выборка, которая правильно отражает свойства генеральной совокупности. Можно выделить три основные области применения выборочного метода в исторических исследованиях:

1. Проведение всякого рода обследований, опираясь на исторические данные, с целью изучения различных явлений и процессов современности в их связи с событиями прошлого. Хотя, подобная деятельность более характерна для социологов, представляется, что конкретно-социологические обследования с опорой на исторические данные может быть крайне плодотворным.

2. Историки нередко имеют дело с сохранившимися данными ранее проведенных собственно выборочных обследований. Такие обследования широко применялись с конца XIX в.

3. В распоряжении историков имеется значительное число разнообразных первичных сплошных массовых данных, полная обработка которых весьма затруднительна даже при применении современных вычислительных средств. При изучении их может быть применен выборочный метод. Такие материалы имеются по различным периодам истории, но особенно много их по истории XIX—XX вв.

Выборочный отбор может быть случайным, механическим, типическими и серийным.

Случайным является такой отбор, при котором все элементы генеральной совокупности имеют равную возможность быть отобранными. Другими словами, для каждого элемента генеральной совокупности обеспечена равная вероятность попадания в выборку.

Требование случайности отбора достигается на практике с помощью жребия или таблицы (генератора) случайных чисел.

При отборе способом жеребьевки все элементы генеральной совокупности предварительно нумеруются и номера их наносятся на карточки. После тщательной перетасовки из пачки любым способом (подряд или в любом другом порядке) выбирается нужное число карточек, соответствующее объему выборки. При этом можно либо откладывать отобранные карточки в сторону (так называемый бесповоротный отбор)либо, вытащив карточку, записать ее номер и возвратить в пачку, тем самым, давая ей возможность появиться в выборке еще раз (повторный отбор).При повторном отборе всякий раз после возвращения карточки пачка должна быть тщательно перетасована. На практике при значительной объеме выборки используют компьютер, в память которого вводятся номера элементов генеральной совокупности. Жеребьевка осуществляется при помощи генератора случайных чисел, заложенного практически в любую программу математической обработки данных.

Способ жеребьевки применяется в тех случаях, когда число элементов всей изучаемой совокупности невелико. При большом объеме генеральной совокупности осуществление случайного отбора методом жеребьевки становится сложным. Более надежным и менее трудоемким в случае большого объема обрабатываемых данных является метод использования генератора случайных чисел (с использованием компьютера).

Для очень больших совокупностей отбор с помощью таблицы случайных чисел становится трудно осуществимым, так как сложно перенумеровать всю совокупность. Здесь лучше применить механический отбор.

Механический отбор производится следующим образом. Если формируется 10%-ная выборка, т.е. из каждых десяти элементов должен быть отобран один, то вся совокупность условно разбивается на равные части по 10 элементов. Затем из первой десятки выбирается случайным образом элемент. Например, жеребьевка указала девятый номер. Отбор остальных элементов выборки полностью определяется указанной пропорцией отбора и номером первого отобранного элемента.

Механический отбор чрезвычайно широко использовался в русской и советской статистике. Большую ценность представляют обследования земских статистиков, которые наряду со сплошным подворным об­следованием крестьянских хозяйств по сокращенной «похозяйственной карточке» изучали по расширенной программе определенную часть хозяйств, отобранных механическим способом. Механический отбор использовался советскими статис­тиками для учета посевных площадей, численности скота, размеров урожая и многого другого накануне сплошной коллективизации, когда в сельском хозяйстве насчитыва­лось 25 млн. мелких крестьянских хозяйств (так называемый 10%-ный весенний опрос крестьянских хозяйств и 5%-ный осенний опрос).

Другим видом направленного отбора является типический отбор. Следует отличать типический отбор от отбора типичных объектов. Отбор типичных объектов применялся в земской статистике, а также при бюджетных обследованиях. При этом отбор «типичных селений» или «типичных хозяйств» производился по некоторым экономическим признакам, например по размерам землевладения на двор, по роду занятий жителей и т. п. Отбор такого рода не может быть основой для применения выборочного метода, так как здесь не выполнено основное его требование – случайность отбора.

При собственно типическом отборе генеральная совокупность разбивается на группы, однородные в качественном отношении, а затем уже внутри каждой груп­пы производится случайный отбор. Типический отбор организовать сложнее, чем собственно случайный, так как необходимы определенные знания о составе и свойствах генеральной совокупности, однако, он дает более точные результаты. Классическим примером типического отбора является предвыборный опрос общественного мнения. Для того, чтобы результаты отбора отразили бы настроения электората в целом, в выборку включают представителей всех этнических, профессиональных, религиозных и т.п. групп, проживающих на некоторой территории.

При серийном отборе вся совокупность разбивается на группы (серии). Затем путем случайного или механического отбора выделяют определенную часть этих серий и производят их сплошную обработку. По сути, серийный отбор представляет собой случайный или механический отбор, осуществленный для укрупненных элементов исходной совокупности.

Стандартные ошибки выборок

При экстраполяции результатов анализа выборки на всю генеральную совокупность неизбежно присутствует некоторая ошибка. Эффективность выборочного метода заключается как раз в возможности оценить и учесть эту ошибку.

Ошибки, возникающие при использовании выборочных данных для суждения о всей совокупности, показывают, насколько хорошо характеристики выборки представляют соответствующие характеристики генеральной совокупности, и называются ошибками представительности (репрезентативности). Различают ошибки представительности двоякого рода: систематические и случайные.

Систематические ошибки возникают в том случае, если не выполнены условия случайности отбора. Систематическая ошибка возникает также, когда формально отбор произведен случайным образом, но исходная совокупность не является полной и представитель­ной для решения поставленной задачи.

В рамках выборочного метода систематические ошибки как таковые не рассматриваются, но, тем не менее, необходимо помнить о возможности их появления и стремиться их исключить. С помощью выборочного метода опре­деляются величины ошибок второго рода – случайных ошибок.

Случайные ошибки возникают за счет того, что для анализа всей генеральной совокупности используется только ее часть. Иными словами, хотя выборочный метод и позволяет обоснованно судить о средней арифметической некоторого количественного признака генеральной совокупности по средней арифметической, исчисленной по выборке, это не означает, что выборочная средняя совпадает с генеральной средней. Как правило, она в той или иной мере отличается от нее.

Таким образом, величина ошибки выборки представляет собой разность между генеральной и выборочной средними. Ошибки выборки различны для каждой конкретной выборки и в принципе могут быть обобщенно охарактеризованы с помощью средней из всех таких отдельных ошибок.

Проблема репрезентативности выборки

Обратимся к проблеме репрезентативности естественной выборки. Установление репрезентативности естественных выборок сводится к выявлению того, в какой мере эти выборки являются случайными. К сожалению, здесь историк не может опираться на такие же строгие математические методы установления их представительности, которые применяются при формировании выборки из генеральной совокупности. При установлении представительности естественных выборок определяющее значение имеет историко-содержательный анализ. Выявление обстоятельств возникновения источника и его последующей судьбы может прояснить, в какой мере сохранившиеся сведения являются случайной выборкой. Но некоторые важные аспекты проверки репрезентативности естественных выборок могут основываться и на количественных методах. Так, возможно применение количественных методов проверки случайности варьирования признака в выборках. Поскольку такое варьирование имеет место в случайных выборках, постольку выявление его может помочь решить вопрос о случайности естественной выборки, а следовательно, и ее представительности.

Проиллюстрируем возможность и эффективность выявления представительности данных естественных выборок с помощью математико-статистических методов некоторыми примерами. Так, при изучении аграрного развития европейской России во второй половине XVIII — первой половине XIX вв. важнейшим моментом является выяснение обеспеченности барщинного крестьянства пашенными угодьями. Сведения о наделе пашни у барщинных крестьян в середине XIX в. имеются по всем уездам. Для конца же XVIII в. такие сведения, содержащиеся в «Полных экономических примечаниях», относятся лишь к 18 уездам Центрально-Черноземного района и 13 уездам нечерноземной полосы. Выяснить, насколько данные указанных уездов отражают обеспеченность барщинных крестьян пашней в рассматриваемых районах, можно путем определения по имеющимся данным возможных предельных границ (доверительных интервалов), в которых могла колебаться действительная средняя обеспеченность крестьян пашней в каждом из районов. Однако чтобы получить интервальную оценку среднего значения признака для всей гене­ральной совокупности, необходимо проверить случайность имеющихся естественных выборок. Она подтверждается следующими моментами.

Во-первых, сведения «Полных экономических примечаний» являются частью общего сплошного описания всех имений названных районов, т.е. генеральной совокупности. История сохранности материалов лишь по 31 уезду показывает чисто случайный характер «формирования» этой выборки. Все элементы генеральной совокупности имели равную возможность попасть в эту выборку.

Во-вторых, «естественная выборка» данных о наделах крестьян равномерно охватывает генеральную совокупность, т.е. имеются сведения по нескольким уездам почти всех губерний, входящих в Центрально-Черноземный и Центрально-Нечерноземный районы.

В-третьих, для определения правильности отражения в выборочных данных основных свойств генеральной совокупности проверялось, насколько различия между отдельными показателями выборки являлись случайными. Для этого использовался критерий знаков (см. Табл. 2). Итоги проверки по Центрально-промышленному району показывают, что различия между отдельными показателями выборки в большей степени являются случайными. Все указанное свидетельствует о том, что сохранившиеся выборки являются случайными, т.е. представительными для выявления размеров надела крестьян в каждом из районов в целом. Сравнение наделов конца XVIII в. (а их размеры могли варьироваться в определенном интервале) с наделами середины XIX в. позволило выявить важные моменты в состоянии хозяйства барщинных крестьян.

Вариация значений признака является случайной, если число плюсов не выходит за пределы критических границ

Таблица 2. Проверка случайности выборки методом «критерия знаков»

С конца XVIII до середины XIX в. размеры надела пашни у барщинных крестьян обоих районов существенно сократились и равнялись минимальным их размерам, т.е. 2, 0—2, 5 дес. на душу. В середине XIX в. во многих губерниях нечерноземной полосы и в некоторых черноземных губерниях имелась значительная прослойка малоземельных крестьян. Большинству таких крестьян надел не давал даже необходимых им средств к существованию. «Резкое сокращение крестьянских наделов к концу крепостнической эпохи свидетельствовало об отсутствии сколько-нибудь широких возможностей для успешного развития крестьянского хозяйства на основе феодально-крепостнических отношений, поскольку условием такого развития является наделение крестьян землей в размерах, допускающих расширение крестьянского хозяйства и повышение его уровня»[1].

Соблюдение исследователем требований выборочного метода при формировании выборки из данных генеральной совокупности и проверка представительности используемых естественных выборок — важнейший источниковедческий этап, который обеспечивает создание фундамента из точных и бесспорных фактов, необходимых для анализа любых явлений и процессов.

Применение выборочного метода дает эффективные исследовательские результаты при оперировании большими объемами массовых исторических источников, сплошная обработка которых затруднительна. Серия выборок позволяет получить репрезентативные данные для характеристики всей совокупности изучаемых объектов.

Ярким примером успешного решения важной исследовательской задачи на основе выборочного метода является изучение социальной структуры советского рабочего класса по данным профессиональной переписи 1918 г. Первичные материалы профессиональной переписи 1918 г. составляют около 1 млн. личных карточек рабочих, в которых содержатся десятки различных демографических, социально-экономических и других характеристик рабочего класса, в том числе связанные с внутриклассовой дифференциацией рабочих (стаж, преемственность фабрично-заводского труда, связь с землей, источники пополнения рабочего класса и др.). Очевидно, что работать с таким массивом можно было лишь на основе выборочного метода.

Профессиональная перепись, проведенная Центральным Статистическим Управлением (ЦСУ) осенью — зимой 1918 г., охватывала 31 губернию, на территорию которых в то время распространялась Советская власть, и включала полностью или частично 8 из 14 экономико-географических районов: Центрально-промышленный; Центрально-земледельческий, Средневолжский, Нижневолжский, Приуральский, Северный, Приозерный, Западный[2]. Из каждого района методом направленного отбора выбиралась типическая единица — губерния, рабочие которой и представляли в выборке рабочих всего района. Это не математический, а чисто содержательный способ, когда единицы извлекаются из типического района с помощью определенной системы доводов, что обеспечивает большую репрезентативность выборке. Основой для выбора губерний явился анализ конкретно-исторической специфики развития рабочего класса отдельных губерний района, соотношение общих, характерных для рабочего класса района, черт и специфики по губерниям. Итогом конкретно-исторического анализа условий и особенностей формирования и развития промышленного пролетариата различных районов России был выбор губерний, представляющих эти районы. Например, материалы Ярославской губернии явились основой для характеристики рабочего класса развитого промышленного района, ибо в ней представлено 17 из 22-х существовавших тогда групп производств фабрично-заводской промышленности, причем преобладает профессиональная группа текстильщиков, что было характерно для промышленного района. Материалы Воронежской губернии были признаны характерными для изучения рабочего класса сельскохозяйственного Центрально-земледельческого района.

На следующем этапе методом случайного механического отбора формировались выборки по губерниям. Сочетание направленного отбора губерний из экономических районов и механической выборки анкет из этих губерний явилось наиболее эффективным методом выборочной обработки профессиональной переписи 1918 г. На этом этапе исследования необходимо было решить вопрос о доле механическо­го отбора из материалов отдельных губерний.

Учитывая специфику задачи — необходимость анализа большого числа признаков, раскрывающих внутреннюю структуру рабочего класса, — проводилось специальное экспериментальное исследование, позволяющее решить задачу об объеме выборки применительно к различным районам страны с учетом конкретно-исторической специфики структуры рабочего класса. Для определения необходимой доли отбора, обеспечивающей достаточно точную оценку признаков, в рамках экспериментального исследования было решено сделать несколько выборок различного объема.

По Ярославской губернии были сформированы 10, 5 и 1%-ные выборки[3]. Исходя из анализа эмпирических распределений признаков в выборках разного объема, определялся оптимальный вариант, обеспечивающий представительность анализируемых групп. Методика механической выборки применена была в данном случае не к однородному массиву генеральной совокупности, а к очень сложному, так как рабочий класс в переписи был распределен по мно­гочисленным группам различных производств. Таким образом, встала задача проверить, как при одинаковой доле отбора в выборке представлены все группы совокупности производств. Итоги этой работы частично отражены в табл. 3.

Таблица 3. Распределение рабочих по группам производств по переписи 1918 г. в Ярославской губернии (% от общего числа рабочих)

Из таблицы видно, что все три выборки рисуют примерно одинаковую картину распределения рабочих по отраслям производства. Доказательством этого является пересечение доверительных интервалов для средних значений. Значения интервалов одной выборки включают значения интервалов других выборок. Доверительные интервалы меньшей выбор­ки (1%-ной) вообще включают целиком доверительные интервалы более точной, т. е. более крупной выборки (10 и 5%-ной). Пересечение доверительных интервалов по всем или по подавляющему большинству групп производства свидетельствует о репрезентативности выборок не только в целом по губернии, но и по каждой группе производств. Кроме того, на основе сопоставления выборочных средних показателей по различным признакам (распределение по стажу, группам производств, профессиональным группам, возрасту) с опубликованными среднегубернскими значениями было сделано заключение о достаточном объеме выборок для отдельных губерний. Так, было установлено, что для губерний со слабым развитием промышленности и преобладанием в ее структуре нескольких отраслей оптимальной является выборка в 400—500 единиц. Для промышленно развитых губерний представительной является выборка в 4—5% от общего числа рабочих.

В итоге общий объем анкет, которые необходимо было обработать, составил 11 000 личных карточек рабочих, т. е. 1 % их общего числа.

Изучение на этой основе социальной структуры рабочего класса России по отдельным районам страны показало органическое единство, близость различных прослоек между собой по основным экономическим, психологическим и политическим признакам, единство общих закономерностей формирования и развития рабочего класса.

[1] См. подробнее: Ковальченко И.Д. Русское крепостное крестьянство в первой пол. XIX века. – М, 1967. – С. 273-274.

[2] См. подробнее: Дробижев В. 3., Соколов А. К.., Устинов В. А. Рабочий класс Советской России в первый год диктатуры пролетариата. – М., 1975.

[3] См.: Соколов А. К. Методика выборочной обработки первичных материалов профессиональной переписи 1918 г. — История СССР. - 1971. - № 4.