Рекомендации по проведению статистического исследования

Статистический анализ является важной частью статистического исследования. Анализ позволяет оценить вероятность наступления того или иного события, а исследование раскрывает смысл процесса и помогает принять решение. Школьников необходимо учить и тому, и другому, но необходимо понимать, что статистический анализ сам по себе может дать результаты, оторванные от реальности, и создать у школьников ложное представление о ценности статистического метода. Шутка про "среднюю температуру по больнице" - результат того, что расчет конкретных медицинских параметров был, по-видимому, вырван из контекста соответствующего статистического исследования.

Схематически, разница между статистическим анализом и статистическим исследованием представлена в следующей таблице.

Сравнительная таблица

Существуют три фундаментальные причины, по которым нельзя приравнивать анализ ко всему исследованию.

А. Проблема «Мусор на входе — мусор на выходе»

Качество результатов анализа в значительной части зависит от качества первичных данных. Если на этапе планирования исследования была допущена ошибка (например, выборка была смещенной или вопросы в анкете были наводящими), то даже самый совершенный статистический анализ даст ложные результаты.

Пример: Вы идеально рассчитали среднюю зарплату в стране, но опрашивали только людей в бизнес-центрах Москвы. Анализ верен, исследование — провалено.

Б. Контекст и целеполагание

Статистический анализ не знает «зачем» он проводится. Цель ставится на этапе дизайна исследования. Без четкой гипотезы анализ превращается в «игру в цифирь» (выражение Ленина) — поиск случайных закономерностей, которые не имеют смысла в реальности.

Пример: можно найти корреляцию между количеством съеденного мороженого и числом утопленников. Математически связь есть, но исследователь должен понимать, что истинная причина — лето и жара.

В. Интерпретация и принятие решений

Цифры сами по себе не являются решением. Статистический анализ может показать, что рассчитанный для определенного массива данных коэффициент P < 0.05, но только исследование в целом дает ответ, стоит ли внедрять новый препарат или менять стратегию маркетинга. 

Резюме
Статистический анализ — это «кухня», где ингредиенты (данные) превращаются в блюдо (результат) с помощью инструментов (математической статистики). Статистическое исследование — это весь «ресторанный бизнес»: от выбора поставщика продуктов и разработки меню до подачи блюда гостю и получения прибыли.

Если вы ограничитесь только анализом, вы рискуете получить математически точный, но абсолютно бесполезный или ложный результат, так как проигнорируете качество данных и контекст их возникновения.
 

Статистический анализ бывает весьма разнообразным, но общая его последовательность почти всегда одинакова. Мы называем эту последовательность ППДАВ, то есть ПРОБЛЕМА – ПОКАЗАТЕЛИ – ДАННЫЕ – АНАЛИЗ – ВЫВОДЫ.

Например, вы собираетесь исследовать, насколько школьники нравится меню в школьной столовой. Для этого необходимо:

1. обозначить ПРОБЛЕМУ, которую необходимо решить (требуются улучшения в работе школьной столовой), и сформулировать статистическую гипотезу, которую вы будете доказывать или опровергать в ходе вашего конкретного исследования (не все школьники удовлетворены качеством блюд в школьной столовой);
2. продумать, как можно измерить степень удовлетворенности школьников питанием в школьной столовой и разработать конкретный ПОКАЗАТЕЛЬ, с помощью которого вы собираетесь это сделать (например, предложить шкалу удовлетворенности школьников меню и построить на ее основе обобщающий показатель, например, средний рейтинг);
3. выбрать метод сбора первичных ДАННЫХ (например, провести опрос школьников в столовой), написать программу, подготовить инструментарий, решить организационные вопросы и провести исследование;
4. провести статистический АНАЛИЗ, то есть обработать полученные первичные данные, свести их, рассчитать необходимые производные показатели;
5. сформулировать ВЫВОДЫ для обсуждения в классе. 

Школьникам рекомендуется использовать метод ППДАВ для проведения статистических исследований в рамках проектной деятельности.  

Наиболее простым и интуитивно понятным видом статистического анализа является частотный анализ. В ходе частотного анализа исследователь выясняет, какое значение исследуемого признака является наиболее распространенным, встречается чаще всего. Соответственно, единицы совокупности, обладающие этим значением исследуемого признака, в значительной степени определяют «лицо» совокупности, хотя, конечно, в ней встречаются и единицы с другими параметрами. Этот метод используется, в частности, при проведении опросов общественного мнения или выборов. Этот же подход лежит в основе работы искусственного интеллекта (ИИ). Для ответа на заданный вопрос ИИ сканирует интернет, определяет наиболее распространённую точку зрения и выдает ее как правильную. 

В проекте «КТОМЫ» школьникам предлагается нарисовать портрет типичных респондентов – мальчика и девочки. Для этого необходимо:

1. выбрать признаки, которые, по мнению участвующих в проекте, являются наиболее существенными для школьников (например, рост, цвет волос и цвет глаз, наличие питомцев, любимый вид спорта и блюдо);
2. основываясь на фактических данных, рассчитать абсолютные частоты и выбрать максимальные (модальные) значения по каждому из отобранных показателей, то есть, определить те значения признаков, которые встречаются в ответах чаще всего (это необходимо сделать отдельно для мальчиков и для девочек);
3. составить цифровые портреты типичного КТОМА и типичной КТОМЫ – носителей модальных значений отобранных признаков и визуализировать результат (нарисовать их с помощью карандашей или фломастеров либо в цифровом формате с помощью соответствующего программного обеспечения);
4. сравнить полученные результаты с результатами, полученными ИИ.   

Результаты этой работы нужно использовать для знакомства учащихся с принципами работы ИИ и ограничениями, которые связаны с возможностью использования этих результатов в повседневной жизни. 

Важной целью анализа является выявление зависимостей между явлениями, определение факторов, влияющих на результат.

Далеко не всегда эти зависимости могут быть выявлены однозначно, на основании известных правил или формул. Часто на результат воздействуют много факторов одновременно, причем воздействие это разнонаправленно. Чаще, решения о наличии или об отсутствии связи между явлениями принимаются на основании опыта, то есть на основании выявленных статистических зависимостей между явлениями, описанных с помощью данных. Поэтому, как правило, констатация взаимосвязи имеет вероятностный характер.

Статистическая наука разработала много методов, которые позволяют достаточно точно определить наличие или отсутствие таких зависимостей, а также количественного определения силы этих зависимостей. Однако, знакомство с этими методами находятся за пределами современной школьной программы. Тем не менее, некоторые простые зависимости могут быть обнаружены с помощью следующих простейших методов:

• сопоставления динамики показателей описательной статистики по нескольким признакам;
• при помощи некоторых видов визуализации статистических данных (например, построение и рассмотрение точечных диаграмм);
• расчет простейших показателей, таких как коэффициентов парной корреляции, с помощью встроенных функций стандартных прикладных программ). 

С помощью данных, получаемых с помощью обучающей среды «КТОМЫ», можно получить первичный опыт установления как простейших взаимосвязей, которые с большой очевидностью вытекают из физических особенностей развития детей (например, между возрастом школьников и средней длинной их прыжка), так и более сложных, основанных на гендерных особенностях (разница в предпочтениях мальчиков и девочек), а также зависимостей, возникающих в результате социализации школьников. 

Анализ рядов динамики является одним из основных видов статистического анализа, потому что закономерности, выявляемые в ходе этого вида анализа, затем используются для прогнозирования и планирования в самых разных областях. Прогнозирование и планирование на основе выявленных закономерностей широко применяются в экономике, финансах, социологии, демографии, изучении популяций диких животных, птиц и биологических ресурсов океанов, а также во многих отраслях науки. 

Для того, чтобы сделать точный прогноз, необходимо выявить закономерности, которые являются устойчивыми и складывались за длинные периоды времени. Практическая трудность заключается в том, что проект «КТОМЫ» в России реализуется всего несколько лет, то есть длинные динамические ряды для выявления закономерностей пока не накоплены. Со временем такие ряды, конечно, появятся и тогда можно будет использовать их для полноценного анализа. Однако, уже сегодня существуют возможность анализировать изменение некоторых предпочтений школьников на основании результата их опроса, проведенного за один год. Иными словами, можно сравнивать ответы сегодняшних семиклассников с сегодняшними девятиклассниками или учениками одиннадцатого класса. Например, можно исследовать следующие вопросы:

• Меняется ли с возрастом увлечение компьютерными играми (через показатели количества новых игр или количества пройденных игр);
• Меняется ли с возрастом отношение к выбору будущей профессии;
• Меняется ли с возрастом выбор тем для обсуждения со сверстниками.  

Строго говоря, это не будут динамические сопоставления, потому что результаты будут относится к разным совокупностям респондентов, тем не менее, если принять, что различия между этими совокупностями не существенны, полученные результаты можно трактовать как следствие изменения предпочтений школьников, связанный с их взрослением.         

Жизнь в Сибири или в Мурманске значительно отличается от жизни в Ростове-на-Дону или в Москве, хотя бы по климатическим условиям. Но, в некоторых случаях, важно статистически оценить эту разницу и использовать ее при решении задач статистического исследования. Теория межрегиональных сопоставлений достаточно разработана в статистике, но, к сожалению, о них практически ничего не говорится в современной школьной программе, в которой не нашлось места даже для рассмотрения элементарных индексов.

Образовательная среда «КТОМЫ» позволяет проводить определенный межрегиональный анализ, потому что в ней участвуют школьники из многих регионов. Учителя получают обезличенные первичные данные для своих учеников, но, по запросу, им могут быть представлены данные и по другим регионам.

Мало того, «КТОМЫ» обеспечивает результаты, по многим параметрам сопоставимые с результатами аналогичных проектов в США, Великобритании, Канаде, Австралии, Новой Зеландии и других стран. Итоговые данные по этим странам доступны в сети. Обратитесь к нам, и мы подскажем, где можно найти эти результаты и провести международные сопоставления. 

Образовательная среда «КТОМЫ» – это инструмент, позволяющий генерировать большие объемы первичных данных для школьников. С его помощью можно практически полностью закрыть потребность в дидактических материалах по статистике для 7-9 классов.

Однако, для старших школьников, а также учеников 8-9 классов, решивших углубленно изучать статистику, этого может оказаться недостаточно. Поэтому, Школьный статистический портал НИУ ВШЭ предлагает школьникам и учителям набор исследовательских проектов, позволяющих глубже погрузиться в мир статистики. Тематика разнообразная – от формирования потребительской корзины школьника и организации выборов в школе до изучения байесовского типа рассуждений. Школьники могут самостоятельно формулировать темы своих проектов, используя для организации исследования принципы, изученными ими при использовании образовательной среды КТОМЫ и других проектов, размещенных на Школьном статистическом портале НИУ ВШЭ.