Чтобы обеспечить уверенность в том, что анкеты дадут ожидаемые результаты, они почти всегда должны пройти предварительные испытания. Предварительное испытание может выявить проблемы, которые возникнут у респондентов с пониманием слов или вопросов, заполнением анкеты, пониманием важности обследования и т. д. Оно также помогает исследователям узнать, сколько времени требуется респондентам для заполнения и возврата анкеты и, возможно, на проставление количества баллов или ввода сведений в базу данных.
Хорошая анкета надежна, обоснованна, не подвержена смещению и способна видеть различия между группами.
Надежность — степень, с которой анкета дает воспроизводимые устойчивые результаты при ее назначении в похожих популяциях и при схожих обстоятельствах. Цель проверки надежности — определить, какая часть вариабельности результатов должна быть отнесена к ошибке измерений, а какая — к ожидаемой вариабельности в действительных значениях показателей.
Надежность можно оценить несколькими способами. При использовании метода «тест-ретест» анкета назначается одной и той же группе по крайней мере дважды. Первый набор баллов сравнивается со вторым; анкета надежна, если между количествами баллов имеется высокая корреляция. При использовании метода «деление пополам» результаты от одной половины респондентов сравниваются с результатами от другой; как и выше, анкета надежна, если между количествами баллов имеется высокая корреляция1.
Внутренняя устойчивость — мера того, насколько похоже респонденты отвечают на родственные вопросы. Ее часто оценивают с помощью альфы Кронбаха, представляющей собой коэффициент корреляции (не меньше нуля и не больше единицы). Обычно значение альфы 0,8 и выше отражает разумную степень внутренней состоятельности, а менее 0,6 — неприемлемо низкую. Для оценки устойчивости можно также сравнивать результаты от альтернативных видов анкеты. Здесь в каждой анкете задаются одни и те же вопросы, но по-разному.
Обоснованность (иногда она называется внутренняя валидность) — степень, с которой анкета измеряет то, что предполагается измерять с ее помощью. Правильная анкета дает состоятельные результаты (т. е. является надежной), относительно свободные от систематических ошибок и погрешностей. Существует несколько типов обоснованности.
Внешняя валидность метода измерения — степень, с которой анкета при поверхностной оценке измеряет на практике то, что предполагается измерять с ее помощью. На шкале депрессии вопрос о печали имеет высокую внешнюю обоснованность, поскольку печаль — хорошо известная характеристика депрессии. Внешняя обоснованность часто важна при убеждении респондентов принимать анкету всерьез. Это наименее важный тип обоснованности, поскольку обоснованность еще необходимо устанавливать с помощью других методов.
Валидность содержания касается полноты вопросов о той области, которую должна оценить анкета. Если в анкете о функции мускулов есть вопросы о силе и выносливости, но нет вопроса об упругости, она пропускает важный раздел. Выносить суждение о степени обоснованности содержания обычно должны эксперты.