第三节 效度与信度
《“国家认同”教育变迁研究》章节:第三节 效度与信度,去读读网友提供全文无弹窗免费在线阅读。!
一、效度
核证令人可以更加信赖科学研究的结果，为发展出理论和在现实中造成实际影响提供基础。效度是研究结果的质素，令我们接受其为真实的，是关于真实的人、现象、事件、经验和行为的。如果一个测量工具能测量出使用者声称它所测量的，那便是有效的测量工具。如果从现有文本中得出的推论，经得起独立存在的证据、新的观察、其他理论或诠释的考验，或可以影响行为的话，那内容分析便是有效的[31]。
如上所述，本书研究工具以自行研发为主，同时借鉴相关研究成果和已有研究量表。内容分析类目表拟定之后，交由专门从事台湾课程理论研究专家、社会科教育研究专家、社会科教科书编写者等审阅，为本研究工具进行检视与修正。本研究邀请了台湾师范大学公民教育与活动领导系资深社会科教科书研发专家邓毓浩副教授，台湾师范大学课程与教学研究所社会科教育研究专家刘美慧教授，原台北教育大学校长、社会科研究专家欧用生教授，台湾教育研究院资深社会科教科书研究专家秦葆琦副研究员，康轩版社会科教科书编写者、小学社会科教师章五奇博士，作为研究工具内容效度检核专家[32]。专家背景资料如表3.2所示。
表3.2 专家背景资料一览表（按姓氏笔画排序）
续表
专家对研究者设计的内容分析类目表进行逐条考量，提出“适合”“修改后适合”或“不适合”的评判。根据多数专家的意见，对“修改后适合”次类目，要求专家给出修改意见；删除“不适合”次类目；另外，补充了一些新的次类目（详见表3.3）。
表3.3 专家建议与修改考量整理
续表
续表
续表
续表
续表
依据上述五位专家、学者的建议和补充修改意见，研究者对于次类目的名称、说明、次序等皆有调整与修改。经过修改后的内容分析类目表如表3.4所示。
表3.4 内容分析类目表说明与示例
续表
续表
二、信度
对于过去现象的实证研究，无可避免地要假设数据是对所有使用者都有着同一意义。对内容分析来说，这意味着文本数据与研究结果的阅读，必须可以在别的地方重复，显示研究者对他们所讨论的事有共识。信度因此是一个指定团体的成员在阅读、诠释、反应或使用既有文本或数据的一致性的程度。任何一个方法都好，研究者都需要以测量信度来示范他们数据的可信任程度，如果信度测试的结果具说服力，研究者可以继续分析数据，否则数据成疑，很难证明分析有用[33]。
内容分析的信度问题包括了稳定性、再现性与正确性[34]。王文科认为，交互评分者或观察者的信度宜达0.85-0.90[35]。本研究采用的信度计算方式为评分者信度。内容分析法的评分者信度检验是测度不同评分者是否能将同一内容归入相同的类目中。不同评分员所作归类的一致性越高，内容分析的信度也越高；一致性越低，内容分析的信度也越低。评分者信度检验的计算公式和步骤如下[36]：
（1）求相互同意值：
相互比较同意值：Pi=2M/（N1+N2）
M：彼此同意的项目数
N1：第一评分员分析之单元主题数；
N2：第二评分员分析之单元主题数
（2）求平均相互同意值（P）
P=∑Pi/N
N：相互比较的次数
∑Pi全体评分员间相互比较同意值之和
（3）求评分者信度（R）
R=nP/1+〔（n-1）P〕
n：评分者的人数
以下说明本研究内容分析信度检验的步骤[37]：
1.确定类目分析表后，研究者于2016年6月底7月初，邀请四位评分员，进行评分者信度检验。在研究人员的选取上，考虑如下几点：
（1）对社会科教育有所了解，在研究者作出说明后，能够领会研究意图，明白主类目和次类目之意涵；
（2）必须有整段较长的空闲时间，至少两个小时；
（3）因仅作文本分析，所以在理论水平及教学经验上没有太高要求；
（4）耐心细致，具有较高的语文阅读理解能力；
（5）主修与本研究相关专业的研究生或已毕业硕士。
2.四位评分员基本情况如下：
表3.5 评分者基本情况一览表
3.研究者随机挑选了1975年版、1993年版、康轩2005年版和2015年版教科书各两册，共计八册；每册各随机选择10个分析单元，共计80个分析单元作为信度检验的抽样文本。评分原则如下：
（1）在一个分析单元中，如果重复出现“类目”中的内容，该分析单元的“类目”只划计一次；
（2）同一“类目”内容如果在不同分析单元出现，每一分析单元划计一次；
（3）划计依“类目”中的解释说明进行，但不限于说明中的列举项目；
（4）仅以教科书正文作为分析文本，“图”或“表”中之文字及所附说明文字，“动动脑”，“研究与讨论”，“学习加油站”，“小词典”“社会小学堂”等补充栏目之文字不作为分析对象。
4.研究者将如下“台湾社会科中国化暨台湾化主题类目表”（表3.5）和随机抽中的教科书文本分发给四位评分员阅读，解释外延较广、意义较模糊的概念，说明以上归类原则及划计方法，回答评分员的问题，请评分员就抽中的分析单元依照类目表归类与划计。
表3.6 台湾社会科“中国化”暨“台湾化”主题类目表
续表
续表
续表
5.四位评分员就评分对象，依类目表归类，并根据上述公式计算评分者信度。
本研究之评分者两两间相互同意值如表3.6所示，可得出评分者间平均相互同意值为0.76，由相互同意值得出评分者信度为0.93。
表3.7 评分员相互同意值表
* * *
[1] 下文简称“课标”或“课纲”。在台湾实行九年一贯制之前，中小学教科书编制依据课程标准，自九年一贯制起，课程标准改为课程纲要。
[2] 欧用生.“国民小学”社会科教学研究[M].台北.师大书苑，1989：15.
[3] 台“教育部普通教育司”.“国民学校”课程标准[M].台北：台湾商务印书馆，1953：183.
[4] 台“教育部普通教育司”.“国民学校”课程标准[M].台北：台湾商务印书馆，1953：181-184.
[5] 台“教育部普通教育司”.“国民学校”课程标准[M].台北：台湾商务印书馆，1953：131-132.
[6] 台“教育部国民教育司”.“国民学校”课程标准[M].台北：“教育部国民教育司”编印，1962：367.
[7] 台“教育部国民教育司”.“国民学校”课程标准[M].台北：“教育部国民教育司”编印，1962：261.
[8] 台“教育部国民教育司”.“国民学校”课程标准[M].台北：“教育部国民教育司”编印，1962：272.
[9] 台“教育部国民教育司”.“国民学校”课程标准[M].台北：“教育部国民教育司”编印，1962：261-270.
[10] 这一课程标准实际实行至1975年。
[11] 台“教育部国民教育司”.“国民小学”暂行课程标准[M].台北：正中书局，1968：351.
[12] 台“教育部国民教育司”.“国民小学”暂行课程标准[M].台北：正中书局，1968：161.
[13] 台“教育部国民教育司”.“国民小学”暂行课程标准[M].台北：正中书局，1968：162-172.
[14] 台“教育部国民教育司”.“国民小学”课程标准[M].台北：正中书局，1976：384-385.
[15] 台“教育部国民教育司”.“国民小学”课程标准[M].台北：正中书局，1976：153.
[16] 台“教育部国民教育司”.“国民小学”课程标准[M].台北：正中书局，1976：406-407.
[17] 直至60年代，台湾由于受日本50年殖民统治，仍残留“日本化”现象。
[18] 台“教育部”.“国民小学”课程标准[M].台北：台捷国际文化实业股份有限公司，1993：346.
[19] 台“教育部”.“国民中小学”九年一贯课程纲要[M].台北：“教育部”编印，2010：1.
[20] 黄嘉雄.“国民中小学”九年一贯课程纲要该增订课程内容要素吗？[J].教育研究集刊，2007（4）：36-37.
[21] 台湾教育学界一般按照出版社名称命名社会科教科书版本。
[22] 参见附录二：访谈记录2.1。
[23] 黄光雄、简茂发.教育研究法[M].台北：师大书苑有限公司，2003：236.
[24] 转引自黄光雄、简茂发.教育研究法[M].台北：师大书苑有限公司，2003：236.
[25] 黄光雄、简茂发.教育研究法[M].台北：师大书苑有限公司，2003：237.
[26] 后文也称为“国土（领土）”维度、“人口（民族）”维度、“文化（语言）”“主权（政府）”维度。
[27] 参见：陈盈宏.解严后“国小”社会科教科书中“国族”概念之转变[D].台北：台湾师范大学，2006：71.
[28] 陈盈宏.解严后“国小”社会科教科书中“国族”概念之转变[D].台北：台湾师范大学，2006：89-91.
[29] 胡育仁.“国小”社会科教科书本土化之分析研究[D].台北：台湾师范大学，2000：86.
[30] 林文贤.“国小”社会科教科书中的“台湾主体意识”变迁之研究[D].台北：台北教育大学，2008：84-85.
[31] [美]Klaus Krippendorff.内容分析：方法学入门[M].曹永强译，台北：五南图书出版股份有限公司，2014：365.
[32] 本研究内容分析效度检验步骤参考：卓佩颖.“国中”社会领域教科书阶级意识形态之内容分析[D].台北：台湾师范大学，2010；林文贤.“国小”社会科教科书中的“台湾主体意识”变迁之研究[D].台北：台北教育大学，2008.
[33] [美]Klaus Krippendorff.内容分析：方法学入门[M].曹永强译，台北：五南图书出版股份有限公司，2014：296.
[34] 稳定性系指内容分析的结果在时间上是恒久不变的；再现性又称为“编码者间信度”，意指不同的编码者对相同文件做编码时，会产生相同的“内容分类”；“正确性”意指文件分类符合某一标准或规范。参见：Robert P.Weber.内容分析法导论[M].林义男、陈淳文译，台北：巨流图书公司出版，1989：21-23.
[35] 王文科、王智弘.教育研究法（增订十六版）[M].台北：五南图书出版股份有限公司，2015：442.
[36] 卓佩颖.“国中”社会领域教科书阶级意识形态之内容分析[D].台北：台湾师范大学，2010：102.
[37] 本研究信度检验步骤参考：陈盈宏.解严后“国小”社会科教科书中“国族”概念之转变[D].台北：台湾师范大学，2006；卓佩颖.“国中”社会领域教科书阶级意识形态之内容分析[D].台北：台湾师范大学，2010；林文贤.“国小”社会科教科书中的“台湾主体意识”变迁之研究[D].台北：台北教育大学，2008.