1. 引言
如何科学合理地评价高等教育质量发展水平一直是国际研究的热点。早在1998年,美国开发了全美学生学习性投入(NSSE)用于评价学生发展和高等教育质量[1]。在经过试验和审核后,于2000年正式推广使用。最初,NSSE评估了积极合作学习、师生互动质量、学生面临的学习挑战、教学经验的丰富度和校园环境的支持。然而,出现了解释困难的现象。因此,2013年,NSSE更新了调查指标,包括学业挑战、学习互动、教师经验和校园环境等4个主题,每个主题有相应的评价指标[2]。同样,2016年,英国政府发布了《知识经济的成功:教学卓越、社会流动和学生选择》,首次提出了“教学卓越框架”(TEF)的国家高等教育教学质量评估体系[3]。该体系包括评估框架、证据来源、测评方法、评估过程和实施结果等五个方面,涉及一级和二级指标。例如,评估框架包括维度、标准、证据、陈述和结论等一级和二级指标[4]。综合而言,国外主流评估体系关注国家总体教育状况和水平,较少考虑地区高等教育评价问题。因此,许多研究者通过不同的评价方法对高等教育进行了多维度的评估。大体上分为两类,第一类为主观评价方法。例如,周平红等通过结构方程法,从基础设施建设、教学科研应用、教育管理信息化等五个方面,评估了高等教育的信息化水平[5]。田云章以家长满意度为视角,运用模糊综合评价法,聚焦办学条件、校园建设和科研水平等九个指标,从主观的角度评价了高等教育的质量水平[6]。第二类为客观评价方法,张琳通过熵值法,关注教育规模和质量等四个维度,选择了校均招生数、教育经费等13个相关指标,对河南省高等教育进行了客观的综合评价[7]。潘兴侠等以规模、投入、产出为基准,采用熵权法和灰色综合评价法,关注经费投入、人才产出等六个一级指标,从客观的角度评价了省域高等教育[8]。张海英等利用因子分析法和数据包络分析法,以高等教育投入和产出为核心,选取了17个指标,全面评价了我国区域高等教育的效率发展水平[9]。这些研究方法既包括客观的量化分析,也融入了主观的评估因素,为深入理解高等教育提供了多角度的视野。
因此,本文通过参照前人的优秀研究成果和咨询有关专家学者,对大数据背景下的评价指标进行创新,从背景规模、资源投入、实践过程、产出效益四个方面构建我国高等教育高质量发展的评价指标体系,同时基于因子分析法,构建综合评价模型,对广东省高等教育发展水平进行评价。
2. 评价指标体系的构建
2.1. 大数据背景下评价指标的革新与建立
在大数据时代下的高等教育领域,数据的来源与采集可以通过多种方式实现。在大数据时代和高等教育领域,数据的来源与采集方式主要包括系统日志采集法、网络数据检索法、社交媒体采集法等[10]。首先,高校通常拥有学生信息管理系统、教务管理系统和人事管理系统等,这些系统记录了学生的个人信息、学籍情况、课程成绩、教师信息等。通过学校内部系统进行采集和整合,可以了解一定时期内学生与教职工的状态以及教学资源与硬件设备的使用、管理、折损率等情况。其次,利用在线学习平台,如由中国高校联合开设的在线教育平台中国大学MOOC,它包括工程、人文、经济、管理等多个领域的高等教育课程。学生在此完成在线课程学习、提交作业任务和参与讨论话题,平台则可以记录学生的学习活动、互动行为和表现数据[11]。最后,高等教育机构也可以从外部数据源获取数据,例如学生的社交媒体活动,即在教育相关的讨论论坛上发布问题和回答、分享学习资源等,可以用于了解教育社群的动态和观点,这些数据可以提供更全面的学生画像和背景信息。
因此,在数据获取上除了通过教育统计年鉴等传统方法外,还可以利用大数据技术获取评价数据并革新评价指标:在资源投入方面,基于学生的活动数据和反馈数据分析学生的社交行为、校内活动,新增校园环境、学生活动指标,以了解学生对校园文化建设的评价和反馈从而评估学校的校园文化建设水平;在产出效益方面,通过大数据分析学生的个人信息、学习成绩、社会活动等数据,新增就业率、薪资水平指标,了解学生的竞争力水平,从而评估学校的教育教学质量。
2.2. 评价指标体系的建立
Table 1. Evaluation indicator system
表1. 评价指标体系
一级指标 |
二级指标 |
三级指标 |
背景规模 |
学生规模 |
在校研究生占比 |
教学设施 |
图书馆藏书数目 |
资源投入 |
校园文化建设 |
校园环境 |
学生满意度 |
科研水平 |
高等教育经费 |
重大项目数 |
科研平台数目 |
教职工力量 |
教职工生比 |
实践过程 |
国际化程度 |
来华留学生 |
学科质量程度 |
重点专业开设数 |
产出效益 |
学生竞争力水平 |
就业率 |
薪资水平 |
人才产出数 |
全日制学生数 |
我们认为高等教育高质量发展水平是衡量一个高等教育背景规模、资源投入、实践过程、产出效益相结合的统一体,遵循目的性、客观性、科学性、简洁性和可操作性原则,参考前人学者的研究成果,本文从反映高等教育高质量发展水平的四个方面入手,尝试构建高等教育高质量发展评价指标体系,如表1所示:1) 背景规模。反映高等教育机构在研究型教育和教育资源建设方面的发展水平,用在校研究生占比(
) (包含硕士研究生与博士研究生)、图书馆藏书数目(
)具体指标表示。2) 资源投入。全面地反映高等教育机构在校园文化建设、科研实力和教职工队伍建设三个方面的投入和发展水平,用校园环境(
)、学生满意度(
)、高等教育经费(
)、重大项目数(
) (包含国家自然科学基金、国家社科基金重点和重大项目)、科研平台数目(
) (省级以上科研实验室及中心)、教职工生比(
) (本部在编教职工数与全日制在校生之比)具体指标表示。3) 实践过程。反映高等教育机构在国际交流与合作、学科研究与发展方面的水平和能力,用来华留学生(
)、重点专业开设数(
) (包含国家特色、国家重点、双一流学科专业)具体指标表示。4) 产出效益。反映高等教育机构培养学生的竞争力水平和社会人才贡献度,用就业率(
)、薪资水平(
)、全日制学生数(
)具体指标表示。
3. 实证研究
3.1. 数据来源
Figure 1. Campus environment and life satisfaction
图1. 校园环境与生活满意度
Figure 2. Employment rate
图2. 就业率
数据主要来自于2022年各高校官方网站、2022年《广东教育统计年鉴》、2022年《中国教育经费统计年鉴》,其中指标校园环境(
)、学生满意度(
)、就业率(
)、薪资水平(
)通过Python的requests库从百度贴吧、阳光高考网等网站进行爬虫,运用对数据的比较、分类、统计等清洗处理手段,包括满意度、认可度等描述性评价抽取出有用的信息和特征获取。部分数据存在缺失,则用2021年数据替代。如图1、图2所示。
3.2. 数据预处理
反映高等教育高质量发展水平的各项指标都有不同的量纲,应首先对评价指标进行无量纲化处理。评价指标的无量纲化处理实质是将评价指标的原始值转化为评价值的过程。这里采用的无量纲化办法如下:
其中,
为无量纲处理后的评价分数,
为第
个地区第
项指标的原始数值,
为第
项指标的最大值,
为第
项指标的最小值。
3.3. 研究方法
考虑到要研究不同指标间的内部依赖关系以及要探测观测数据的基本结构,我们拟采用因子分析法来建立高等教育发展水平综合评价模型。因子分析是一种多变量统计分析方法,旨在将一组变量(称为观测变量)分解成一组较少的未观测的潜在变量(称为因子)和随机误差。它通过发现变量之间的共同变异性,将多个变量归纳为较少的潜在因子,以便更好地理解数据的结构和关系[12]。
假设我们有
个观测变量(
),它们可以用以下线性模型来表示:
其中,
表示未观测到的潜在因子;
是因子载荷,表示观测变量与因子之间的关系;
表示观测变量的特殊因子,也就是不能被因子解释的特定个体差异,通常假设
之间相互独立,并且与特殊因子
无关。
因子分析是一个多步骤的统计方法,用于探索变量之间的内在结构和潜在因素。一般步骤:确定是否适合因子分析、选择因子旋转方法、确定保留的因子数与方差贡献度、建立因子分析模型。
3.4. 综合评价模型的应用
Table 2. Variance contribution table
表2. 方差贡献度表
|
Comp.1 |
Comp.2 |
Comp.3 |
Standard Deviation |
2.5180 |
1.4823 |
1.2744 |
Proportion of Variance |
0.4877 |
0.1690 |
0.1249 |
Cumulative Proportion |
0.4877 |
0.6567 |
0.7817 |
首先,进行信度与效度检验确定是否适合因子分析。由于因子分析要求变量间具有较强的相关性,利用SPSS 22.0统计软件对观测数据进行计算,KMO值为0.653,显著性小于0.05,克隆巴赫系数为0.847,说明该数据通过信效度检验,适用于做因子分析。
其次,我们采用因子旋转方法来提取主因子。基于特征值大于1的原则,运用主成分法成功提取出3个主因子,其累计方差贡献率为78.17%。这表明,使用这3个共同因子可以有效地表达与解释高等教育发展状况,占据了大约80%的原始信息量。表2中展示了3个主因子对应的特征值及方差贡献率。观察可得,第一主因子的方差贡献率最高,为48.77%,是最为重要的影响因子;其次是第二主因子,其方差贡献率为16.9%,属于次要的影响因子;第三主因子的方差贡献率为12.49%,在影响因子中相对较末要(见表2)。
再次,进行因子旋转,主因子与原有变量指标之间的关联程度通过因子载荷值表示。因子载荷值的大小反映了该因子包含相应原变量指标的信息量多少。为了使主因子的结构更为简单,以便更好地解释因子,我们使用了最大方差正交旋转对主因子的因子载荷矩阵进行了旋转。通过进行6次旋转,我们得到了3个主因子的正交旋转因子载荷矩阵。在这个矩阵中,第一主因子与在校研究生占比、图书馆藏书数目、高等教育经费、重大项目数、科研平台数目、来华留学、重点专业开设数、就业率上的载荷系数较大,分别为0.708、0.772、0.868、0.886、0.886、0.649、0.869、0.629。因此,我们将其命名为发展规模与质量因子。第二因子在校园环境、学生满意度、薪资水平上的载荷较大,分别为0.912、0.954、0.688,因此我们将其命名为建设成就因子。第三因子在师教职生比、全日制学生数上的载荷系数较大,分别为0.861、0.717,因此我们将其命名为师资发展与产出因子。
最后,建立了因子分析模型。首先,使用SPSS 22.0统计软件直接计算得出了3个主因子的得分系数矩阵。接着,基于各主因子的得分系数,我们建立了因子得分模型,通过将标准化数据值代入该模型,成功求得了在各公共因子上的得分值。为了综合评估各高校的表现,根据各主成分的方差贡献率占三个主成分总方差贡献率的比重,将其作为权重进行加权汇总。这样,得到了每个高校的综合得分。这一综合得分考虑了各主因子的重要性,并以权衡的方式综合反映了高校的整体表现,即:
各高校综合得分及排名如表3所示。
Table 3. Comprehensive score ranking table
表3. 综合得分排名表
|
Comp.1 |
Comp.2 |
Comp.3 |
PC |
rank |
中山大学 |
8.48780 |
−1.00602 |
−0.1274 |
5.0613 |
1 |
华南理工大学 |
3.21636 |
−0.15769 |
1.3838 |
2.1798 |
2 |
深圳大学 |
1.44681 |
1.97844 |
−1.5381 |
1.1276 |
3 |
华南师范大学 |
0.64505 |
−0.19637 |
−0.1856 |
0.3315 |
6 |
南方科技大学 |
0.02037 |
4.08558 |
0.1406 |
0.9616 |
4 |
广东工业大学 |
−0.28466 |
−1.97984 |
−0.3934 |
−0.6858 |
13 |
广州大学 |
−0.49447 |
−0.44478 |
−0.5261 |
−0.4878 |
10 |
华南农业大学 |
0.58592 |
−0.06317 |
−1.6629 |
0.1070 |
7 |
南方医科大学 |
0.98815 |
−0.34903 |
1.9015 |
0.8190 |
5 |
佛山科学技术学院 |
−2.64734 |
−0.27228 |
0.5511 |
−1.6364 |
17 |
广东海洋大学 |
−1.86219 |
−0.80196 |
−1.4507 |
−1.5607 |
16 |
广州医科大学 |
−1.86689 |
0.27380 |
3.4344 |
−0.5992 |
12 |
续表
广东外语外贸大学 |
−0.58438 |
0.77065 |
−0.5560 |
−0.2724 |
8 |
广东技术师范大学 |
−2.24202 |
−2.87822 |
−0.6738 |
−2.1554 |
18 |
广州中医药大学 |
−0.70028 |
−0.80204 |
0.6268 |
−0.5278 |
11 |
汕头大学 |
−1.23194 |
1.92122 |
−0.3442 |
−0.3848 |
9 |
广东财经大学 |
−1.61446 |
−0.89265 |
−0.1404 |
−1.2332 |
15 |
东莞理工学院 |
−1.86183 |
0.81436 |
−0.4394 |
−1.0442 |
14 |
为了更好地体现各省域间的高等教育发展水平的差异,采用Q型聚类法对各高校的高等教育发展水平综合评价值进行聚类分析,计算变量之间的相似性,采用ward距离计算公式最终划分为三类,结果见图3与表4。
Figure 3. Cluster analysis chart
图3. 聚类分析图
Table 4. Analysis of cluster results
表4. 聚类结果分析
等级 |
高校名称 |
1 |
中山大学 |
2 |
华南理工大学、深圳大学、南方科技大学、南方医科大学 |
3 |
华南师范大学、广东工业大学、广州大学、华南农业大学、佛山科学技术学院、广东海洋大学、广州医科大学、广东外语外贸大学、广东技术师范大学、广州中医药大学、汕头大学、广东财经大学、东莞理工学院 |
4. 评价及分析
通过因子分析,我们得到了高等教育发展水平的定量综合评价结果,以第一主成分为横轴,第二主成分为纵轴,绘制各高校得分成分图,如图4所示。
Figure 4. Score component diagram
图4. 得分成分图
首先,在反映高等教育综合发展的第一主因子
是衡量高等院校发展规模与质量,贡献度为48.77%,因为这类数据的权重最大,所以对高等院校综合排名的影响也是最大的,按照高质量发展理念,可以认为高等院校的发展规模与质量水平能大体反映高校之间的发展差异。在这组数据当中,前5名分别为中山大学、华南理工大学、深圳大学、南方医科大学、华南师范大学,可以看出中山大学的得分遥遥领先于其他高校,这也就是说以
、
、
、
、
、
、
、
为主的综合发展而言,中山大学的规模与质量发展水平远高于其他高校。得分最低的5个高校分别为东莞理工学院、广东海洋大学、广东技术师范大学、广州医科大学、佛山科学技术学院。它们大多处于广东省的地级市,高等教育发展相对落后,基础建设与规模较为薄弱,例如在高等教育经费上,东莞理工学院、广东海洋大学、广东技术师范大学、广州医科大学、佛山科学技术学院的总数之和仅为中山大学的38.43%。
其次,在反映高等教育综合发展的第二主因子
是衡量高等院校建设成就水平,校园环境、学生满意度、薪资水平指标主要是通过大数据方式获取,对比传统方式获取包括调查问卷、实地考察等不同,大数据方式是通过社交媒体、校园网络平台等收集信息,更能代表学生在校园生活的满意程度,贡献度为16.90%。在这组数据中,得分最高前5名分别为南方科技大学、深圳大学、汕头大学、广东外语外贸大学、东莞理工大学。前两名高校位于深圳市,是我国对外开放交流的经济、文化重心,是高等教育资源密集和丰富的地区。例如,在校园环境满意度上,深圳大学的得分比广东技术师范大学高出40%,位列省内高校第一。得分最低的5个高校分别为广州中医药大学、广东财经大学、广东技术师范大学、广东工业大学、广东海洋大学,在学生满意度指标上,上述5所高校平均得分比省内高校平均得分低10%。它们都是应用研究型大学,重点主要培养研究实用型人才,学生需要掌握的知识和技能非常多,而且往往具有较高的难度,而通常面临较大的学习压力,导致学生在生活上感觉更加疲惫和焦虑,从而影响他们的校园生活满意度。
再次,在反映高等教育综合发展的第三主因子
是衡量高等院校发展师资与产出水平,贡献度为12.49%,可以看出得分排在前5名分别为:中山大学、华南理工大学、深圳大学、南方科技大学、南方医科大学,表明上述高校在人力资源上投入较为充足,能够较好地满足高校的科研教学与人才培养的任务,有利于高等教育高质量发展。得分排名最低的5名分别为:广东技术师范大学、佛山科学技术学院、广东海洋大学、广东财经大学、东莞理工学院,表明上述高校在人力资源上投入不足,例如广州医科大学的教职工与学生之比为1:6,即一位教职工仅需要指导或服务六位在校大学生,而广东技术师范大学是其4倍,位列广东省高校倒数第一。
最终,对于反映高等教育发展水平的综合因子,除了排在前七名的中山大学(得分5.0613)、华南理工大学(得分2.1798)、深圳大学(得分1.1276)、南方科技大学(得分0.9616)、南方医科大学(得分0.8190)、华南师范大学(得分0.3315)、华南农业大学(得分0.1070),其他高校的得分均小于0。例如,汕头大学得分为−0.3848,东莞理工学院得分为−1.0442。这表明这些高校的高质量发展规模与水平低于全省平均水平,同时也揭示了广东省地级市高等教育发展存在不协调和不均衡的情况。通过进一步分析发现,综合得分排名前五的高校全部位于广东省经济高度发达的地区,即广州市与深圳市。这些地区政府对高等教育的经费投入、专任教师数、人才培养数总计占全省的70%以上。特别是深圳市的高等院校几乎都在高质量发展水平排名上位于全省前列,并在各个因子上都取得了较高的得分。与此相反,排名后五位的高校为东莞理工学院(东莞市)、广东财经大学、广东海洋大学(湛江市)、佛山科学技术学院(佛山市)、广东海洋大学,大部分位于广东省的中西部。这些地区的高等教育经济投入相对较低,人才相对匮乏,高等教育发展规模与基础也较为薄弱,因此在各因子上的得分较低,处于相对劣势地位,与综合得分排名靠前的高校相比,发展差距较大。
5. 结论与启示
通过建立高等教育发展水平的综合评价模型,我们量化地揭示了广东省高等教育发展的三个显著特征:
1) 省内地市间高等教育发展不均衡:我们发现广东省各地市之间存在高等教育发展水平的差异,总体上表现为中部沿海地区较高,而西部以及偏远地区相对较低,这反映了高等教育发展与整体经济水平的基本一致。
2) 同市内高校发展不均衡:我们观察到同一城市内的高校之间存在发展不均衡的情况。
3) 主要影响因素:我们确定了高等教育发展水平的主要影响因素,包括基础规模、科研项目及平台、人力资源以及财力投入。
这些特征为我们提供了对该地区高等教育现状的深刻认识,并从中获得了启示:
一是加强地区间各层面高等教育发展的均衡性政策支持。首先,政府层面可以通过制定相关政策和措施,鼓励在偏远地区或者经济相对滞后的地区建设高校,提供相应的资金拨款和政策倾斜,以缩小地区间的高等教育发展差距,支持当地高校的基础建设和人才培养,提升其教学和研究水平。其次,社会层面鼓励企业与高校合作,促进产学研结合,积极支持企业与高校合作开展科研项目,提供实习和实践机会,加强实际技能培训,以满足社会对高素质人才的需求。再次,高校层面可以通过内部资源的合理配置优化学科布局,强化研究和教学力量,提升整体发展水平,以缩小内部高校之间的发展差距,通过引进高水平的教师和研究人员培养本土教师,同时提升教学和科研水平,为学生提供更高质量的教育资源。最后,学生层面在选择高校和专业时应根据个人兴趣和职业规划,结合学校的实际情况作出合适的选择,以确保获得良好的教育资源,还应当积极参与课外活动、实习实践等,提升自身实际能力,增强就业竞争力。
二是加强各高校之间的合作与交流。首先,建立高校间合作机制。鼓励同市内高校之间建立联合研究项目,共享研究设施和资源,促进合作共赢;开展双向人才交流,鼓励教师和研究人员在不同高校之间进行讲学、合作研究等活动;鼓励不同学科领域的高校之间开展交叉学科研究,促进学科间的融合与发展,开设跨学科的研究生课程或项目吸引来自不同高校的学生参与培养具有跨学科视野的人才;鼓励高校领导层之间进行定期交流会议,分享经验、解决问题,促进共同发展,建立高校领导间的联络机制,及时沟通交流,共同研究解决同市内高校发展不协调、不均衡问题。其次,建设共享教育资源平台。创建一个同市内高校共享的教育资源平台,共建共享教学资源、科研设施等,让各高校能够共享优质资源,提升教学和科研水平;通过信息技术手段建立在线课程资源库,让学生可以跨校选修一些特色课程,扩大学生的学科选择范围。最后,建立绩效评价机制。建立公平、透明的高校绩效评价体系,将高校的教学、科研、社会服务等方面的表现纳入评价范围,激励各高校提升自身水平,根据评价结果对表现优秀的高校提供相应的奖励和支持,对于发展滞后的高校提供帮助和引导。
基金项目
“以促进‘十四五’期间广东教育高质量发展为导向的评价指标体系研究及应用”(项目编号:2021JKZG014)。