SAM негізгі зерттеулер (валидтау мен сынамалы тестілеулер)

Тестілеуге қатысушыларды бағалау әдістемесін құрастыру келесі кезеңдерден құрастырылды:

• Тестілеуге қатысушыларды бағалау үлгісін таңдау
• Тестілеудің нәтижесін ұсынуға жалпы шәкілін жасау үшін негізгі іріктеуді таңдау
• Тестілеудің нәтижелерін ұсыну үшін жалпы шәкілін құрастыру
• Деңгейлі бағаларды (benchmarks) анықтау және жетістіктердің жеке сатыларын талдау
• Келесі тестілеулердің нәтижелерін тегітеу (алғашқы анықталған шәкілге барлық нәтижелерді орналастыру)
• Тестілеу нәтижелерін ұсыну.

–  Тестілеуге қатысушыларды бағалау әдістемесі ұсынылды.

–  Алдағы тестілеулердің барлық нәтижелері белгіленетін әр пән бойынша шәкіл (негізгі іріктеуді тестілеу нәтижесінде анықталған) құрастырылды.

–  Деңгейлі бағалар (benchmarks) әдістемесі ұсынылды. Соның нәтижесінде оқушылардың жалпы саны, жетістіктердің 4 сатысына сай, 4 топқа бөлінеді. Белгіленген деңгейлі бағалардың валидтілігі дәлелденді.

–  Түрлі тестілеудің нәтижелерін, негізгі іріктеудің аясында қалыптастырылған жалпы шәкілге орналастыруға мүмкіндік беретін, тегістеу әдістемесі ұсынылды. Осы тәртіптің валидтілігі дәлелденді.

–  Түрлі деңгейлер бойынша көрнекі  түрде орналастыруға мүмкіндік беретін және тестілеу нәтижелерін талдауды жеңілдету мақсаты бар, нәтижелерді ұсыну нысандары құрастырылды.

РФ түрлі аумақтарында жүргізілген апробацияның мәліметтерінің негізінде IRT Раш бір параметрлік үлгісі мен тестілеудің классикалық теориясының аясында тест тапсырмалары мен жалпы тесттің психометриялық сипаттамаларын талдау

Математика және орыс тілі бойынша SAM тесттерін оқушылардың оқу құзыреттілігін өлшеуде сапалы, сенімді құралы деп тануға болады:

– тесттерді мағыналы бір өлшемдік деп тануға болады;

– түгелге жуық тапсырмалар жақсы психометриялық сипаттамаларды көрсетіп, өлшеу үлгісіне сай келеді;

– тесттердің сенімділігі жоғары және жетістіктер сатыларына қарай оқушыларды 4 топқа (сатыға) юөлуге мүмкіндік береді.

SAM валидтілігін дәлелдеу

SAM тесттерін валидтау COTANголландиялық жүйемен келісіліп жүргізілді. Зерттеулер бірнеше бағыттар бойынша жүргізілді, соның ішінде тесттің мазмұны мен құрылымы бойынша валидтау да бар. Құрылым бойынша валидтілігі екі құрамдас бөліктен құрастырылды – тесттердің өлшеу қабілеттерін дәлелдеу мен тест тестілеу пәні мен мақсатына қаншалықты сай болуын дәлелдеу.

Құрылымның валидтілігін дәлелдеу үшін тестілеу нәтижелері мен тестіленуші қабілеттің психологиялық үлгісінің арасындағы байланыс туралы гипотезалар құрастырылып тексерілді. Оған қоса конвергентті валидтілік пен критериалдық валидтілігіне (ағымдағы және болжамдыны қосатын) зерттеу жүргізіліді.

SAM тесттерін валидтау әдістемесі әзірленді.

SAM валидтілігі дәлелденді.

Новогород, Омбы, Мәскеу облыстар мен Мордовия Республикасының 4 сынып оқушыларына тілдік және математикалық сауаттылық бойынша тестілеу жүргізу. Іріктеу көлемі: математика бойынша 4406 оқушы және орыс тілі бойынша  4385 оқушы.

Сыналушылардың түрлі топтарына қатысты тапсырмалардың қызмет етуін талдау (DIF талдау)

SAM-ға сәйкес тестілеуге қатысушлардың түрлі топтарын анықтауға, сыналушының жынысы, мекендеу аумағы (Ресей Федерациясының түрлі субъектілері), мекендеу елі (тесттерді РФ мен ТМД елдерінде қолданған жағдайда), тестілеу тілі (тесттерді басқа тілдерге аударған жағдайда), тестілеу түрі (бланктік немесе компьютерлік), негіз болып табылады.

SAM тесттерінің тапсымаларында гендерлік бойынша DIF анықтау үшін келесі кезеңдерден құралған тәртіп қолданды:

1) екі топ үшін жалпы шәкілді анықтау;

2) DIF бар болуы күдігі бар, «әр топ үшін жеке сұрыптау t-тесті» және Mantel-Haenszel (MH) әдісін қолданылатын тапсырмаларды анықтау;

3) 2 қадамның нәтижесінің негізі мен тәжірибелік мағынасы деңгейін (қатысушылардың түрлі топтарына минималды деңгей 0.5 логитке тең) ескере отырып, DIF суреттейтін тапсырмаларды анықтау;

4) тест деңгейінде DIF маңыздылығын анықтау: қатысушылардың екі тобына қатысты тесттің сипаттамалық ауытқымаларын салыстыру.

Математика және орыс тілі бойынша SAM тесттерінің тапсырмалары әртүрлі жынысты өкілдеріне қатысты айтарлықтай қызмет етуді көрсетпейді

Оқушылар бастауыш мектептің оқыту мазмұнын игеру үдерісін зерттеу

Зерттеу Л.С. Выготский мен оның долын қуушылар (П.Я.Гальперин, В.В.Давыдов, Д.Б.Эльконин және т.б.) әзірлеген мәдени даму теориясының негізінде өткізілді. Оқыту мазмұнын игеру үдерісінің теориясы мен оның екі қырын қозғайтын гипотезалар қалыптастырылып эмпирикалық тексеруден өтті.

Біріншісі осы үдерістің ішкі логикасын қозғайды, яғни, педагогикалық мақсаттардың таксономиясының суреттелуін сілтейтін, оның кезеңдері мен нәтижелерінің қажетті реттілігін. Екінші қыры, екі теориялық құрылымы анықтайтын, игерудің уақыттық сипаттамасын қозғайды. Олардың бірі – «алғашқы даму аймағы» «Л.С.Выготский) түсінігі. Оған жүгінсек, оқу мазмұнынң нақты игеру оқыту үдерісінің щеңберіне сыйыспайды. Екіншісі – оқыту сақалану үдерісіне қалай үйлесетінін анықтайтын мәдени даму (Д.Б.Эльконин) дәуірлеріне бөлінуі.

Ресейдің әртүрлі аумақтарынан түрлі жастардағы (4-10 сынып) оқушылар тестілеу объектілері болды.

Игеру үдерісі оқыту үдерісінің шектерінен айтарлықтай алыс екені туралы гипотеза дәлелденді. Нақты айтқанда, бастауыш мектеп бмазмұнын меңгеру негізгі мектептің соңында ғана жасалатыны анықталды.

Тестілеудің нәтижелерін бастапқылық талдау

Облыстың 4 сыныптағы барлық оқушылар тестіленуден өткен Новгород облысының мәліметтерінің негізінде бастапқылық талдау жүргізілді.

Қатысушылардың жалпы саны – 4500 астам адам, 200 сынып.

Нәтиженің қатысушының жынысынан, оқу мекемесінің түрінен, мекендеу жерінен, оқыту бағдарламасынан тәуелділігі зерттелді.

SAM нәтижесі мектепте қолданатын оқыту бағдарламасынан айтарлықтай ерекше.

SAM  нәтижелері мектеп түрінен статистикалық тұрғыдан айтарлықтай тәуелді: гимназия оқушылары тестті жалпы білім беру ұйымдарының оқушыларына қарағанда жақсы орындайды.

SAM нәтижелері қатысушының жынысына айтарлықтай тәуелді: қыз балалар ұл балаға қарағанда тестті жақсы орындайды.

Орыс тілі бойынша SAM нәтижелері мекендеу жерінен тәуелсіз. Математика бойынша тестілеудің нәтижелері (тест ұпайы мен жетістіктер сатылары) мен мекендеу жерінің түрінде байланыс бар: қала оқушылары қала үлгісіндегі ауылдардың оқушыларына қарағанда тестті жақсырақ орындайды, ал қала үлгісіндегі ауылдардың оқушылары ауыл оқушыларына қарағанда жақсырақ.

РФ клиникалық апробация

Красноярск қаласында орыс тілі және математика бойынша 4 сыныптың 159 оқушысына тестілеу жүргізу.

Жеке тапсырмалардың статистикалық көрсеткіштерінің негізінде қиындық пен дискриминативтілік көрсеткіштерін қанағаттандыратын тапсырмалар анықталды.

SAM тесттерінің жаңа нұсқаларына РФ жалпы масштабты апробация жүргізу

Математикалық және тілдік сауаттылық бойынша тестілеу жүргізу. Әр пән үшін 2 жаңа нұсқадан қосылды. Тестілеуге Калуга облысының 1978 4 сынып оқушылары қатысты.

Математикалық және тілдік сауаттылық бойынша жаңа нұсқаларды апробациялау көрсетті:

Тесттің жаңа нұсқаларының ішкі үйлесімділігі өте жақсы.

Тапсырмалардың психометриялық сипаттамалары қанағаттанарлық.

Жаңа нұсқалардың статистикалық көрсеткіштері апробцияланған нұсқаларға ұқсас.

анықталған тапсырмалардан келесі жалпы масштабты апробация жүргізу үшін екі жаңа нұсқа құрастырылды.

Сапа белгісіне сәйкес болмаған тапсырмалар тест тапсырмаларын құрастырушыларға түзетуге жіберілді.

Қазақстанда жалпы масштабты апробация жүргізу 

Туған тілдері орыс тілі және қазақ тілі болып келетін 1289 4 сыннып оқушысына тестілеу жүргізу

Қазақ тіліне аударылып бейімделген SAM құралының тест тапсырмалары дұрыс қызмет етеді және әділ нәтижелерді көрсетеді.

Тәжік тілінде оқытылатын 120 4 сынып оқушыларына тестілеу жүргізу.

Жеке тапсырмалардың статистикалық көрсеткіштерінің негізінде сапа белгілерін қанағаттандыратын тапсырмалар анықталды.

Анықталған тапсырмалардан келесі жалпы масштабты апробация жүргізу үшін екі жаңа нұсқа құрастырылды.

Қырғызстанда клиникалық апробация жүргізу

Қырғыз тілінде оқытылатын 204 4 сынып оқушысына тестілеу жүргізілді

Қырғызстанда келесі жалпы масштабты апробация жүргізу үшін математикалық сауаттылық бойынша екі жаңа нұсқа құрастырылды.

Қырғызстанда жалпы масштабты апробация жүргізу

Қырғызстан (Бішкек қ., Шу облысы) мен Нарын – биік таулы аймақта (Нарын қ., Нарын және Ат-Башы аудандары) математикалық сауаттылық бойынша 802 оқушыға тестілеу жүргізілді.

Қырғыз тіліне аударылып бейімделген SAM құралының тест тапсырмалары дұрыс қызмет етеді және әділ нәтижелерді көрсетеді

Тәжікстанда жалпы масштабты апробация жүргізу

Математикалық сауаттылық бойынша Тәжікстанның 812 оқушысына тестілеу жүргізілді.

Тәжік тіліне аударылып бейімделген SAM құралының тест тапсырмалары дұрыс қызмет етеді және әділ нәтижелерді көрсетеді.

Мұғалімдермен сауалнама жүргізу

4 сынып оқушылары 2012 жылғы мамыр айында тестілеуден өткен мұғалімдермен сауалнама жүргізу

Бастауыш мектептегі оқытудың нәтижелеріне байланысты оқыту ортасын анықтау

Түрлі деңгейлерде – мектеп және сынып – оқыту ортасының сипаттамалары қарастырылды.

Арнайы құрастырылған сауалнаманың негізінде 4 сынып оқушылары 2012 жылдың мамыр айында тестілеуден өткен мұғалімдерді (4 сыныптың 220 мұғалімі) сұрау.

Жүргізу барысында 10 мұғаліммен интервью өткізілген қосымша сапалы зерттеу жүргізілді.

Шағын жинақты сыныптарында бастауыш білімнің нәтижелері қалыпты жинақты сыныптардан кем емес. Ауылдарда орналасқан сыныптарды салыстыратын болсақ, орыс тілі мен математика бойынша шағын жинақты сыныптардың нәтижелері үлкен жинақты сыныптарға қарағанда жақсырақ.

Оқушылардың табыстылығының елеулі бөлігі мұғалімнің нұсқауы мен тәсіліне бағынышты. Мұғалімнің конструктивизм деңгейі биік болса, оның оқушыларының нәтижелері соғұрлым жоғары болады.

SAM тестілеуінің компьютерлік түрлерін жалпы масштабты апробациялау

Новосибирск пен Чукотка АА 850 оқушысына математикалық және тілдік сауаттылығына компьютерлік тестілеу жүргізу.

SAM тестінің компьютерлік және бланктік түрлерін салыстыру үшін тестілеу жүргізу

Калуга қ. 4 сыныптың 400 оқушыларына екі түрде математикалық сауаттылық бойынша тестілеу жүргізу: компьютерлік және бланктік.

SAM тесттерінің компьютерлік және бланктік түрлерін салыстыру

Зерттеу мақсаты: SAM-нің бланктік және компьютерлік түрлерінің қызмет етуін салыстыру (зерттеу математика бойынша тест үшін жүргізілді).

Зерттеу міндеттері:

– SAM-нің компьютерлік және бланктік түрлерінің сайма-сай болуын және тестілеу нәтижелері түрінен тәуелсіз екенін болар/болмауын анықтау;

– SAM-нің компьютерлік нұсқасының валидтілігін дәлелдеу

Сыналушылардың бір тобы екі рет – компьютерлік және бланктік түрде – тестіленген арнайы эксперимент жасалды.

Зерттеу тапсырмалар деңгейінде (екі түрдегі тапсырмалардың сипаттамаларын салыстыру), тесттердің деңгейінде (сыналушылардың шамаларын салыстырып, олардың екі түрде реттелуі) жүргізілді. Оған қоса оқушыларға үшін арнайы сауалнама құрастырылды.

Тапсырмалардың көбі тестілеудің екі түрінде де ұқсас сипаттамаларды көрсетеді. 4 тапсырма әртүрлі қызмет еткеннен соң оларды жою ұсынылды.

Осы төрт тапсырманы жойғаннан соң екі тесттің сипаттамалары ұқсас болды. 

Оқушылардың тест ұпайлары мен сатылар бойынша таралуы ұқсас.

Компьютерді қолдану дағдаларының әсері SAM – нің компьютерлік нұсқасының нәтижелеріне айтралықтай болмады