Бастауыш мектеп оқушыларының оқу-пәндік құзыреттіліктерін бақылау (SAM) ең ірі халықаралық ассоциациялар мен білім сапасын бағалау саласындағы жетекші халықаралық сарапшыларының деңгейінде жоғары баға мен мойындаушылыққа ие болған жалғыз ресейлік зерттеме болып табылады. Іске қосқан кезден бастап және қызмет ету барысында SAM бақылауының дамуы бойынша жобада құрамына В.А. Болотов – РБА вице-президенті (қазіргі кезде Экономиканың Жоғары Мектебінің Білім сапасын бағалау орталығының ғылыми жетекшісі), Г.С. Ковалева – РБА Білім сапасын бағалау орталығының басшысы, Энтони Орджи – Кембридждік кеңестің төрағасы, білім сапасын бағалау саласындағы сарапшы, Хенк Моландс – CITO тесттерін құрастыру голландиялық институтының халықаралық департаментінің басшысы, Уильям Бойл – Манчестер Университетінің профессоры және Қайта құру мен дамыту Дүниежүзілік Банкінің жетекші мамандары енгізілген сарапшылар кеңесінің қатысуын ескерген. Кеңес жыл бойынша бірнеше рет жиналып бақылаудың әзірлені валидтау үдерісін ұдайы сараптап тұрды. Кеңестің ұсынысымен әзірлеу жоспары сәйкесінше түзетуге ілінді.
Валидтау бойыынша зерттеулер жасағаннан соң, Сарапшы кеңес құралды тәуелсіз халықаралық сараптамадан өткізу өажеттілігі туралы шешім шығарды. Халықаралық сараптама нәтижелері 2013 жылдың қазан айында әзірлеушілердің қолына түсті. Ецензия авторларының құрамына келесі кірді:
- Говард Эверсон (Нью-орк Университетінің Білімді зерттеу орталығының психология профессоры).
- Кленси Блэерr (Нью-Йорк Университетінің Штайнхрд мәдениет, білім және адамның даму мектебінің қолданбалы психология профессоры).
- Доктор Бас Хемкер (Нидерландының Тестология ұлттық институтының аға ғылыми зерттушісі)
Сарапшылар ағылшын тілінде берілген келесі құжаттарды зертттеді:
- Құралдың техникалық нұсқаулығы (Technicalmanual)
- Тестті пайдаланушыға нұсқаулық (Usersguide)
- Математикалық сауаттылық бойынша тест ерекшелігі (Testspecification)
- Математикалық сауаттылық бойынша тест нұсқасы (Mathtestitems)
- Құралдың валидаталуы туралы зерттеулер бойынша есеп (Validitystudy)
Нақты жоба бойынша рецензияның жалпы қорытындысы авторлар жүгінген тәсілді және соның аясында әзірленген SAM құралды халықаралық деңгейдегі сарапшылар жақсы қабылдады деп белгіленеді. Барлық сарапшылар жүргізілген зерттеулердің айтарлықтай көлемін және SAM-ды практикалық қолдану аясында нақты құрал туралы түрлі мәліметтерді жинау қажеттілігін белгілейді. Сарапшылар халықаралық тәдірибеде болатындай, құралды әзірлеу барысында жүргізілген зерттеулер материалдарды жариялауды қажет ететінін атап өтті. Әрі бұл, зерттеу нәтижелері бар ғылыми мақалаларға (сондай-ақ халықаралық салыстырмалы зерттеулерде дағды болған нәтижелерін екінші рет талдауға қатысты) ғана емес, жолдама материалдар – TechnicalManual және т.б. да жариялауға қатысты.
Сарапшылар құралды масштабтауды жобалайтын зерттеулердің маңыздылығын атап өтті. SAM апробацияларының барлығы аумақтық деңгейде өткізілгеннен соң сарапшылар нәтижелерін ұлттық деңгейде біріктіру (мысалы, балалардың сатылар бойынша таралуын) туралы сұрақ қойды. Авторлардың ойынша, жобада ұсынылған аумақтық іріктеу Ресей бастауыш мектептерінің түлектерінің жалпы қосындысын көрнекі етпейді. Осыған орай ұлттық іріктеуде (TIMSS және PIRLS сәйкес) кесік зерттеу өткізу және ел масштабында әділ суретте иемдену қызығушылық танытады.
Жалпы айтқанда халықаралық сарапшылар құралдың дамуы бойынша жұмысқа жақсы баға беріп, 10000 сыналушылардан артық іріктеу негізінде алынған тесттің статистикалық көрсеткіштері тесттің психометриялық сапасын әділ бағалауға мүмкіндік туғызатынын атап өтті. Сондай-ақ, Бас Хемнер: «SAM құралына голландық рейтингтік жүйе бойынша баға беретін болсақ, оның құрылымдық валидтілігіне жоғары ұпай («good») беруші едік», – деп белгілейді.
Бірнеше жылдар бойына (2011-2013) тест құрастырушылар SAM құралының валидтілігін анықтау бойынша зерттеулер жүргізді. SAM тесттерін валидтау COTAN голландық жүйе бойынша жүргізілді. Зерттеулер бірнеше бағыт бойынша жүргізілді, соның ішінде мазмұны бойынша валидтілік мен құрылымның валидтілігі бойынша.
Құрылымның валидтілігі екі құрамдас бөлікті құрайды – тесттің өлшеу қасиеттерін дәлелдеу мен тест тестілеу мақсаты мен пәніне қаншалықты сай болғанын дәлелдеу. SAM үлгісінде анықтауға жататын негізгі құрылым болып жас ерекшелік мәнмәтінің ішіне енген оқу мазмұнын меңгеру үшдеңгейлі таксономия болып табылады. Зерттеу барысында берілген үш деңгейлі өлшемдерге теориялық түрде сай болған бір топтаманың есептері қиындық бойынша сәйкес бағынышсатыны анықтайтыны, яғни бұл құрылымының валидтілігінің пайдасына куә болатын берілген таксономияға сай функционалды генезистің логикасын суреттейтіні анықталды. Зерттеу нәтижелері оқу мазсұнын меңгерудің жас ерекшелік қозғалысын бақылауға мүмкіндік береді. Бастауыш мектептің соңында (4 сынып) оқушылардың оқу мазмұнын меңгеру бойынша екінші сатысы басымырақ болып келеді. 8 сыныптан бастап (негізгі мектепті тамамдау) 3 деңгей басымырақ болады. Бұл SAM теориялық үлгісіне қолдауды қамтамасыз етеді, яғни оның валидтілігіне куә болады.
Тесттің мазмұны бойынша тесттің валидтілігін зерттеудің негізгі әдісі – әр тапсырманың мазмұнына жеке және тест мазмұнына жалпы сарапшылық баға беру. Математика бойынша тест бастауыш мектеп бағдарламаларында ұсынылған математиканың негізгі бөлімдерінен құралады. Орыс тілі бойынша тест бастауыш мектеп бағдарламасында ұсынылған орыс тілінің грамматикасының негізгі бөлімдерінен құралады. Тест тапсырмаларын құрастыру мен апробациялау бастауыш мектеп мұғалімдері мен пән бойынша мұғалімдермен тест мазмұны бойынша кеңесіп жасалды. Қорытынды кезеңде екі тесттің мазмұнына сыртқы пән бойынша сарапшылар сарапшылық баға берді.