Kvalitatiivsete meetodite kehtivus. Meetodi kvaliteedi kriteeriumid: valiidsus, usaldusväärsus Kvalitatiivsete meetodite valiidsuse hindamine psühholoogias

Peale usaldusväärsuse on meetodite kvaliteedi hindamisel veel üks võtmekriteerium valiidsus. Meetodite kehtivuse küsimus lahendatakse alles pärast selle piisava usaldusväärsuse kindlakstegemist, kuna ebausaldusväärne meetod, mille kehtivust ei tea, on praktiliselt kasutu.

Tuleb märkida, et kehtivuse küsimus tundub kuni viimase ajani olevat üks raskemaid. Selle mõiste enim väljakujunenud määratlus on antud A. Anastasi raamatus: "Testi kehtivus on mõiste, mis ütleb meile, mida test mõõdab ja kui hästi see seda teeb" (1982, lk 126). Kehtivus on oma olemuselt kompleksne omadus, mis sisaldab ühelt poolt teavet selle kohta, kas tehnika sobib selle mõõtmiseks, milleks see loodi, ja teiselt poolt, milline on selle tõhusus ja tõhusus. Sel põhjusel ei ole kehtivuse määramiseks ühtset universaalset lähenemisviisi. Olenevalt sellest, millist valiidsuse aspekti uurija kaaluda soovib, kasutatakse erinevaid tõendusmeetodeid. Teisisõnu hõlmab kehtivuse mõiste selle erinevaid tüüpe, millel on oma eriline tähendus. Metoodika kehtivuse kontrollimist nimetatakse valideerimiseks.

Valiidsus oma esmases arusaamas on seotud metoodika endaga, see tähendab, et see on mõõtevahendi kehtivus. Seda tüüpi testimist nimetatakse teoreetiliseks valideerimiseks. Teises arusaamas ei viita kehtivus mitte niivõrd metoodikale, kuivõrd selle kasutamise eesmärgile. See on pragmaatiline kinnitamine.

Seega huvitab teadlast teoreetilise valideerimise käigus tehnikaga mõõdetud omadus ise. See tähendab sisuliselt seda, et psühholoogiline valideerimine ise toimub. Pragmaatilise valideerimisega jääb mõõtmisobjekti olemus (psühholoogiline omadus) silmist väljas. Põhirõhk on tõestamisel, et tehnikaga mõõdetaval “millelgi” on seos teatud praktikavaldkondadega.

Teoreetilise valideerimise läbiviimine, erinevalt pragmaatilisest valideerimisest, osutub mõnikord palju keerulisemaks. Laskumata praegu konkreetsetesse üksikasjadesse, peatugem üldiselt pragmaatilise kehtivuse kontrollimisel: valitakse mõni metoodikast sõltumatu väline kriteerium, mis määrab edukuse konkreetses tegevuses (hariduslik, erialane jne) ja koos sellega. it Diagnostilise tehnika tulemusi võrreldakse. Kui nende vahelist seost peetakse rahuldavaks, tehakse järeldus diagnostilise tehnika praktilise tõhususe ja tõhususe kohta.

Teoreetilise valiidsuse määramiseks on palju keerulisem leida sõltumatut kriteeriumi, mis jääb metoodikast väljapoole. Seetõttu oli testoloogia arendamise algfaasis, kui valiidsuse kontseptsioon alles kujunes, intuitiivne idee, et test mõõdab:

1) metoodika tunnistati kehtivaks, kuna see, mida see mõõdab, on lihtsalt "ilmne"; 2)

kehtivuse tõendamine põhines uurija kindlustundel, et tema meetod võimaldab tal „teemast aru saada“; 3)

tehnikat peeti kehtivaks (st aktsepteeriti väidet, et selline ja selline test mõõdab sellist ja sellist kvaliteeti) ainult seetõttu, et tehnika aluseks olnud teooria oli "väga hea".

Metoodika paikapidavust puudutavate alusetute väidete aktsepteerimine ei saanud kaua jätkuda. Tõeliselt teadusliku kriitika esimesed ilmingud lükkasid selle lähenemisviisi ümber: algas teaduslikult põhjendatud tõendite otsimine.

Nagu juba mainitud, tähendab tehnika teoreetilise valideerimise läbiviimine näidata, kas tehnika mõõdab tõesti täpselt seda omadust, kvaliteeti, mida see teadlase sõnul peaks mõõtma. Seega, kui näiteks kooliõpilaste vaimse arengu diagnoosimiseks töötati välja mõni test, tuleb analüüsida, kas see mõõdab tõesti seda arengut, mitte mingeid muid tunnuseid (näiteks isiksus, iseloom jne). Seega on teoreetilise valideerimise jaoks kardinaalseks probleemiks psüühiliste nähtuste ja nende näitajate vaheline seos, mille kaudu neid vaimseid nähtusi teadvustada püütakse. See näitab, et autori kavatsus ja metoodika tulemused langevad kokku.

Uue tehnika teoreetilist valideerimist pole nii keeruline läbi viia, kui antud omaduse mõõtmiseks on juba olemas tehnika, mille kehtivus on teada ja tõestatud. Korrelatsiooni olemasolu uue ja sarnase vana tehnika vahel näitab, et väljatöötatud tehnika mõõdab sama psühholoogilist kvaliteeti kui referentstehnika. Ja kui uus meetod osutub samal ajal tulemuste läbiviimisel ja töötlemisel kompaktsemaks ja ökonoomsemaks, siis on psühhodiagnostikutel võimalus kasutada vana tööriista asemel uut. Seda tehnikat kasutatakse eriti sageli diferentsiaalpsühhofüsioloogias inimese närvisüsteemi põhiomaduste diagnoosimise meetodite loomisel (vt VII peatükk).

Kuid teoreetilist paikapidavust ei tõesta mitte ainult võrdlus seotud näitajatega, vaid ka nendega, kus hüpoteesi põhjal ei tohiks olulisi seoseid olla. Seega on teoreetilise valiidsuse kontrollimiseks oluline ühelt poolt tuvastada seose aste seotud tehnikaga (konvergentne valiidsus) ja selle seose puudumine tehnikatega, millel on erinev teoreetiline alus (diskriminantne valiidsus).

Kui selline tee on võimatu, on tehnika teoreetilist valideerimist palju keerulisem läbi viia. Enamasti on see olukord, millega teadlane silmitsi seisab. Sellistel asjaoludel võimaldavad selle psühholoogilise tähenduse paljastada ainult mitmesuguse teabe järkjärguline kogumine uuritava omaduse kohta, teoreetiliste eelduste ja eksperimentaalsete andmete analüüs ning märkimisväärne kogemus tehnikaga töötamisel.

Igapäevapraktikas saab välise kriteeriumi abil, mis vastab sellele, mida see mõõdab, saada teavet, mis toetab teoreetilisi ideid selle olemuse kohta.

Oluline on meeles pidada, et kui teoreetiline kehtivus on tõestatud, muutub saadud näitajate tõlgendus selgemaks ja üheselt mõistetavamaks ning tehnika nimetus vastab selle rakendusalale.

Mis puudutab pragmaatilist valideerimist, siis see hõlmab metoodika testimist selle praktilise tõhususe, olulisuse ja kasulikkuse seisukohalt. Sellele omistatakse suurt tähtsust, eriti kui kerkib valiku küsimus. Diagnostikatehnikate väljatöötamisel ja kasutamisel on mõtet vaid siis, kui on põhjendatud eeldus, et mõõdetav kvaliteet avaldub teatud elusituatsioonides, teatud tüüpi tegevustes.

Kui pöörduda uuesti testoloogia arenguloo poole (A Anastasi, 1982; B. S. Avanesov, 1982; K. M. Gurevitš, 1970; „Üldine psühhodiagnostika“, 1987; B. M. Teplov, 1985 jne), siis võib esile tuua sellise periood (20 -30s), mil testide teaduslik sisu ja nende teoreetiline “pagas” pakkus vähem huvi. Oluline oli, et test "töötaks" ja aitaks kiiresti välja valida kõige ettevalmistatumad inimesed. Testiülesannete hindamise empiirilist kriteeriumi peeti ainsaks õigeks juhendiks teaduslike ja rakenduslike probleemide lahendamisel.

Diagnostikatehnikate kasutamine puhtalt empiirilise põhjendusega, ilma selge teoreetilise aluseta, viis sageli pseudoteaduslike järeldusteni ja põhjendamatute praktiliste soovitusteni. Võimeid ja omadusi, mida testid paljastasid, oli võimatu täpselt nimetada. B.M. Tolle perioodi teste analüüsides nimetas Teplov neid pimetestideks (1985).

Selline lähenemine testi kehtivuse probleemile oli tüüpiline kuni 50. aastate alguseni. mitte ainult USA-s, vaid ka teistes riikides. Empiiriliste valideerimismeetodite teoreetiline nõrkus ei saanud äratada kriitikat nende teadlaste poolt, kes testide väljatöötamisel kutsusid üles tuginema mitte ainult "paljale" empiiriale ja praktikale, vaid ka teoreetilisele kontseptsioonile. Praktika ilma teooriata, nagu me teame, on pime ja teooria ilma praktikata on surnud. Praegu peetakse kõige produktiivsemaks meetodite paikapidavuse teoreetilist ja pragmaatilist hindamist.

Teostada metoodika pragmaatiline valideerimine, s.o. Selle tõhususe, tõhususe ja praktilise tähtsuse hindamiseks kasutatakse tavaliselt sõltumatut välist kriteeriumi - uuritava vara igapäevaelus avaldumise näitajat. Selliseks kriteeriumiks võib olla õpitulemused (õpivõimete testid, saavutuste testid, intelligentsuse testid), tootmissaavutused (professionaalse orientatsiooni meetodite puhul), reaalse tegevuse - joonistamine, modelleerimine jne - efektiivsus. (spetsiaalsete võimete testide jaoks), subjektiivsed hinnangud (isiksusetestide jaoks).

Ameerika teadlased Tiffin ja McCormick (1968) tuvastasid pärast kehtivuse tõestamiseks kasutatud väliste kriteeriumide analüüsi neli tüüpi:

1) tulemuslikkuse kriteeriumid (nende hulka võivad kuuluda näiteks tehtud töö maht, õppeedukus, koolitusele kulunud aeg, kasvutempo

kvalifikatsioon jne);

2) subjektiivsed kriteeriumid (need hõlmavad erinevat tüüpi vastuseid, mis kajastavad inimese suhtumist millessegi või kellessegi, tema arvamust, vaateid, eelistusi; tavaliselt saadakse subjektiivsed kriteeriumid intervjuude, küsimustike, ankeetide abil);

3) füsioloogilised kriteeriumid (nende abil uuritakse keskkonna ja muude olukorramuutujate mõju inimkehale ja psüühikale; mõõdetakse pulsisagedust, vererõhku, naha elektritakistust, väsimussümptomeid jms);

4) õnnetusjuhtumite kriteeriumid (rakendatakse, kui uuringu eesmärk puudutab näiteks õnnetustele vähem vastuvõtlike isikute tööle valimise probleemi).

Väline kriteerium peab vastama kolmele põhinõudele:

see peab olema asjakohane, saastevaba ja usaldusväärne.

Asjakohasus viitab diagnostikavahendi semantilisele vastavusele sõltumatule olulisele kriteeriumile. Teisisõnu peab olema kindlustunne, et kriteerium hõlmab just neid individuaalse psüühika tunnuseid, mida mõõdetakse diagnostilise tehnikaga. Väline kriteerium ja diagnostiline tehnika peavad olema üksteisega sisemises semantilises vastavuses ning olema psühholoogiliselt kvalitatiivselt homogeensed (K.M. Gurevich, 1985). Kui näiteks testis mõõdetakse mõtlemise individuaalseid omadusi, võimet sooritada loogilisi toiminguid teatud objektide ja mõistetega, siis tuleks ka kriteeriumina otsida just nende oskuste avaldumist. Sama kehtib ka kutsetegevuse kohta. Sellel pole mitte üks, vaid mitu eesmärki ja eesmärki, millest igaüks on spetsiifiline ja seab rakendamiseks oma tingimused. See eeldab mitme kutsetegevuse kriteeriumi olemasolu. Seetõttu ei tohiks diagnostikameetodite edu võrrelda tootmise efektiivsusega üldiselt. Tuleb leida kriteerium, mis lähtuvalt tehtavate toimingute iseloomust on võrreldav metoodikaga.

Kui välise kriteeriumi osas pole teada, kas see on mõõdetava omaduse jaoks asjakohane või mitte, siis psühhodiagnostilise tehnika tulemuste võrdlemine sellega muutub praktiliselt kasutuks. See ei võimalda teha järeldusi, mis võiksid hinnata metoodika paikapidavust.

Saastumisvabaduse nõuded on tingitud sellest, et näiteks haridus- või tööedukus sõltub kahest muutujast: inimesest endast, tema individuaalsetest omadustest, mõõdetuna meetoditega, ning olukorrast, õppe- ja töötingimustest, mis võivad tekitada häireid ja "saastada" rakendatud kriteeriumi . Et seda mingil määral vältida, tuleks uurimistööks valida inimeste rühmad, kes on enam-vähem identsetes tingimustes. Võib kasutada teist meetodit. See seisneb häirete mõju korrigeerimises. See korrigeerimine on tavaliselt statistilise iseloomuga. Seega ei tohiks näiteks tootlikkust võtta absoluutarvudes, vaid seoses sarnastes tingimustes töötavate töötajate keskmise tootlikkusega.

Kui nad ütlevad, et kriteerium peab olema statistiliselt olulise usaldusväärsusega, tähendab see, et see peab peegeldama uuritava funktsiooni püsivust ja stabiilsust.

Adekvaatse ja kergesti tuvastatava kriteeriumi otsimine on väga oluline ja keeruline valideerimise ülesanne. Lääne testimises diskvalifitseeritakse paljud meetodid ainult seetõttu, et nende testimiseks ei olnud võimalik leida sobivat kriteeriumi. Näiteks on enamikul ankeetidel küsitavad kehtivusandmed, kuna on raske leida adekvaatset väliskriteeriumi, mis vastaks mõõdetule.

Metoodika kehtivuse hindamine võib olla kvantitatiivne ja kvalitatiivne.

Kvantitatiivse näitaja - valiidsuskoefitsiendi - arvutamiseks võrreldakse diagnostilise tehnika rakendamisel saadud tulemusi samade isikute kohta välise kriteeriumi abil saadud andmetega. Kasutatakse erinevat tüüpi lineaarset korrelatsiooni (Spearmani järgi, Pearsoni järgi).

Mitu ainet on valiidsuse arvutamiseks vaja? Praktika on näidanud, et alla 50 ei tohiks olla, aga kõige parem on üle 200. Tihti tekib küsimus, milline peaks olema kehtivuskoefitsiendi väärtus, et seda aktsepteeritaks pidada? Üldiselt märgitakse, et piisab, kui valiidsuskordaja on statistiliselt oluline. Validsuse koefitsienti umbes 0,20-0,30 peetakse madalaks, keskmist - 0,30-0,50 ja kõrget - üle 0,60.

Kuid nagu A. Anastasi (1982) rõhutab, on K.M. Gurevich (1970) ja teised, ei ole alati õigustatud kasutada lineaarset korrelatsiooni valiidsuskoefitsiendi arvutamiseks. See tehnika on õigustatud ainult siis, kui on tõestatud, et mõne tegevuse edukus on otseselt võrdeline diagnostilise testi edukusega. Välismaiste, eriti kutsesobivuse ja -valikuga tegelevate testoloogide positsioon taandub kõige sagedamini tingimusteta tõdemusele, et kutsele sobib paremini see, kes on testis rohkem ülesandeid täitnud. Kuid võib ka juhtuda, et tegevuses edu saavutamiseks peab teil olema testlahenduse 40% tasemel omadus. Edasisel testil õnnestumisel ei ole eriala jaoks enam mingit tähendust.Ere näide KM Gurevitši monograafiast: postiljon peab oskama lugeda, aga kas ta loeb normaalkiirusel või väga suure kiirusega - sellel pole enam ametialane tähtsus. Sellise meetodi näitajate ja välise kriteeriumi vahelise korrelatsiooni korral võib kõige adekvaatsem viis valiidsuse tuvastamiseks olla erinevuste kriteerium.

Võimalik on ka teine juhtum: kutsealal nõutavast kõrgem vara segab tööalast edu. Nii leidis F. Taylor, et kõige arenenumatel naissoost tootmistöötajatel on madal tööviljakus. See tähendab, et nende kõrge vaimne areng ei lase neil väga produktiivselt töötada. Sel juhul sobiks valiidsuskordaja arvutamiseks pigem dispersioonanalüüs või korrelatsiooniseoste arvutamine.

Nagu välismaiste testoloogide kogemus on näidanud, ei suuda ükski statistiline protseduur täielikult kajastada individuaalsete hinnangute mitmekesisust. Seetõttu kasutatakse meetodite paikapidavuse tõestamiseks sageli teist mudelit – kliinilisi hinnanguid. See pole midagi muud kui uuritava olemuse kvalitatiivne kirjeldus

omadused. Sel juhul räägime selliste tehnikate kasutamisest, mis ei tugine statistilisele töötlemisele.

Valiidsust on mitut tüüpi, mis tulenevad diagnostikatehnikate omadustest, aga ka välise kriteeriumi ajutisest staatusest.Paljudes töödes (A Anastasi, 1982; L.F. Burlatšuk, SM. Morozov, 1989; KM. Gurevitš, 1970; B. V. Kulagin, 1984; B. Cherny, 1983; "Üldine psühhodiagnostika", 1987 jne) nimetatakse kõige sagedamini järgmisi: 1.

Sisu kehtivus. Seda tehnikat kasutatakse peamiselt saavutustestides. Tavaliselt ei hõlma saavutustesti kogu materjali, mida õpilased on läbinud, vaid mõnda väikest osa sellest (3-4 küsimust). Kas võite olla kindel, et õiged vastused neile paarile küsimusele näitavad, et olete kogu materjali valdanud? Sellele peaks sisu kehtivuse test vastama. Selleks võrreldakse testi edukust õpetajate eksperthinnangutega (selle materjali põhjal). Sisu kehtivus kehtib ka kriteeriumitele viidatud testide puhul. Seda tehnikat nimetatakse mõnikord loogiliseks kehtivuseks. 2.

Samaaegne kehtivus või pidev kehtivus määratakse välise kriteeriumi alusel, mille kohaselt kogutakse teavet testitava protseduuri katsetamisega samal ajal. Teisisõnu kogutakse andmeid praeguse soorituse kohta testiperioodi jooksul, tulemuslikkuse kohta samal perioodil jne. Testi edukuse tulemused on sellega korrelatsioonis.

"Ennustav" kehtivus (teine nimi on "ennustuslik" kehtivus). Selle määrab ka üsna usaldusväärne väline kriteerium, kuid selle kohta kogutakse teavet mõni aeg pärast testi. Väliskriteeriumiks on tavaliselt inimese võime, mis väljendub mingis hinnangus selle tegevuse jaoks, milleks ta diagnostiliste testide tulemuste põhjal välja valiti. Kuigi see meetod on kõige paremini kooskõlas diagnostiliste meetodite ülesandega - ennustada tulevast edu, on seda väga raske rakendada. Prognoosi täpsus on pöördvõrdeline selliseks prognoosimiseks määratud ajaga. Mida rohkem aega pärast mõõtmist möödub, seda suurem on tegurite arv, mida tuleb tehnika prognostilise tähtsuse hindamisel arvesse võtta. Kõiki ennustust mõjutavaid tegureid on aga peaaegu võimatu arvesse võtta. 4.

Loodus- ja humanitaarteaduste paradigma psühholoogias

Kogu psühholoogia arengulugu võib iseloomustada kui kahe vastandliku lähenemise - loodus- ja humanitaarteaduste - suhet ning viimastel aastakümnetel on toimunud esimese järkjärguline nihkumine teisega. Algselt väitis Aristoteles, et hinge uurimine on loodusteadlase töö. Praegust olukorda võib iseloomustada kui katsete kriisi ehitada psühholoogiat loodusteaduste eeskujul. Eraldi psühholoogia osade olemasolu, mida ei saa seostada loodusteadusliku liiniga (psühhoanalüüs, humanistlik psühholoogia, logoteraapia), ainult süvendab kriisiseisundit.

Kuid praegu on vene psühholoogias V.I. Slobodchikova ja E.I. Isajevi sõnul on valdav orientatsioon endiselt loodusteadusele, objektiivsusele, mõõtmisele ja katsetamisele kui teaduslikkuse ideaalile. Nõukogude psühholoogia arenes välja akadeemilise, teadusliku distsipliinina. Viimastel aastatel on humanistlik psühholoogia hakanud kujunema psühholoogilise praktika raames. On teadvustatud vajadus luua eriline psühhotehniline teooria, s.t. teooria, mis toetab inimteadust ja psühholoogilist praktikat. Sisuliselt tähendab see humanistliku psühholoogia loomist alternatiivina loodusteaduslikule akadeemilisele psühholoogiale.

V.N. Surkov märgib, et psühholoogide katsed täita loodusteaduslikke standardeid teooria ja eksperimendi vastastikuse mõju vallas on viinud psühholoogias "positivistliku ülepingeni". Psühholoogide kaitsereaktsioon “positivistlike rituaalide” survele on “varjumetoodika” laialdane kasutamine (traditsioon sõnastada hüpoteesid pärast uurimistöö läbiviimist, tuletada need saadud andmetest, mitte teooriatest, valides vaid “mugavaid” empiirilisi andmeid, jne.). .

Peamised põhjused, mis takistavad psühholoogia kui loodusteaduse kujunemist, on järgmised:

o inimpäritolu vaimne olemus, mis ei võimalda käsitleda teda esmase olemuse objektina või mehhanismina;

o inimese refleksiivsus ja aktiivsus; lihtsalt inimese kontrollimise võimatus - mõistev positsioon, armastus, abi, toetus on inimese suhtes orgaanilised.

Need põhjused on sarnased humanitaarteadmiste spetsiifiliste omadustega, sest inimene toimib vaimse väärtusena, mitte ainult "uurimisobjektina". Psühholoogia peamine eesmärk on mõista teist inimest, selgitada teatud vaimset või kultuurilist nähtust ja anda tähendus. Psühholoogilise teadmise refleksiivne iseloom avaldub teadmise subjekti ja objekti vastastikuses mõjus; Psühholoogia fookus eeldab mitte lihtsalt mõistmist, vaid aktiivset dialoogi uurija ja uuritava objekti vahel.

Seega on loodusteadusliku standardi nõuete rakendamine psühholoogias piiratud. Arvukate autorite arvates tuleks isegi psühholoogiline eksperiment, rääkimata kogu psühholoogiliste teadmiste kompleksist, üles ehitada humanitaarkaanonite järgi.

Järeldus

Märkimisväärne osa arutelust psühholoogia teadusliku staatuse üle on seotud mitte niivõrd aruteluga selle üle, kas psühholoogia on teadus, vaid küsimusega, millisest (loodusteaduse või humanitaarteaduse) standardist see peaks juhinduma (ja millistele teadusliku iseloomuga kriteeriumidele see vastama peaks).

Välismaised psühholoogid kalduvad tajuma psühholoogiat rohkem humanitaarpsühholoogia raames, samas kui kodumaised psühholoogid tähtsustavad humanitaarteadmisi psühholoogias loodusteadustega võrreldes siiski vähem. Kuid viimaste aastate suundumus on endiselt psüühilise reaalsuse teadmiste humaniseerimine. Nagu paljud autorid õigustatult märgivad, peaks psühholoogiliste teadmiste omandamisel lähtuma humanitaarparadigmast, kuid vaieldamatute faktide tõestamiseks kasutatakse loodusteaduslikku paradigmat, s.t. mõlemad paradigmad psüühilise reaalsuse uurimisel on vajalikud.

Kuid enamiku psühholoogide sõnul määratakse teadustegevuse väljavaadete seisukohast teadmiste humanitariseerimise raames tõeliselt keerulised ülesanded, mis on teadusringkondadele vääriline väljakutse.

Kvalitatiivse uurimistöö kehtivuskriteeriumid.

Psühhodiagnostika tehnikate kehtivus

Peale usaldusväärsuse on meetodite kvaliteedi hindamisel veel üks võtmekriteerium valiidsus. Tehnika kehtivuse küsimus lahendatakse alles pärast selle piisava usaldusväärsuse kindlakstegemist, kuna ebausaldusväärne tehnika ei saa kehtida. Kuid kõige usaldusväärsem tehnika selle kehtivust teadmata on praktiliselt kasutu.

Tuleb märkida, et kehtivuse küsimus tundub kuni viimase ajani olevat üks raskemaid. Selle mõiste kõige kindlam määratlus on antud A. Anastasi raamatus: "Testi kehtivus on mõiste, mis ütleb meile, mida test mõõdab ja kui hästi see seda teeb."

Kehtivus on oma olemuselt kompleksne omadus, mis sisaldab ühelt poolt teavet selle kohta, kas tehnika sobib selle mõõtmiseks, milleks see loodi, ja teiselt poolt, milline on selle tõhusus, tõhusus ja praktiline kasulikkus.

Sel põhjusel ei ole kehtivuse määramiseks ühtset universaalset lähenemisviisi. Olenevalt sellest, millist valiidsuse aspekti uurija kaaluda soovib, kasutatakse erinevaid tõendusmeetodeid. Teisisõnu hõlmab kehtivuse mõiste selle erinevaid tüüpe, millel on oma eriline tähendus. Metoodika kehtivuse kontrollimist nimetatakse valideerimiseks.

Kehtivus oma esmasel arusaamal on seotud metoodika endaga, st see on mõõtevahendi kehtivus. Seda tüüpi testimist nimetatakse teoreetiliseks valideerimiseks. Teises arusaamas ei viita kehtivus mitte niivõrd metoodikale, kuivõrd selle kasutamise eesmärgile. See on pragmaatiline kinnitamine.

Kokkuvõtteks võime öelda järgmist.

Teoreetilise valideerimise käigus huvitab teadlast tehnikaga mõõdetud omadus ise. See tähendab sisuliselt seda, et psühholoogiline valideerimine ise toimub;

Pragmaatilise valideerimisega jääb mõõtmisobjekti olemus (psühholoogiline omadus) silmist väljas. Põhirõhk on tõestamisel, et tehnikaga mõõdetaval asjal on seos teatud praktikavaldkondadega.

Teoreetilise valideerimise läbiviimine, erinevalt pragmaatilisest valideerimisest, osutub mõnikord palju keerulisemaks. Laskumata praegu konkreetsetesse üksikasjadesse, peatugem üldiselt pragmaatilise kehtivuse kontrollimisel: valitakse mõni metoodikast sõltumatu väline kriteerium, mis määrab edukuse konkreetses tegevuses (hariduslik, erialane jne) ja koos sellega. it Diagnostilise tehnika tulemusi võrreldakse. Kui nende vahelist seost peetakse rahuldavaks, tehakse järeldus diagnostikatehnika praktilise tähtsuse, tõhususe ja tõhususe kohta.

1) tehnikat nimetati kehtivaks, kuna see, mida see mõõdab, on lihtsalt ilmne; 2) kehtivuse tõendamine põhines uurija kindlustundel, et tema meetod võimaldab subjektist aru saada; 3) tehnikat peeti kehtivaks (s.t võeti vastu väide, et selline ja selline test mõõdab sellist ja sellist kvaliteeti) ainult seetõttu, et tehnika aluseks olnud teooria oli väga hea.

Seega tähendab metoodika teoreetilise valideerimise läbiviimine tõestamist, et metoodika mõõdab täpselt seda omadust, kvaliteeti, mida uurija kavatses mõõta.

Seega, kui näiteks laste vaimse arengu diagnoosimiseks töötati välja mõni test, tuleb analüüsida, kas see mõõdab tõesti seda arengut, mitte mingeid muid tunnuseid (näiteks isiksus, iseloom jne). Seega on teoreetilise valideerimise jaoks kardinaalseks probleemiks psühholoogiliste nähtuste ja nende näitajate vaheline seos, mille kaudu neid psühholoogilisi nähtusi teada tahetakse. See näitab, kui palju langevad kokku autori kavatsused ja metoodika tulemused.

Uue tehnika teoreetilist valideerimist polegi nii keeruline läbi viia, kui antud omaduse mõõtmiseks on juba olemas tõestatud kehtivusega tehnika. Korrelatsiooni olemasolu uue ja sarnase juba testitud meetodi vahel näitab, et väljatöötatud meetod mõõdab sama psühholoogilist kvaliteeti kui võrdlusmeetod. Ja kui uus meetod osutub samal ajal tulemuste läbiviimisel ja töötlemisel kompaktsemaks ja ökonoomsemaks, siis on psühhodiagnostikutel võimalus kasutada vana tööriista asemel uut.

Meetodi teoreetilist valideerimist on palju keerulisem läbi viia, kui selline kontrollimeetod on võimatu. Enamasti on see olukord, millega teadlane silmitsi seisab. Sellistel asjaoludel võimaldavad selle psühholoogilise tähenduse paljastada ainult mitmesuguse teabe järkjärguline kogumine uuritava omaduse kohta, teoreetiliste eelduste ja eksperimentaalsete andmete analüüs ning märkimisväärne kogemus tehnikaga töötamisel.

Metoodika mõõdikute mõistmisel mängib olulist rolli selle näitajate võrdlemine praktiliste tegevusvormidega. Kuid siin on eriti oluline, et metoodika oleks teoreetiliselt hoolikalt läbi töötatud, st et sellel oleks kindel ja hästi põhjendatud teaduslik alus. Seejärel, võrreldes tehnikat igapäevapraktikast võetud välise kriteeriumiga, mis vastab sellele, mida see mõõdab, võib saada teavet, mis toetab teoreetilisi ideid selle olemuse kohta.

Oluline on meeles pidada, et kui teoreetiline kehtivus on tõestatud, muutub saadud näitajate tõlgendus selgemaks ja üheselt mõistetavamaks ning tehnika nimetus vastab selle rakendusalale. Mis puudutab pragmaatilist valideerimist, siis see hõlmab tehnika testimist selle praktilise tõhususe, olulisuse ja kasulikkuse seisukohalt, kuna diagnostikatehnikat on mõttekas kasutada ainult siis, kui on tõestatud, et mõõdetav omadus avaldub teatud elusituatsioonides. , teatud tüüpi tegevustes. Sellele omistatakse suur tähtsus, eriti kui kerkib valiku küsimus.

Kui pöörduda uuesti testoloogia arenguloo poole, võib esile tuua perioodi (20. sajandi 20-30ndad), mil testide teaduslik sisu ja nende teoreetiline pagas pakkus vähem huvi. Oluline oli, et test toimis ja aitas kiiresti välja valida kõige ettevalmistatumad inimesed. Testiülesannete hindamise empiirilist kriteeriumi peeti ainsaks õigeks juhendiks teaduslike ja rakenduslike probleemide lahendamisel.

Diagnostikatehnikate kasutamine puhtalt empiirilise põhjendusega, ilma selge teoreetilise aluseta, viis sageli pseudoteaduslike järeldusteni ja põhjendamatute praktiliste soovitusteni. Testide käigus ilmnenud omadusi ja omadusi oli võimatu täpselt nimetada. Need olid sisuliselt pimetestid.

Selline lähenemine testi kehtivuse probleemile oli tüüpiline kuni 50. aastate alguseni. XX sajand mitte ainult USA-s, vaid ka teistes riikides. Empiiriliste valideerimismeetodite teoreetiline nõrkus ei saanud äratada kriitikat nende teadlaste poolt, kes kutsusid testide väljatöötamisel üles tuginema mitte ainult palja empiiriale ja praktikale, vaid ka teoreetilisele kontseptsioonile. Praktika ilma teooriata, nagu me teame, on pime ja teooria ilma praktikata on surnud. Praegu peetakse kõige produktiivsemaks meetodite paikapidavuse teoreetilist ja praktilist hindamist.

Tehnika pragmaatiliseks valideerimiseks, s.o selle tõhususe, tõhususe ja praktilise tähtsuse hindamiseks, kasutatakse tavaliselt sõltumatut välist kriteeriumi - uuritava omaduse igapäevaelus avaldumise näitajat. Selliseks kriteeriumiks võivad olla õpitulemused (õpivõimetestid, saavutustestid, intelligentsuse testid) ja tootmissaavutused (professionaalse suunitlusega meetodite puhul) ning reaalsete tegevuste – joonistamine, modelleerimine jne – efektiivsus (spetsiaalsete testide puhul). võimed), subjektiivsed hinnangud (isiksusetestide jaoks).

Ameerika teadlased D. Tiffin ja E. McCormick, olles analüüsinud kehtivuse tõestamiseks kasutatud väliseid kriteeriume, tuvastavad neli tüüpi:

1) tulemuslikkuse kriteeriumid (nende hulka võivad kuuluda näiteks tehtud töö maht, õppeedukus, koolitusele kulunud aeg, kvalifikatsiooni kasvutempo jne); 2) subjektiivsed kriteeriumid (need hõlmavad erinevat tüüpi vastuseid, mis kajastavad inimese suhtumist millessegi või kellessegi, tema arvamust, vaateid, eelistusi; tavaliselt saadakse subjektiivsed kriteeriumid intervjuude, küsimustike, ankeetide abil); 3) füsioloogilised kriteeriumid (nende abil uuritakse keskkonna ja muude olukorramuutujate mõju inimkehale ja psüühikale; mõõdetakse pulsisagedust, vererõhku, naha elektritakistust, väsimussümptomeid jms); 4) õnnetusjuhtumite kriteeriumid (rakendatakse, kui uuringu eesmärk puudutab näiteks õnnetustele vähem vastuvõtlike isikute tööle valimise probleemi).

Väline kriteerium peab vastama kolmele põhinõudele:

See peab olema asjakohane;

häireteta;

Usaldusväärne.

Asjakohasus viitab diagnostikavahendi semantilisele vastavusele sõltumatule olulisele kriteeriumile. Teisisõnu peab olema kindlustunne, et kriteerium hõlmab just neid individuaalse psüühika tunnuseid, mida mõõdetakse diagnostilise tehnikaga. Väline kriteerium ja diagnostiline tehnika peavad olema üksteisega sisemises semantilises vastavuses ja olema psühholoogiliselt kvalitatiivselt homogeensed. Kui näiteks testis mõõdetakse mõtlemise individuaalseid omadusi, võimet sooritada loogilisi toiminguid teatud objektide ja mõistetega, siis tuleks ka kriteeriumina otsida just nende oskuste avaldumist. Sama kehtib ka kutsetegevuse kohta. Sellel pole mitte üks, vaid mitu eesmärki ja eesmärki, millest igaüks on spetsiifiline ja seab rakendamiseks oma tingimused. See eeldab mitme kutsetegevuse kriteeriumi olemasolu. Seetõttu ei tohiks diagnostikameetodite edu võrrelda tootmise efektiivsusega üldiselt. Tuleb leida kriteerium, mis lähtuvalt tehtavate toimingute iseloomust on võrreldav metoodikaga.

Sekkumisvabaduse nõuded on tingitud sellest, et näiteks haridus- või tööedu sõltub kahest muutujast: inimesest endast, tema individuaalsetest omadustest, mõõdetuna meetoditega, ning olukorrast, õppe- ja töötingimustest, mis võivad tekitada häireid ja "saastada" rakendatud kriteeriumi . Et seda mingil määral vältida, tuleks uurimistööks valida inimeste rühmad, kes on enam-vähem identsetes tingimustes. Võib kasutada teist meetodit. See seisneb häirete mõju korrigeerimises. See korrigeerimine on tavaliselt statistilise iseloomuga. Näiteks tootlikkust ei tohiks võtta absoluutarvudes, vaid seoses sarnastes tingimustes töötavate töötajate keskmise tootlikkusega

Kui nad ütlevad, et kriteerium peab olema statistiliselt olulise usaldusväärsusega, tähendab see, et see peab peegeldama uuritava funktsiooni püsivust ja stabiilsust.

Meetodite kehtivuse hindamine võib olla kvantitatiivne ja kvalitatiivne.

Mitu ainet on valiidsuse arvutamiseks vaja?

Praktika on näidanud, et alla 50 ei tohiks olla, aga kõige parem on üle 200. Tihti tekib küsimus: milline peaks olema kehtivuskoefitsiendi väärtus, et seda aktsepteeritaks pidada? Üldiselt märgitakse, et piisab, kui valiidsuskordaja on statistiliselt oluline. Validsuse koefitsienti umbes 0,20-0,30 peetakse madalaks, keskmist - 0,30-0,50 ja kõrget - üle 0,60.

Kuid nagu rõhutavad A. Anastasi, K. M. Gurevitš jt, ei ole alati õigustatud kasutada lineaarset korrelatsiooni kehtivuskordaja arvutamiseks. See tehnika on õigustatud ainult siis, kui on tõestatud, et mõne tegevuse edukus on otseselt võrdeline diagnostilise testi edukusega. Välismaiste, eriti kutsesobivuse ja -valikuga tegelevate testoloogide positsioon taandub kõige sagedamini tingimusteta tõdemusele, et kutsele sobib paremini see, kes on testis rohkem ülesandeid täitnud. Kuid võib ka juhtuda, et tegevuses edu saavutamiseks peab teil olema testlahenduse 40% tasemel omadus. Edaspidisel testis õnnestumisel ei ole selle elukutse jaoks enam mingit tähtsust. Ilmekas näide K. M. Gurevitši monograafiast: postiljon peab oskama lugeda, aga kas ta loeb normaalkiirusega või väga suure kiirusega – sellel pole enam erialast tähtsust. Sellise meetodi näitajate ja välise kriteeriumi vahelise korrelatsiooni korral võib kõige adekvaatsem viis valiidsuse tuvastamiseks olla erinevuste kriteerium.

Võimalik on ka teine juhtum: kutsealal nõutavast kõrgem vara segab tööalast edu. Niisiis, isegi 20. sajandi koidikul. Ameerika teadlane F. Taylor leidis, et kõige arenenumatel naissoost tootmistöötajatel on madal tööviljakus. See tähendab, et nende kõrge vaimne areng ei võimaldanud neil väga produktiivselt töötada. Sel juhul sobiks valiidsuskordaja arvutamiseks pigem dispersioonanalüüs või korrelatsiooniseoste arvutamine.

7. Testi usaldusväärsuse, valiidsuse, usaldusväärsuse mõisted vastavalt A.G. Šmelev.

Testi omadused

Milliseid muid olulisi järeldusi saame katserelva metafoorist teha? See metafoor võimaldab meil täpsemalt ja sügavamalt mõista mitmeid testide instrumentaalseid nõudeid, millele testid peavad vastama, samuti testide kasutamise standardeid. Ma ei hakka siin üldse üles loetlema testide kõiki psühhomeetrilisi omadusi, kuid siiski väärivad mõned olulisemad mainimist – vähemalt mitte rangelt, vähemalt puhtalt metafooriliselt.

1) Testi usaldusväärsus. Kas improviseeritud poolkeldritöökojas valmistatud relv, nagu öeldakse “põlve peal”, võib olla töökindel? See relv tulistab kõikjal - mõnikord sihtmärki, kuid sagedamini külili ja mõnikord võib see laskuri käes lihtsalt plahvatada. Siinkohal on paslik meelde tuletada: usaldusväärseid teste ei sünni tillukestes laborites (ja eriti mitte üksiku autori laua taga). Testi usaldusväärsust ei kontrollita mitte ainult esindusliku (massi)valimiga, vaid seda lihtsalt ei saa välja töötada ilma ulatusliku statistikata. Testide standardimise esinduslik valim on omamoodi uute relvade katsepolügoon. Alles pärast selliseid välikatseid saab testi disainer teha sihipäraseid ("nägevaid") kohandusi oma relva esialgses disainis. Seega juba selle testi ühe omaduse - usaldusväärsuse - näites näeme, mida? Metafoor "katserelv" annab meile selles kontekstis. Halb relv ei tugevda, vaid, vastupidi, nõrgestab kasutajat ja seab ta ohtu. Kuid kas relvade kvaliteeti üldiselt on võimalik hinnata käsitöörelvade näidiste järgi? Halvad pole mitte testid üldiselt, vaid ebausaldusväärsed testid.

2) Testi kehtivus. Tuletagem meelde, et see on testi sobivuse mõõt psühhodiagnostika eesmärkidel, mõõdetavale omadusele vastavuse mõõt. Kuhu relv tulistab? See ei sõltu mitte ainult testi enda usaldusväärsusest, vaid ka kasutajast. Ebausaldusväärne test ei saa kehtida. Seda mõõtmisteooria aksioomi on antud kontekstis lihtne mõista: kui viie sammuga siluetti ei taba, siis millisest kehtivusest, millisest testi vastavusest mõõdetavale omadusele saab rääkida, sest sellise "testi" abil ei saa te vaenlast lüüa ja "sinu" - sellesse, kes seisab teie kõrval, see tähendab, et "püüad kinni" testi abil mitte sihtmärgi, vaid teise. vaimne omand. Aga kui tulistaja ise on pime, kui ta on värvipime, kes ei erista oma ja teiste vormiriietuse värve, kui ta on ka häiremees, siis paanikas tulistab isegi usaldusväärsest. käsirelvad nii enda kui ka teiste käes. Seega võime lihtsalt sõnastada olulise tagajärje: test ei saa kehtida mitteprofessionaali käes. Siin on veel üks testoloogia aksioom, mida võib paraku olla nii raske seletada mitte ainult massilisele publikule, vaid ka psühholoogidele endile, sest sõnadega "usaldusväärsus" ja "kehtivus" ujuvad nende pähe kohutavad ja arusaamatud psühhomeetrilised valemid. . Seetõttu tunduvad need mõisted neile pigem matemaatilised kui psühholoogilised, st nende "humanitaarsele intellektile" võõrad.

Selles kontekstis pöördugem jälle tagasi testide kriitika juurde. Kas testi ja eriti testide üle on võimalik hinnata hinnangut, kui isegi päris kvaliteetsed tehaserelvad antakse üle paanikas värbajatele, kes kas kahurist varblasi lasevad (kasutavad diagnoosimiseks näiteks rasket IQ akut nagu Wechsleri test). tähelepanupuudulikkuse häire) või püstolist sisse tormata soomustanki pihta tulistamine on asjatu (nad püüavad Luscheri testis värvieelistustega mõista sisekonflikti olemust ja tähendust, mis minu arvates on sobib ainult meeleolu tausta ligikaudseks hindamiseks). Iga sõjaasjades rohkem või vähem kursis olev inimene mõistab kahte ja kahte: universaalset relva pole olemas ja erinevates lahingutingimustes on vaja kasutada erinevaid asju. Kuid inimpsüühika on peenem, kõrvalseisjatele nähtamatu reaalsus kui lahinguväli. Ja nii ajamegi kõik maailmas segadusse: loid positsioonitulelahing, aktiivne suurtükituld ja raevukas täispikk bajonetirünnak, kui on aeg granaadid vööst välja tõmmata. Kui teete väga lühikest näidist mõnest ülesandest (mõned peidetud figuurid Gottschaldi testist, mõned Rorschachi tindiplekid), peaksite siiski teadma, et komistate sama suure tõenäosusega diagnostiliselt väärtusliku teabe otsa kui võimalik. tabas kerge jalaväegranaadiga teraspunkrit. Tõenäoliselt pole tulemust! Kuid kas peaksime järeldama, et kõik testid on ebaefektiivsed? Ma ütleksin, et paljud üksikud psühholoogilised testid on väga nõrk relv hästi maskeeritud kindlustuste vastu, mitmekorruselise inimpsüühika sügava kaitse vastu, mis sotsiaalse küpsuse ajaks arendab välja palju kihte väga keerukaid psühholoogilisi kaitsemehhanisme. Siin jõuamegi usaldusväärsuse probleemini – testimise vastase psühholoogilise kaitse teadlike ja alateadlike mehhanismide vahelise seose probleemini. R. Cattell nimetas seda kunagi motivatsioonimoonutuste probleemiks. See kõlab kaunilt, kuigi me räägime inetutest asjadest – enam-vähem teadlikest valedest.

3) Usaldusväärsus. See on võltsimise probleem. Sõnastagem selles kontekstis järgmine veidi paradoksaalne professionaalse ja eetilise standardi: "Subjektil on õigus valetada." Tegelikult, kui test on inimpsüühikasse tungimise relv, siis on subjektil õigus enesekaitsele – sellele tungimisele vastu seista. Lõpuks on võimalik õigustada katsealust, kes suutis oma probleeme, puudusi varjata, mobiliseerides sotsiaalselt ihaldusväärseks testiks: nii demonstreerib ta testimise ajal oma kompensatsioonimehhanismide tugevust, oskus lahendada probleeme moraalseks arenguks, oskus lahendada probleeme intellektuaalseks arenguks jne. 5, kuigi võib-olla käitub ta igapäevaelus teisiti. Tema laeva soomustatud kere tugevus, mis tagas selle uppumatuse, osutus tugevamaks kui löök, mille psühholoog tema relvale andis. Au ja kiitus sellisele teemale. Kuid sellel väitekirjal on ka oluline tagajärg: positiivsetel testitulemustel on väiksem väärtus ja väiksem ennustusjõud kui negatiivsetel tulemustel.

Seega, kui me lõpuks mõistame testi põhiideid, õpime seda sotsiaalses praktikas adekvaatselt rakendama. Kuni me tõlgendame testi olemust valesti ega näe adekvaatselt selle kasutamise piiranguid, teeme tõsiseid vigu. Kas on vaja keelata relvade levik ühiskonnas, kus keegi tegelikult ei oska neid asjatundlikult kasutada? Ilmselt oleks siiski targem seda üldse mitte keelata, vaid pigem piirata seda kitsama koolitatud, sertifitseeritud kasutajate ringiga! Ja neile tuleks pakkuda ainult sertifitseeritud tööriistu, mitte lihtsalt juhuslikke tööriistu. Kui õnnetud ehitajad püstitavad mitmekorruselised hooned soodele või vesiliivale ilma kindlat vundamenti panemata, s.t rikuvad kõiki ohutu ehitustehnoloogia reegleid, siis ei tohiks hoonet niimoodi üldse ehitada; See ei tähenda, et arhitektuuriinstituudid, kõik ehitusmaterjale tootvad tehased ja ehitusorganisatsioonid ise tuleks ära keelata. Kui keegi kuritarvitab teatud ravimeid, muutes need ravimiteks, ei tähenda see, et ravimitööstus tuleks ära keelata, kuigi ohtlike ravimite levitamise kontrollimise rangust tuleb loomulikult suurendada.

Testid ja eksperthinnangud

Minu arvates ei anna standardanalüüsid lõplikuks positiivseks diagnoosiks (s.o teatud tegevuseks sobivuse diagnoosimiseks) alust, selleks tuleb neile lisada eksperthinnangud (või muud vähem standardiseeritud diagnostilised protseduurid, sh eksperthinnangud). ühel või teisel määral , nagu näiteks projektiivsete tehnikate puhul juhtub).

Seega on testkatse positiivne tulemus lõpliku positiivse järelduse tegemiseks loogiliselt vajalik, kuid mitte piisav tingimus. Kuna mina testoloogina tean kahjuks hästi, et meie kaaskodanikel on elementaarse loogikaga 5 vahel tõsiseid probleeme, siis skemaliseerime öeldu järgmise tahvli kujul:

Selgitagem seda sisuka näitega. Esiteks võtame kõige triviaalseima juhtumi, mis on kaugel psühholoogiast - juba mainitud liiklusreeglite tundmise eksam. Kui kandidaat sooritab eksami reeglite järgi, siis luba talle veel väljastada ei saa – ta peab siis sooritama vähemformaalse praktilise sõidueksami. Kui kandidaat eksamil läbi kukub, ei lubata ta järgmisele testile. Selles kontekstis on aeg teha ka järgmine lahtiütlus: negatiivne testitulemus ei ole surmaotsus. Kõik saavad aru, et reeglid saab selgeks õppida, uuesti tulla ja uuesti eksam teha.

Võtame nüüd vähem ilmselge (regulatsiooniga veel vormistamata) menetluse kandidaadi testimiseks nn ettevõtte lojaalsuse tasemele tööle kandideerimisel. Oletame, et ainele esitatakse täiesti primitiivne test-ankeet, mis sisaldab lihtsaid küsimusi nagu "Kas olete kunagi koolis eksameid tehes õpetajaid petnud?" Nagu me eespool ütlesime, kasutab subjekt sel juhul oma võltsimise õigust ja vastab: "See on õige, ma ei ole seda teinud." Ja millise järelduse me sel juhul teeme? Ei! Aga kui katsealune ootamatult otsekohesuses vastab: "Vale, see juhtus", siis peaks vähemalt olema ettevaatlik.

See põhimõte kehtib veelgi suuremal määral kutsealaste põhiteadmiste baastestide puhul. Kui raamatupidaja kandidaat ei oska konkursitesti küsimustikus vastata küsimusele, mis on “kontoplaan”, siis kas peaksime selle kandidaadiga edasi töötama? Kas kvalifitseeritud ekspertide kallist aega tuleks kulutada sellise kandidaadi üksikasjalikule intervjueerimisele? Muidugi mitte 6.

Seega teen ettepaneku sõna otseses mõttes kõikjal, kõigis praktikaharudes kasutada testi esmase odava ja formaliseeritud filtrina, eelnedes keerukamate ja kallimate ekspertprotseduuride kasutamisele. Mingil määral juhinduvad praegu sarnasest loogikast ka Hindamiskeskuse tehnoloogiat kasutavad personalihindamise spetsialistid.

Seega tuleks ülaltoodud plaati muuta nii, et see näeks välja järgmine:

	Eksperthinnangu positiivne tulemus	Eksperthinnangu negatiivne tulemus
Testi positiivne tulemus	Sobivuse järeldus	Järeldus sobimatuse kohta
Testi negatiivne tulemus	Järeldus sobimatuse kohta	Järeldus sobimatuse kohta

Nagu näeme, on positiivse üldise järelduse jaoks vajalik kahe sõltumatu sündmuse - positiivse testitulemuse ja eksperdihinnangu positiivse tulemuse - seos (loogiline "JA"). Vähemalt ühe positiivse tulemuse puudumine ei võimalda teha üldist positiivset järeldust.

Sellise kahe filtriga valikusüsteemi kvaliteet on igal juhul kõrgem kui mis tahes ühe filtriga süsteem – põhineb ainult eksperthinnangutel või ainult testidel. Ja jutt, et meil on testitulemusi väga lihtne osta (paraku hakati sellist juttu sageli alustama näiteks ühtse riigieksami portaali ege.edu.ru arutelufoorumis), on kas sihilikult demagoogiline või paljastab taas loogilise mõtlemise defekti. Kust saab osta testitulemusi, saab reeglina osta ka eksperthinnangu tulemusi, samuti tuleb konkreetselt uurida, milline filtritest on tegelikult vähem müüdav. Isegi kui võtmed lekivad, isegi kui test on laialt levinud, säilitab negatiivne testitulemus ikkagi oma väärtuse, kuid eriti oluline on, et pärast positiivset tulemust tuleksid mängu rikkumatud eksperdid. Kui ühendame kahe protseduuri tulemused loogilise JA-ga, siis on testi ja eksperthinnangu numbrilisi tulemusi õigem mitte summeerida, vaid korrutada, st liita mitte aditiivselt, vaid korrutavalt:

kus T on testi tulemus, E on eksperthinnangu tulemus, O on üldhinnang. Kui mõni tegur võtab nullväärtuse (on alla miinimumläve), osutub üldtulemus nulliks, sõltumata teise teguri väärtusest. Valemi mõlema komponendi nullist erineva väärtusega saavutatakse maksimaalne tulemus, kui T ja E väärtused on üksteise lähedal. ?! Kust see tuleb? Ja mis summal sellega pistmist on? Selline lähenemine neutraliseerib mõnevõrra ühe näitaja ülehindamise mõju selle "ostmise" tõttu.

Seotud Informatsioon.

Selle sõna laiemas tähenduses tähendab valiidsus ehk meetodi valiidsus seost selle abil saadud empiiriliste andmete ja uuringu peamiste eesmärkide vahel. Küsimus kvalitatiivsete meetodite kehtivuse kohta eelmistel aastatel tekitas suurt segadust matemaatilise statistika spetsialistid, kes laiendasid väga spetsiifilisi statistilisi kehtivuskriteeriume probleemide klassidele ja uurimissituatsioonidele, millel polnud midagi ühist ideaalsete objektidega, nagu mitmevärvilised pallid. korvist välja, millega tõenäosusteooria töötab.

Enne kvalitatiivse uurimistöö, eriti grupiuuringu kirjeldamise juurde asumist tuleb kirjeldada, mille poolest see erineb kvantitatiivsest uurimistööst. Nende erinevuste täielikumaks mõistmiseks on äärmiselt oluline mõista, mis oleks rangelt võttes uuringu "viga".

Kvantitatiivsed sotsioloogilised uuringud on teatud tüüpi uuringud, mis põhinevad tõenäosuste matemaatilisel teoorial. Selle teooria aksiomaatiliste eelduste hulgas on väga oluline eeldus, et analüüsitavate objektide vahelised erinevused piirduvad kindla diskreetsete karakteristikute kogumiga. Näiteks korvis lebavad pallid erinevad nii värvi, suuruse kui ka neile joonistatud numbrite poolest. Inimesed võivad aga erineda oma demograafiliste tunnuste, hoiakute jms poolest ning on oluline märkida, et igas küsimustikus on tunnuste kogum küsimustikus kvantifitseeritud küsimuste arvuga piiratud ja kõik muud võimalikud tunnused on eeldatakse olevat identsed.

Statistilist tüüpi uuringut iseloomustav põhikriteerium on usaldusväärsus, st saadud tulemuste reprodutseeritavus. Kui viite läbi kordusuuringu sama metoodikaga samas sotsiaalses grupis ja mõlema uuringu tulemused on identsed, tähendab see, et need on usaldusväärsed. Tänapäeval ei vaidle keegi vastu tõsiasjale, et korrektselt läbi viidud massilise esindusuuringuga, kasutades formaliseeritud küsimustikke, saavutatakse automaatselt tulemuste kõrge reprodutseeritavus. Samas pole nende kehtivuse küsimus andmetest kaugeltki ammendatud.

Matemaatilises sotsioloogias tõlgendatakse uurimuse valiidsust tavaliselt kui mõõtmisvahendite vastavust mõõdetavale. Edasi selgitab sõnastik, et selle sõna kitsas tähenduses on valideerimine võimalik vaid sõltumatu välise kriteeriumi olemasolul, kuid sotsioloogias oleks selline olukord haruldane. Kõigil muudel juhtudel ei ole kvantitatiivsete uuringute tulemuste kehtivus midagi muud kui hüpotees, mille tõenäosuse astme hindamisel pole matemaatiliste ja statistiliste protseduuridega mingit pistmist. Paljude kaudsete sisuliste hüpoteeside madal usaldusväärsus, mille teadlased on varjatult sisestanud formaliseeritud küsimuste sõnastusse ja struktuuri, ja mõnikord sellise usaldusväärsuse täielik puudumine on väga tõsine ja halvasti mõistetav probleem.

Seega ei tohiks kvantitatiivsete uurimistulemuste statistilist usaldusväärsust segi ajada nende usaldusväärsuse ja valiidsusega selle sõna laiemas tähenduses. Rangelt võttes on kvantitatiivsed uuringud usaldusväärsed vaid sel määral, kuivõrd usaldusväärsuse probleemi saab taandada selle statistilisele tõlgendusele. Kui selline vähendamine ebaõnnestub või on põhimõtteliselt võimatu, muutuvad kvantitatiivsed andmed järelduste tegemiseks äärmiselt ebausaldusväärseks.

Kvantitatiivsete ja kvalitatiivsete meetodite kõrvutamisel nende kehtivuse seisukohalt tuleb ennekõike märkida, et nende kehtivad kasutusvaldkonnad ei lange omavahel kokku. See muudab nende üldistatud võrdlemise kehtivuskriteeriumidel mõttetuks. On probleemiklasse, kus kvantitatiivsetel meetoditel on kõrge ja kvalitatiivsetel meetoditel madal kehtivus. Samal ajal on - ja seda aspekti on isegi erialakirjanduses tavaliselt vähe rõhutatud - ka teisi probleemide klasse, milles näidatud seos on otseselt vastandlik.

Meie õpiku eesmärk ei ole käsitleda kvalitatiivsete meetodite metoodika küsimusi üldiselt. Fookusgruppide, aga ka üksikute süvaintervjuude spetsiifilisus, kui neid tehakse suurte seeriatena, seisneb sisuliselt selles, et vähemalt teoreetiliselt on nende puhul rakendatavad ka statistilised kehtivuskriteeriumid, kuigi erinevad kvantitatiivse uurimistöö omadest.

Pange tähele, et konkreetsel teemal läbiviidud rühmaintervjuude seeria tekstiüleskirjad moodustavad mitmesaja lehekülje pikkuse algandmete massiivi. See massiiv sobib statistiliste meetodite abil analüüsimiseks nii oma suuruse kui ka heterogeensuse poolest. Massiivi heterogeensuse tagab mitmekümne vastaja osalemine, mis annab juba aluse sarnaste vastuste ligikaudseks jaotumiseks kolme-viieliikmelisel skaalal: selge vähemus, vähemus, ligikaudu võrdselt, enamus, a selge enamus. Põhiline pole aga asi. Grupiintervjuude esmase andmemassiivi spetsiifilisus on sisuliselt järgmine:

1. Analüüsi ühikuks ei saa mitte vastaja, vaid lausung. Kuna iga vastaja on paljude väidete kandja, suurendab ϶ᴛᴏ vähemalt esmaste analüütiliste ühikute massiivi suurusjärgu võrra, muutes selle statistiliselt oluliseks.

2. Kvalitatiivse uurimistöö ülesanne ei hõlma ühiskonnas või selle segmendis teatud positsiooni kandjate arvu või osakaalu määramist. Selle probleemide klassi puhul on kvalitatiivsed meetodid kehtetud.

Kvalitatiivsete meetodite ülesandeks saab olema nn "eksistentsi hüpoteeside" loendi koostamine, st loend ühiskonnas eksisteerivatest arvamustest, hinnangutest või väidetest, mille jaotus on eeldatavasti nullist erinev. Sel juhul, nagu D. märgib, märgime, et Templetoni puhul on eelistatav teha viga, tuvastades olematu või ebaoluline tegur, kui jätta märkamata väga oluline tegur.

Seda tüüpi ülesannete lahendamiseks kohandatud matemaatiline aparaat on põhimõtteliselt hästi tuntud. Väärib märkimist, et seda kasutatakse keeleteaduses häälikute ja silpide loendite ning sõnade ja fraaside sagedussõnastiku koostamisel. Sama aparaati kasutatakse ka kontentanalüüsi kasutavates sotsioloogilistes uuringutes. Viimase juhtumiga seoses näeb ülesande matemaatiline sõnastus välja umbes selline: “On presidendikandidaat A, kellest ajalehtedes kirjutatakse. Kohustuslik on koostada võimalikult täielik loetelu epiteetidest, millega artiklite autorid seda kandidaati iseloomustavad. Kui palju tuleks ajalehetekste uurida, et 95% tõenäosusega ei ületaks tuvastamata epiteetide arv 5%?

Nagu enamikku rakendatud statistilisi probleeme, ei saa seda probleemi lahendada ilma teatud eelteadmisteta soovitud epiteetide sagedusjaotuse olemuse kohta, samuti ilma teatud a priori eeldusteta. Võttes arvesse sõltuvust ühe või teise eelduste süsteemi valimise praktilisest mugavusest, võib probleemi enda sõnastus varieeruda. Sellesse teemasse süvenemine jääb meie teema raamidest välja, kuna fookusgrupimeetodil läbiviidud rakendusuuringutes on ülalkirjeldatule sarnane statistikaaparaat, kui seda kuskil kasutatakse, eranditult kõrgelt spetsialiseerunud uurimistöös, kaugel rakendusalast. turunduse fookusrühmadest
Väärib märkimist, et sellel on kaks peamist põhjust. Esimene on see, et sellise seadme kasutamine suurendab oluliselt uurimiskulusid ja kommertsklient ei kipu maksma matemaatiliste "iluduste" eest, kui need ei mõjuta kuidagi lõplikke järeldusi. Mitmetel põhjustel, mida allpool kirjeldatakse, peavad nii kliendid kui ka uurijad täiesti piisavaks keskenduda järgmisele subjektiivsele kriteeriumile: kui igalt järgnevalt rühmalt saadava uue teabe hulk on järsult langenud, tuleks uuring katkestada.

Teine põhjus on palju põhimõttelisem. Väärib märkimist, et see on seotud asjaoluga, et tänapäeval on rangelt töökorras ja automatiseeritav semantiliste üksuste isoleerimine tekstidest võimalik ainult sõnade ja stabiilsete fraaside tasemel. Keerulisemate semantiliste üksuste eraldamist, rühmitamist ja topologiseerimist, mis viiakse läbi kvalitatiivse sotsioloogilise uurimistöö analüütilises etapis, saab inimene läbi viia ainult seni uurimata alateadlike intellektuaalsete algoritmide põhjal. Kiired edusammud arvutipõhise tõlkeprogrammide väljatöötamisel viitavad sellele, et aja jooksul muutub üha keerukamate tähendusüksuste automaatne tuvastamine teostatavaks. See töö ei ole aga fookusgrupiuuringute praktikat veel mõjutanud. Turunduse fookusgruppe käsitleva kirjanduse uurimisel ei kohanud me kordagi sisuanalüüsi kasutamist mis tahes kujul. Selliseid viiteid on akadeemilise uurimistöö vallas, kuid selle küsimuse uurimine nõuab erilist tööd. Olgu siinkohal märgitud, et 90. aastate alguses peeti kõige kaasaegsemaks arvuti sisuanalüüsi meetoditega seotud tööks Weberi tööd.

Kokkuvõtteks pöördugem kehtivate kvantitatiivsete ja kvalitatiivsete uuringute valdkondade väljaselgitamise küsimuse juurde. Eespool on näidatud, et need valdkonnad on põhimõtteliselt erinevad, kuna nende lahendatavate probleemide klassid on radikaalselt erinevad. Formaliseeritud uuringute kehtiv rakendusala tundub ainult esmapilgul piiramatu või väga lai. Tegelikult piirdub see teatud teadmiste, arvamuste või hoiakute levimuse määra kindlaksmääramisega, mis:

a) peab olema ette teada, st enne uuringut;

b) ei tohiks olla vastajale pealesurutud väljamõeldis ega pseudootsused, mis ei ole tema teadvusele omased.

Kvantitatiivsed meetodid ei sobi teadmiste, arvamuste või hoiakute olemasolu fakti tuvastamiseks, nagu on selgelt näha järgnevast uuringutulemuste võrdlusest.

A. Kvantitatiivsed uuringud

Küsimus: Mida eelistate - õunakooki või šokolaadikooki? (% vastajate arvust)

õunakook – 26%

Šokolaadikook - 22%

mõlemad - 43%

Raske vastata - 9%

B. Kvalitatiivne uuring

Küsimus: Mida eelistate - õunakooki või šokolaadikooki?

Vastus: ma ei tea. Ma armastan mõlemat.

Küsimus: Noh, kui te ei peaks unustama, et peate võtma ühe asja, siis mis see oleks? Mõtle selle üle.

Vastus: Muidugi on pirukad erinevad. Kui mul on võimalus võtta ema õunakooki, siis eelistan seda igale šokolaadikoogile. Kui on ülimalt oluline võtta mingit õunakooki, siis ma ei tea kindlalt.

Küsimus: millest see veel sõltuda võib? Ärge unustage, milline on teie valik?

Vastus: Näiteks oleneb, mida ma lõunaks söön. Kui ma söön täis lõunat, siis ma arvan, et ma söön õunakooki. Õunakook on minu peres suur maiuspala. Aga kui ma sõin lõunaks midagi kerget, näiteks kala, siis on parem võtta muffin. Kui on külm, siis šokolaadikoogist ma ei keeldu.

Ülaltoodud dialoog illustreerib hästi tõsiasja, et lihtne vastus “valin õunakoogi” sõltub paljudest teguritest, antud juhul sellest, kes piruka valmistas, näljaastmest, lõunasöögi tihedusest ja ümbritsevast temperatuurist. Seda loetelu võib ilmselt jätkata. Kuid nagu paljudel muudel juhtudel, ei tundu selliste tegurite või vähemalt kõige levinumate tegurite arv olevat väga suur. Kvalitatiivse uurimistöö ülesanne, nagu juba mainitud, on tuvastada nende tegurite loetelu mõistliku täielikkuse astmega. Selles valdkonnas on kvalitatiivsetel uuringutel suur kehtivus. On asjakohane märkida, et tuvastatud tegurite mõjude sagedusjaotuse määramine uuritavas populatsioonis on kvantitatiivse uurimistöö küsimus. Ärge unustage, et kaks hoiatust on siiski olulised:

a) praktilisest vaatenurgast võivad kvantitatiivse uuringu läbiviimise kulud ületada vähem täpsel teabel põhineva tahtejõulise otsuse tegemisest tuleneva eeldatava riski;

b) tuvastatud tegurite adekvaatne muutmine küsimusteks vormistatud küsimustikus on sageli keeruline või võimatu ning sageli on äärmiselt raske isegi määrata võimalikku ebaadekvaatsuse määra.

Need asjaolud vähendavad sageli kvantitatiivse uurimistöö valiidsust sedavõrd, et selle läbiviimine muutub ebapraktiliseks.

Ainult neil juhtudel, kui hüpotees formaalsetes küsimustike küsimuste sõnastuse paikapidavuse kohta tundub põhjendatud või usutav, saab kvantitatiivne uurimus anda kehtiva tulemuse, mis võimaldab teha otsuseid täpsema teabe põhjal.

Meetodi kehtivus. Uurimis- ja diagnostikameetodi valiidsus (tähendab sõna-sõnalt „täielik, sobiv, sobiv“) näitab, mil määral mõõdetakse seda kvaliteeti (omadust, omadust), mida sellega hinnata tahetakse. Valiidsus (adekvaatsus) räägib sellest, mil määral meetod vastab oma eesmärgile. Mida lähemalt avastatakse diagnostiline tunnus, mille tuvastamiseks ja mõõtmiseks meetod on mõeldud, seda suurem on selle kehtivus.

Validsuse mõiste ei viita mitte ainult metoodikale, vaid ka selle kvaliteedi hindamise kriteeriumile, kehtivuse kriteerium. See on peamine märk, mille järgi saab praktiliselt hinnata, kas antud tehnika kehtib.

Diagnostikameetodite kehtivust on mitut tüüpi.

Teoreetiline (kontseptuaalne) kehtivus määratakse selle tehnika abil saadud uuritava kvaliteedi näitajate vastavusega muude tehnikate abil saadud näitajatele (mille näitajatega peaks olema teoreetiliselt põhjendatud seos). Teoreetilist kehtivust kontrollitakse sama omaduse näitajate korrelatsioonidega, mis on saadud sama teooriaga seotud erinevate meetodite abil.

Empiiriline (pragmaatiline) kehtivus Seda kontrollitakse diagnostiliste näitajate vastavuse järgi tegelikule käitumisele, vaadeldavatele tegevustele ja subjekti reaktsioonidele. Kui me näiteks mingit tehnikat kasutades hindame antud subjekti iseloomuomadusi, siis kasutatav tehnika loetakse praktiliselt või empiiriliselt kehtivaks, kui tuvastame, et see inimene käitub elus täpselt nii, nagu tehnika ette näeb, s.t. vastavalt tema iseloomuomadusele.

Sisemine kehtivus tähendab metoodikas sisalduvate ülesannete, alatestide, hinnangute jms vastavust. metoodika kui terviku üldine eesmärk ja kavatsus. Seda peetakse sisemiselt kehtetuks või sisemiselt ebapiisavalt kehtivaks, kui kõik või osa selles sisalduvaid küsimusi, ülesandeid või alamteste ei mõõda, mida sellelt tehnikalt nõutakse.

Väline kehtivus- see on ligikaudu sama mis empiiriline valiidsus, ainsa erinevusega, et antud juhul räägime meetodi näitajate ja subjekti käitumisega seotud olulisemate, võtmetähtsusega välismärkide seostest.

Näiline kehtivus kirjeldab meetodi ideed, mis subjektil on, st. see on kehtivus subjekti seisukohalt. Uuritav peaks seda tehnikat tajuma kui tõsist vahendit oma isiksuse mõistmiseks, mis sarnaneb mõnevõrra meditsiinidiagnostika vahenditega.

Ennustav kehtivus määratakse meetodi näitajate ja mõne mõõdetavat omadust iseloomustava kriteeriumi vahelise korrelatsiooni abil, kuid hilisemal ajal. L. Cronbach peab ennustavat valiidsust kõige veenvamaks tõendiks selle kohta, et tehnika mõõdab täpselt seda, mida ta oli mõeldud mõõtma.

Sisu kehtivus määratakse kindlaks kinnitades, et metoodika ülesanded kajastavad kõiki uuritava käitumisvaldkonna aspekte. Sisu kehtivust nimetatakse sageli "loogiliseks kehtivuseks" või "määratlevaks kehtivuseks". See tähendab, et meetod on ekspertide hinnangul kehtiv. Tavaliselt määratakse see saavutustestidega. Praktikas valitakse sisu kehtivuse määramiseks eksperdid, kes näitavad, milline käitumisvaldkond on kõige olulisem.

Validsuse tüüpide kirjeldusest järeldub, et puudub üks indikaator, mille abil diagnoosimismeetodi kehtivust kindlaks teha. Siiski peab arendaja esitama olulisi tõendeid pakutud metoodika paikapidavuse kasuks.

Otsest seost kehtivuse ja usaldusväärsuse vahel on lihtne näha. Madala töökindlusega tehnika ei saa olla kõrge kehtivusega, kuna mõõteriist on vale ja selle mõõdetav tunnus on ebastabiilne. Võrreldes välise kriteeriumiga, võib see tehnika ühel juhul olla kõrge ja teisel juhul äärmiselt madal. On selge, et selliste andmete põhjal on võimatu teha järeldusi tehnika sobivuse kohta ettenähtud otstarbele.

Valiidsuskoefitsiendi tuletamine on töömahukas protseduur, mis ei ole vajalik juhtudel, kui tehnikat kasutab teadlane piiratud ulatuses ja see ei ole mõeldud laiaulatuslikuks kasutamiseks. Validsuskoefitsiendile kehtivad samad nõuded mis usaldusväärsuse koefitsiendile: mida metoodiliselt täiuslikum on kriteerium, seda suurem peaks olema kehtivuskordaja. Väiksematele aspektidele keskendudes märgitakse kõige sagedamini madalat kehtivuskoefitsienti.

Uurimismeetodi usaldusväärsus. Usaldusväärsus on üks diagnostilise tulemuse kvaliteedi kriteeriume, mis on seotud diagnoositava sümptomi näitajate täpsuse ja stabiilsusega. Mida suurem on tehnika töökindlus, seda vabam on see mõõtmisvigadest. Kõige laiemas mõttes on usaldusväärsus iseloomustav selle kohta, mil määral peegeldavad katsealuste vahel meetodi tulemustes tuvastatud erinevused tegelikke erinevusi mõõdetavates omadustes ja mil määral võib neid seostada juhuslike vigadega.

Diagnostikateoorias on usaldusväärsuse mõistel kaks tähendust: tehnika kui konkreetse tööriista usaldusväärsus (näiteks arvestit kasutades oleme kindlad, et see jääb muutumatuks, olenemata sellest, milliseid mõõtmisi teeme) ja meetodi suhteline muutumatus. diagnostiline objekt (peame olema kindlad, et tavatingimustes jääb mõõdetud väärtus muutumatuks).

Usaldusväärsuse mõiste on seotud mõõtmiste täpsusega, õigemini vea hindamisega ja selle alusel suuruse tegeliku väärtuse määramisega.

Diagnostikatehnika usaldusväärsuse hindamiseks on kolm peamist tehnikat.

Kordustesti aktsepteerimine, ehk korduv diagnostika, võimaldab töödelda samade subjektide poolt erinevatel aegadel sooritatud samu ülesandeid ning arvutada tulemuste omavahelist seost, väljendatuna enesekorrelatsioonikordajas.

Poolitamise vastuvõtt– ühekordselt sooritatud ülesannete valik jagatakse pooleks (näiteks esimene poolkontroll sisaldab paaritu järjekorranumbriga ülesandeid ja teine pooltest paarisarvuga ülesandeid), seejärel määratakse iga õppeaine tulemused mõlema pooltesti jaoks ja arvutatakse saadud tulemuste vaheline korrelatsioonikordaja.

Paralleeltesti sooritamine – samade teadmiste mõõtmiseks konstrueeritakse kaks erinevat ülesandekomplekti, mis oma sisult meenutavad kaksikuid; mõlemad paralleelsed ülesannete komplektid pakutakse kohe üksteise järel või vastavalt vajadusele.

Kõikidel juhtudel koos meetodite korrelatsioonikoefitsiendiga r> 0,7, loetakse tehnikat usaldusväärseks (korrelatsioonikordaja kohta vt jaotist 4.2).

Katsemetoodikas on tavaks võtta arvesse kolme usaldusväärsuse koefitsienti:

1) stabiilsuskoefitsient, või konstantsus on korrelatsiooni näitaja esimese ja korduva testi tulemuste vahel, kasutades sama katsealuste valimi sama testi;

2) ekvivalentsustegur, või korrelatsioonikordaja, sama katsealuste sama kontingendi testimise tulemused, kasutades sama testi variante või erinevaid, kuid vormilt ja eesmärgilt samaväärseid teste;

3) sisemise püsivuse koefitsient, või sisemine homogeensus, mis vastab samade katsealuste sooritatud testi osade tulemuste korrelatsioonile.

3. Pedagoogiliste uurimismeetodite klassifikatsioonid

Pedagoogiliste uurimismeetodite klassifikatsioone on mitu. Sõltuvalt klassifikatsioonist jagunevad pedagoogika uurimismeetodid:

· empiiriline ja teoreetiline;

· tuvastav ja muutev;

· kvalitatiivne ja kvantitatiivne;

· era- ja üldine;

· empiiriliste andmete kogumise, hüpoteeside ja teooriate kontrollimise ja ümberlükkamise meetodid;

· kirjeldamise, selgitamise ja prognoosimise meetodid;

· individuaalsetes pedagoogikateadustes kasutatavad erimeetodid;

· uurimistulemuste töötlemise meetodid jne.

TO üldteaduslikud meetodid (kasutavad erinevad teadused) hõlmavad järgmist:

· üldteoreetiline(abstraheerimine ja konkretiseerimine, analüüs ja süntees, võrdlus, kontrast, induktsioon ja deduktsioon, s.o loogilised meetodid);

· sotsioloogiline(ankeedid, intervjuud, ekspertuuringud, reitingud);

· sotsiaalpsühholoogiline(sotsiomeetria, testimine, koolitus);

· matemaatilised(järjestus, skaleerimine, indekseerimine, korrelatsioon).

TO konkreetne teaduslik (spetsiifiline pedagoogiline) hõlmavad meetodeid, mis omakorda jagunevad teoreetiline ja empiiriline (praktiline).

Teoreetilised meetodid on mõeldud teoreetiliste seisukohtade ja empiiriliste andmete tõlgendamiseks, analüüsimiseks ja üldistamiseks. See on kirjanduse, arhiivimaterjalide ja dokumentide teoreetiline analüüs; põhimõistete ja uurimisterminite analüüs; analoogiate meetod, hüpoteeside ja mõttekatsete püstitamine, prognoosimine, modelleerimine jne.

Empiirilised meetodid on mõeldud empiirilise materjali - pedagoogilise sisu faktide, õppetegevuse produktide - loomiseks, kogumiseks ja korrastamiseks.

Empiirilised meetodid hõlmavad näiteks vaatlust, vestlust, intervjueerimist, küsitlemist, õpilaste tegevuse produktide uurimise meetodeid, kooli dokumentatsiooni, hindamismeetodeid (reiting, pedagoogiline nõukogu, enesehindamine jne), mõõtmis- ja kontrollimeetodeid (skaleerimine). , läbilõiked, testimine jne), samuti pedagoogiline eksperiment ja uurimistulemuste eksperimentaalne kontrollimine riigikoolis. Nii teoreetilisi kui ka empiirilisi meetodeid kasutatakse tavaliselt koos matemaatiliste ja statistiliste meetoditega, mida kasutatakse uuringu käigus saadud andmete töötlemiseks, samuti kvantitatiivsete seoste tuvastamiseks uuritavate nähtuste vahel.

Matemaatilised meetodid kasutatakse küsitlus- ja katsemeetoditega saadud andmete töötlemiseks, samuti uuritavate nähtuste vaheliste kvantitatiivsete seoste tuvastamiseks.

Kõige tavalisem matemaatilised meetodid Pedagoogikas kasutatakse:

· registreerimine – igas rühmaliikmes teatud kvaliteedi tuvastamine ja nende üldine arv, kellel see omadus on või ei ole (näiteks klassis aktiivselt töötavate õpilaste arv ja passiivsete õpilaste arv);

· ulatus (järjekoha skoor)– kogutud andmete järjestamine kindlas järjestuses (mõnede näitajate kahanevas või tõusvas järjekorras) ja vastavalt sellele iga uuritava koha määramine selles seerias (näiteks eelistatuimate klassikaaslaste nimekirja koostamine);

· skaleerimine – diginäitajate kasutuselevõtt pedagoogiliste nähtuste üksikute aspektide hindamisel; Selleks esitatakse katsealustele küsimusi, millele vastates tuleb valida üks määratud hinnangutest (näiteks küsimuses vabal ajal tegevusega tegelemise kohta valida üks hindamisvastustest: olen huvitatud, olen tegelen regulaarselt, tegelen ebaregulaarselt, ma ei tegele millegagi).

Puistematerjali töötlemisel kasutatakse statistilisi meetodeid- saadud näitajate keskmiste väärtuste määramine: aritmeetiline keskmine, mediaan - seeria keskkoha näitaja, nende väärtuste ümber hajutamise astme arvutamine - dispersioon, variatsioonikoefitsient jne.

Cook ja Campbell defineerisid 1979. aastal uurimistöö valiidsuse tõeste väidete, sealhulgas põhjus-tagajärg seoseid hõlmavate väidete parimaks saadaolevaks ligikaudseks. See määratlus on seotud uurimistulemuste täpsuse kindlaksmääramisega ja rõhutab sotsiaalteadustes saavutatava tõe suhtelist olemust. Igas teaduslikus uuringus peab teadlane suutma vastata järgmistele küsimustele:

1) kas kahe muutuja vahel on seos;

2) kas see sõltuvus on oma olemuselt põhjuslik;

3) kas see seos on oluline;

4) kas mõõtmis- ja vaatlusprotseduurid on tegelikult seotud uuritavate konstruktsioonidega;

5) kas uuringu käigus tuvastatud põhjuslikud sõltuvused on üldistatavad.

Toome välja järgmised nende probleemidega seotud kehtivuse tüübid.

1. Statistiliste järelduste kehtivus

Seda tüüpi kehtivus vastab kahe muutuja vahelise seose statistilise olulisuse testimisele. Sellised järeldused on alati tõenäolised. Tõepoolest, võib teha kahte tüüpi vigu: otsustada, et seos on oluline, kui see ei ole, või otsustada, et muutujate vahel pole olulist seost, kui see on vastupidi.

On mõned tegurid, mis võivad statistiliste järelduste paikapidavust vähendada:

1) uurimistöö nõrk tundlikkus, mis väljendub ebapiisava valimi suuruse või suure varieeruvuse korral võrreldavates rühmades, st uuritavad on liiga erinevad ja mõne muutuja osas üksteisest väga erinevad;

2) uuringus kasutatud mõõtmistehnikate või muutuva manipuleerimise protseduuride madal usaldusväärsus;

3) katsetingimustes esinevad interferentsitegurid;

4) erinevate statistiliste meetodite jaoks kehtestatud aktsepteeritud käitumis- ja töötlemisreeglite rikkumine.

Statistiliste järelduste valiidsuse suurendamise strateegia on vigade varieeruvuse vähendamine, kasutades näiteks korduva valimi kujundust või homogeensete rühmade kasutamist. Uuringu statistilist valiidsust saab diagnoosida nii uuringu kavandamise etapis (näiteks valimi suuruse arvutuse kontrollimisel) kui ka pärast uuringut selle tulemuste hindamiseks.

2. Sisemine kehtivus

Sisemine kehtivus on üks olulisemaid kehtivuse tüüpe ja see on tegelikult seotud sõltuvate ja sõltumatute muutujate vaheliste suhetega. See kehtivus on seotud spetsiifiliste protseduuridega, mis võimaldavad meil kindlaks teha, kuivõrd on antud uuringus tehtud järeldused usaldusväärsed. Kui muutuja X ja muutuja Y vahelise seose olemasolu on kindlaks tehtud, tuleb otsustada, milline muutujatest on põhjus ja milline tagajärg, ehk määrata selle seose suund. Kui pärast X on täheldatud Y, siis võib öelda, et X on Y põhjus.

Siiski võib juhtuda, et sõltuvussuhte X ja Y vahel põhjustab kolmas muutuja C. Sisemise kehtivuse kindlakstegemiseks on vaja kaaluda kõiki võimalusi kolmanda muutuja C mõjuks muutujatele X ja Y. ja need kõrvaldada. Uuring loetakse sisemiseks valiidsusega, kui on näidatud, et sõltuvate ja sõltumatute muutujate vahel on põhjus-tagajärg seos.

Uuringu sisemise valiidsuse vähendamise põhjused:

1. Muutujate segamine. See on üks suurimaid ohte katse kehtivusele. Kui eksperimendi käigus interakteerub mõni juhuslik tegur (mitteeksperimentaalne muutuja) sõltuva muutujaga ja seda interaktsiooni ei saa mõõta eraldi sõltuvate ja sõltumatute muutujate vastasmõjust, siis on juhuslike ja sõltumatute muutujate mõju eristamatu. Segamise probleem on eriti terav uuringutes, kus eksperimenteerija ei saa sõltumatut muutujat kontrollida.

2. Õppeainetega seotud muudatused. Sõltuvate muutujate testimisel võivad kahe vaatlusmomendi vahel toimunud muutused olla põhjustatud mitte sõltumatutest muutujatest, vaid katseisikute endaga toimunud muutustest (näiteks isikliku elu sündmused, teatud isiksuseomaduste muutused jne), st. , tegurid "küpsus" ja "ajalugu".

"Küpsuse" all peame silmas muutusi, mis toimusid katsealuses eel- ja järeltesti vahel ja mida ei seostatud sõltumatute muutujate mõjuga. Näiteks motoorse koordinatsiooni katsetes võivad katsealused katsetevahelisel perioodil treenimise tõttu paraneda. Seda mõju ei saa segi ajada sõltumatu muutuja mõjuga. "Ajaloo" tegur viitab sündmustele, mis juhtusid katsealustega ja mis mõjutasid katse tulemusi.

3. Testieelne mõju. Eeltest põhjustab katseisikutes muutusi ja seetõttu võivad katse tulemused mõnel juhul sõltuda pigem eeltestist kui sõltuvast muutujast.

4. Teadlase oskuste muutmine. Näiteks võib teadlane mõne aja pärast kogenumaks saada ja seetõttu katseisikute käitumist erinevalt tõlgendada. Lisaks võivad teadlast mõjutada sellised tegurid nagu väsimus, mis võib põhjustada katsetes vigu.

5. Regressioon keskmisele. See nähtus ilmneb siis, kui indiviide testitakse korduvalt sama muutujaga. On kindlaks tehtud, et kui katsealused said esimeses testis tulemused, mis olid suurusjärgus lähedased skaala kõrgeimatele näitajatele, siis korduskatse käigus nende tulemused langevad ja lähenevad keskmisele, samas kui katsealused, kes said tulemused lähedased madalaimad esimeses katses korduvate mõõtmistega saavutavad paremad tulemused. Regressiooni keskmisele täheldatakse ka muutuja muutustega seotud vigade korral.

6. Välja kukkuma On teada, et õppetöö käigus lahkuvad osad katsealused rühmast. Ülejäänud katsealused on loomulikult erinevad nendest, kes katkestasid.

Oletame, et kehakaalu kontrollimiseks uuritakse kahte käitumise muutmise tehnikat. 1. rühmale määrati dieet. Lisaks peavad esimese rühma katsealused päevikusse kirja panema kõik, mida nad iga päev söövad, kõik toidukorrad täpselt kaaluma ja toidu kalorisisaldust lugema. 2. rühmale määrati lihtsalt dieet. Ilmselgelt langevad mõned raskema ülesandega katserühmad katsest välja. Katse lõpus on kõrgelt motiveeritud katsealuste osakaal selles rühmas suurem. Kõrgema motivatsiooniga katsealused kaotasid suurema tõenäosusega kaalu. Seetõttu võib teadlane jõuda ekslikule järeldusele, et esimese rühma tingimused on kaalu langetamiseks tõhusamad.

Mõned autorid räägivad ka sellest konstruktsiooni kehtivus. Konstruktsiooni valiidsus sarnaneb sisemise valiidsusega ja viitab järelduste ja uuringu aluseks oleva teooria vahelisele kooskõlale. Konstruktsiooni valiidsuse hindamiseks on vaja välistada muud võimalikud tulemuste teoreetilised seletused. Kui tekib kahtlus, kuidas katsetulemused võrreldavad teoreetiliste tulemustega, on vaja kavandada uus katse, mis võimaldab valida mitme tulemuste teoreetilise seletuse vahel. Seda tüüpi kehtivust on kõige raskem saada, kuna on palju teooriaid, mida saab kasutada katses saadud muutujate seoste selgitamiseks.

Vaatleme konstruktsiooni kehtivuse languse kahte põhjust. Esimene on nõrk seos teooria ja katse vahel. Tõepoolest, paljud psühholoogilised uuringud pakuvad teoreetiliste kontseptsioonide ebaselgeid operatiivseid määratlusi. Teise põhjuse määrab esiteks asjaolu, et katsealused hakkavad väga sageli täitma "hea" uurimisobjekti rolli ja käituma nii, et katsetajale meeldida, ja teiseks asjaolu, et katsealused, eriti nende vaimseid võimeid või emotsionaalset stabiilsust mõõtvad katsed, kujuneb välja kõrge ärevus oodatava hinnangu suhtes.

3. Protseduuride kehtivus

Kolmas kehtivuse tüüp on protseduuride kehtivus, mis võimaldavad muutujaid varieerida ja mõõta. Isegi vajadus määratleda uuringu jaoks olulised kontseptuaalsed muutujad operatiivselt on riskiallikas. Tõepoolest, mõiste "tõlkimine" konkreetsete operatsioonide tasemele võib ebapiisavalt kajastada uuringu teoreetilisi põhimõtteid.

Sageli stimuleerib uurija alateadlikult vastust, mida ta ootab. Seda saab vältida, kasutades käed-lahti uurimisstrateegiaid ja sobivaid mõõtmismeetodeid. Sel juhul ei tohiks katsealused teada, et neid jälgitakse, mis võimaldab eemaldada eksperimendiga seoses soovimatu motivatsiooni.

4. Väline kehtivus

Väline valiidsus viitab võimele üldistada uuringu tulemusi, st laiendada eksperimentaalsest valimist saadud järeldusi kogu populatsioonile. Väline kehtivus sõltub oluliselt valimi võtmise meetodist. Valimi võtmist on kolm peamist tüüpi:

1. Juhuslik valim. Näiteks juhuslikult valitud noorukite rühma uuringu tulemused kehtivad teatud tõenäosusega kõigi Itaalia noorukite puhul. Selline uuring võib aga olla väga keeruline ja kulukas, kuna valim peab olema suur ja homogeenne.

2. Heterogeenne (heterogeenne) proov. Vastavalt uuringu eesmärkidele selgitatakse välja erinevad elanikkonnarühmad, mille kohta uuringu tulemusi oodatakse. Seejärel analüüsitakse juhuslikku valimit, et tagada igast rühmast piisav arv esindajaid.

3. Tüüpilise juhtumi näidis. Näiteks on antud keskmise itaallase definitsioon. Uuringus kasutatakse valimit, mis koosneb sellele määratlusele vastavatest isikutest. Kui siis tehakse ülikooliõpilastega näiteks läbirääkimisoskuse eksperiment, siis ei saa eeldada, et järeldused on rakendatavad ka riigipeadele.

Välist kehtivust vähendavad ka lahknevused laboris täheldatud nähtuste ja looduslikes tingimustes täheldatud nähtuste vahel. Raske on kindlaks teha, kas tuvastatud sõltuvus tekib ainult laboris või täheldatakse seda ka väljaspool laborit. Välise kehtivuse tagab korduv katsetamine heterogeensetes tingimustes.

Tuleb otsustada, milline valiidsuse tüüp on antud uuringus kesksel kohal. Tõepoolest, ühte tüüpi kehtivuse suurendamiseks kasutatavad protseduurid võivad vähendada teist tüüpi kehtivust.

Näiteks statistiliste järelduste paikapidavuse suurendamiseks peaks uurija kasutama võimalikult heterogeenseid objekte, vähendades sellega vigade võimalust. Samal ajal väheneb väline kehtivus.

Prioriteedi kehtivuse tüüp sõltub läbiviidava uuringu tüübist. Näiteks kui eksperimentaalne uuring loob muutujate vahel põhjuse-tagajärje seose, on sisemine kehtivus hädavajalik. Seevastu muutujatevaheliste korrelatsioonide arvutamisel pole põhjuse-tagajärje seoste suunda võimalik kindlaks teha, seega ei paku antud juhul sisemine kehtivus teiste kehtivustüüpidega võrreldes huvi.

Kehtivuse mõistega on seotud mõiste kontroll. Kontroll viitab mis tahes vahenditele, mida kasutatakse uuringu valiidsuse vähendamise võimaluse välistamiseks. Praktikas uurib teadlane, millised tegurid võivad uuringu valiidsust vähendada ja milliseid meetodeid saab kasutada nende tegurite neutraliseerimiseks.

Peamist kontrollimeetodit on kuus.

1. Üks enamkasutatavaid kontrollimeetodeid on katse läbiviimine katseisikute rühmaga, keda uuritav muutuja ei mõjuta ja keda võrreldakse katseisikutega, kes selle mõjuga kokku puutuvad. Näiteks uuritakse kahte rühma sõltumatu muutuja osas. 1. rühm saab sekkumise ja seda nimetatakse eksperimentaalseks. 2. rühma ei ravita ja seda nimetatakse kontrollrühmaks. Katserühma tulemusi võrreldakse kontrollrühma tulemustega. Kui kaks rühma olid enne eksperimentaalset sekkumist identsed, võib pärast katset täheldatud erinevusi seostada selle sekkumisega.