Użyteczność różnych metod pomiaru kompetencji należy oceniać przez pryzmat kilku kryteriów jednocześnie. Tylko wtedy możemy docenić rzeczywistą wartość danej metody.
Kryteria użyteczności
Do kluczowych kryteriów oceny użyteczności metod pomiaru kompetencji należy zaliczyć trafność, efektywność oraz szerokość zakresu stosowalności. Jeśli skorzystamy tylko z jednego z powyższych kryteriów, możemy dojść do fałszywych wniosków. Jeżeli bowiem uwzględnimy tylko trafność pomiaru, czyli przydatność danej metody do oszacowania poziomu wybranych kompetencji, to za najbardziej użyteczne metody pomiaru kompetencji uznamy testy zadaniowe, czyli symulacje wykorzystywane podczas assessment center, oraz wywiady kompetencyjne, nazywane także ustrukturyzowanymi, które bazują na tzw. pytaniach sytuacyjnych. Niestety, rzeczywista użyteczność tych metod jest szybko weryfikowana, jeśli uwzględnimy jednocześnie efektywność pomiaru, czyli zakres zasobów czasu, i finansów, które należy poświęcić, aby za pomocą danej metody oszacować poziom kompetencji. Wykorzystanie wywiadów kompetencyjnych na szerszą skalę, w sytuacji kiedy badaniu należy poddać więcej niż kilku kandydatów lub pracowników, jest po prostu mało ekonomiczne czasowo. Natomiast zastosowanie na szerszą skalę testów zadaniowych jest mało ekonomiczne zarówno pod względem czasowym, jak i finansowym. Obie powyższe metody doskonale się sprawdzą w przypadku selekcji zawodowej lub identyfikacji potrzeb szkoleniowych i oceny efektywności szkoleń, jeśli są stosowane na małą skalę, czyli w odniesieniu do grupy kilku, co najwyżej kilkunastu, kandydatów lub pracowników. Oznacza to jednocześnie, że trudno je uznać za metody pomocne w audycie kompetencji, który przeprowadza się zazwyczaj na masową skalę, badając dziesiątki, lub większą liczbę osób.
Efektywny pomiar kompetencji na szeroką skalę zapewnia metoda oceny wieloźródłowej popularnie nazywana oceną 360 stopni. Jednakże zakres jej stosowalności w praktyce sprowadzić można do audytu kompetencji oraz analizy potrzeb szkoleniowych i oceny efektywności szkoleń. Ocena wieloźródłowa nie może być zastosowana w procesie selekcji zawodowej. Jedyną metodą, która spełnia wszystkie trzy kryteria, a więc zapewnia wystarczającą trafność i wysoką efektywność pomiaru oraz szeroki zakres stosowalności od selekcji zawodowej, przez audyt kompetencji, aż po analizę potrzeb szkoleniowych i ocenę efektywności szkoleń, jest metoda Situational Judgment Test.
Formaty na różne okazje
W metodzie SJT zadaniem osoby badanej jest udzielenie odpowiedzi na pytania hipotetyczne (zwane także sytuacyjnymi). Każde z pytań zawartych w teście opisuje sytuację, która może wystąpić na danym stanowisku pracy oraz prezentuje kilka (zazwyczaj od trzech do pięciu) opcji odpowiedzi do wyboru. Przedstawiają one różne strategie działania – alternatywne sposoby postępowania w sytuacji opisywanej w pytaniu. Zadaniem badanego jest wybór opcji odpowiedzi, którą uważa za optymalny lub najbardziej efektywny sposób postępowania w danej sytuacji. Alternatywnie badany może być proszony o wskazanie opcji, która najlepiej oddaje to, co on skłonny byłby zrobić w danej sytuacji. Wybór optymalnej strategii oraz wybór preferowanego sposobu działania to dwa różne formaty odpowiedzi. W poprawnie skonstruowanym teście wszystkie pytania mają jeden format odpowiedzi.
Testy, których instrukcje wymagają od osób badanych wyboru optymalnych strategii postępowania w opisywanych sytuacjach, charakteryzują się zazwyczaj wyższymi wskaźnikami trafności prognostycznej w odniesieniu do efektywności funkcjonowania. Stąd testy z tym formatem odpowiedzi polecane są na etapie selekcji zawodowej. Ich wyniki stanowią dobrą podstawę do przewidywania potencjalnej efektywności funkcjonowania kandydatów na wakującym stanowisku. Warto dodać, że niekiedy w przypadku tego formatu odpowiedzi badany ma nie tylko wskazać optymalną strategię działania w danej sytuacji, lecz także odrzucić tę, którą uważa za najmniej skuteczną. Najwyżej punktowana w tym przypadku jest odpowiedź, która poprawnie identyfikuje optymalną strategię postępowania oraz poprawnie odrzuca najmniej efektywną. Z kolei testy, które wymagają od osób badanych wskazania preferowanego sposobu działania w opisywanych sytuacjach, są zalecane na etapie identyfikacji potrzeb szkoleniowych oraz oceny efektywności szkoleń. Pozwalają bowiem oszacować charakterystyczne dla danej osoby wzorce działania w konkretnych sytuacjach oraz ewentualną zmianę w zakresie gotowości do modyfikacji tych wzorców (zobacz obok przykład pytania testowego w metodzie SJT).
Ergonomiczne testowanie
Użyteczność metody SJT zależy od spełnienia kilku warunków. Oprócz wyboru odpowiedniego formatu odpowiedzi, adekwatnie do celu badania, kluczowym warunkiem jest zapewnienie pytaniom testowym wysokiej tzw. trafności treściowej. Pojęcie to odnosi się do zakresu, w jakim treści pytań oraz propozycji odpowiedzi odzwierciedlają główne wyzwania, które rzeczywiście pojawiają się na danym stanowisku, oraz precyzyjnie opisują strategie działania, zarówno pożądane, jak i niepożądane, które są rzeczywiście obserwowane u osób, które piastują dane stanowisko. Zapewnienie testowi wysokiej trafności treściowej wymaga, aby jego konstruowanie oprzeć albo na rzetelnej analizie tzw. wypadków krytycznych, albo na aktualnym modelu kompetencyjnym precyzującym wymagane na danym stanowisku kompetencje oraz ich wskaźniki behawioralne, optymalnie także z wykazem tzw. zachowań negatywnych dla poszczególnych kompetencji. Kolejnym warunkiem wysokiej użyteczności metody SJT jest zapewnienie osobom badanym ergonomii jego wypełniania. Wymaga to od konstruktora testu m.in. wyboru odpowiedniej liczby pytań. Szacuje się, że osoby badane potrzebują przynajmniej 1 minuty na udzielenie przemyślanej odpowiedzi na rozbudowane pytanie sytuacyjne. Jednocześnie rzetelny pomiar jednej kompetencji wymaga zazwyczaj zastosowania od czterech do ośmiu pytań. Tym samym na ocenę jednej kompetencji należy zarezerwować przynajmniej od 4 do 8 minut. Tymczasem badanie nie powinno trwać dłużej niż 30–45 minut, gdyż przedłużający się czas badania wpływa niekorzystnie na rzetelność i trafność wyników, co jest spowodowane postępującym zmęczeniem i rozkojarzeniem osoby wypełniającej test. Zatem w praktyce test nie powinien zawierać więcej niż 40 pytań. Taka liczba pozwala oszacować jednocześnie do dziesięciu kompetencji.
Innowacje w metodzie
Testy SJT dostępne są w wersji „papier i ołówek” oraz zinformatyzowanej. Informatyzacja testu ułatwia proces badania m.in. poprzez automatyczne zliczanie i raportowanie wyników. Umożliwia to efektywne przeprowadzenie badań (audytu) kompetencji na dużą skalę. Co więcej, zaawansowane systemy diagnostyczne umożliwiają kolejność pytań w teście, losowanie pytań testowych użytych w danym badaniu z banku pytań oraz mieszanie opcji odpowiedzi w ramach danego pytania. Pozwala to uchronić test, którego opracowanie jest często żmudnym procesem, przed zbyt wczesnym „zestarzeniem się” i koniecznością jego szybkiej aktualizacji wymuszoną tym, że potencjalni kandydaci zdążyli już „rozgryźć” pytania testowe. Istotną innowacją w testach SJT jest zastąpienie lub uzupełnienie opisów słownych sytuacji użytych w pytaniach testowych animacjami lub krótkimi filmami wideo. Tego typu rozwiązania są szczególnie zalecane w przypadku oceny kompetencji społecznych, których ocena wymaga zdolności zrozumienia sytuacji społecznej na podstawie nie tylko słów, lecz także elementów niewerbalnych, czyli zachowań, gestów i póz uczestników danej sytuacji. Wideotesty kompetencyjne pozwalają rzetelniej oszacować kompetencje społeczne ważne na każdym stanowisku, które wymaga kierowania innymi, współpracy w zespole, negocjowania z kontrahentami lub obsługiwania klientów.
Przykład pytania testowego w metodzie SJT
Poniższe pytanie zostało opracowane na użytek pomiaru kompetencji „Zarządzanie konfliktem”, zaś format odpowiedzi wymaga od osoby badanej wskazania preferowanego przez nią sposobu działania w opisywanej sytuacji. Opcje odpowiedzi uwzględniają wskaźniki behawioralne badanej kompetencji oraz zachowania negatywne sygnalizujące (zbyt) niski poziom ocenianej kompetencji zgodnie z firmowym modelem kompetencji.
W zarządzanym przez Ciebie zespole dwie osoby ewidentnie nie przepadają za sobą. W trakcie dyskusji na forum zespołu często docinają sobie i sprzeczają się ze sobą. Co robisz w takiej sytuacji? Wybierz jedną z poniższych opcji odpowiedzi:
A. Wzajemne animozje między członkami mojego zespołu nie interesują mnie, póki nie mają dezorganizującego wpływu na efekty pracy. Tak więc nie podejmuję żadnych działań, póki zespół pracuje efektywnie i realizuje zamierzone cele.
B. Dostrzegam konflikt i biorę odpowiedzialność za jego rozwiązanie. Konfrontuję skonfliktowane ze sobą osoby na osobności, otwarcie im komunikując, że nie będę tolerował takich zachowań oraz że oczekuję od nich profesjonalnego podejścia.
C. Mam świadomość konfliktu, lecz nie podejmuję się roli mediatora lub arbitra, o ile jedna lub obie strony nie poproszą mnie o to.
D. Chcąc ukrócić tego typu niestosowne zachowania, otwarcie, na forum całego zespołu, informuję skonfliktowane ze sobą osoby, że nie zamierzam dalej tolerować tego typu zachowań.