Jak ułożyć dobry test

Prawdziwe czy fałszywe są stwierdzenia: Test jest najszybszą formą sprawdzenia wiedzy dużej grupy osób. Pozwala wybrać najlepszych kandydatów do pracy. Większość ludzi lubi rozwiązywać testy. Nie ma znaczenia, czy padła trzy razy odpowiedź: prawda, czy trzy razy odpowiedź: fałsz. Najlepsza byłaby odpowiedź tu nieuwzględniona: to zależy.

Najszybciej sprawdza wiedzę?

Tak, pod warunkiem że test jest prawidłowo zredagowany, a jego autorzy uważnie zaplanowali system oceny. Jednym z najczęściej popełnianych podczas układania testu błędów są nieścisłe pytania lub nieścisłe odpowiedzi (zobacz przykład 1). Bywa, że autorzy - specjaliści, na co dzień zajmujący się swoją branżą, zupełnie nie uwzględniają, że testowani przez nich kandydaci do pracy mają zupełnie inne doświadczenia i źródła wiedzy.

W teście na stanowisko specjalisty w instytucji publicznej zajmującej się kontaktami zagranicznymi padło otwarte pytanie: Co to jest zasada alternacji? Pytający oczekiwali odpowiedzi dotyczącej protokołu dyplomatycznego: alternacja to przemienność składania wizyt, a także sposób przygotowania i podpisywania umów międzynarodowych. Jeden z kandydatów podał odpowiedź: alternacja jest powtarzaniem się w pewnym układzie różniących się między sobą elementów, np. kolumn i filarów. Trzeba było tę odpowiedź uznać za prawidłową, mimo że poszukiwany był specjalista ds. kontaktów międzynarodowych, znający protokół dyplomatyczny, a otrzymano odpowiedź godną architekta lub projektanta. A wystarczyło ściślej zredagować pytanie: Czym w stosunkach międzynarodowych jest zasada alternacji?

Inny przykład z testu w urzędzie samorządu wojewódzkiego: na pytanie „Co oznacza skrót RPO?” autorzy oczekiwali odpowiedzi: Regionalny Program Operacyjny, otrzymali: Rzecznik Praw Obywatelskich.

Jedyny sposób, by ustrzec się takich wpadek, zniekształcających ostateczny wynik testu i znacznie wydłużających jego sprawdzanie, to symulacyjne sprawdzanie jednoznaczności pytań i odpowiedzi. Najłatwiej: dając test do rozwiązania kilku osobom niezaangażowanym w jego tworzenie.

UWAGA

Jeśli potrzebujemy pracownika, który będzie musiał pracować pod presją czasu, zawsze trochę na wczoraj, zredagujmy test zdecydowanie za długi na czas, który dajemy do rozwiązania. My wiemy, że część pytań musi zostać bez odpowiedzi, ale tylko tak uzyskamy wiedzę, którzy kandydaci nie wpadli w panikę. Jeśli poszukujemy kogoś bardzo komunikatywnego, punktujmy wyżej zadania polegające na redagowaniu lub czytaniu ze zrozumieniem tekstów. Jeżeli kogoś bardzo skrupulatnego, zwiększmy liczbę zadań polegających na wyłapaniu szczegółów (tu dobrze sprawdzają się pytania: prawda czy fałsz).

Minus dodatni

Przy redagowaniu testu lepiej z góry nie tylko opracować klucz, umożliwiający szybkie i mechaniczne sprawdzanie, ale także ustalić schemat oceniania. Trzeba np. podjąć decyzję, czy będziemy stosować punkty ujemne za błędne odpowiedzi. Pozwoli to przynajmniej częściowo wyeliminować osoby rozwiązujące na chybił trafił. Punkty ujemne nieco wydłużają czas sprawdzania i podliczania wyników. Zaniżają znacząco średni wynik uzyskiwany w takim teście. Przy trudnych testach mogą też zafałszować wyniki: zdarza się, że piszący rezygnują z zaznaczenia odpowiedzi, mimo że znają prawidłową. Stres potrafi skutecznie zablokować myślenie! Z drugiej strony stosowanie punktów ujemnych rzeczywiście ogranicza przypadkowość ocen (zobacz przykład 2).

Trzeba też zaplanować, jak będziemy punktować odpowiedzi na polecenia typu „Proszę podać przynajmniej trzy akty prawne, które regulują funkcjonowanie placówek oświaty”. Czy za każdy z trzech wymienionych aktów dajemy po jednym punkcie, czyli w sumie trzy? A jeśli ktoś wymienił więcej niż trzy - dajemy dodatkowe punkty? Czy, jeśli wymieniono dwa akty prawne, to dajemy zero, bo miały być przynajmniej trzy? A może minus jeden, bo w końcu nie udzielono pełnej poprawnej odpowiedzi?

Chcąc uniknąć takich dylematów, trzeba system przyznawania punktów zaplanować już na etapie układania testu. Przy dużej liczbie testów do sprawdzenia staranne przygotowanie klucza i systemu ocen umożliwia zachowanie obiektywizmu, nawet gdy test sprawdza kilka osób.

Ściągi i gotowce

W Internecie można się natknąć na generatory testów. Nawet jeśli będziemy z tych programów korzystać, to i tak ułożenie pytań należy do nas. Większość programów pozwala jedynie grupować w bazach pytania i tworzyć szablon arkusza testowego. Test ze swej natury obciążony ułomnością schematyzmu warto dla celów rekrutacji pracowników tworzyć bardziej autorsko.

Etapy przygotowania testu rekrutacyjnego

1. Ściśle określ, czego oczekujesz po wynikach testu: jakiego pracownika, do jakich zadań chcesz w ten sposób znaleźć.

2. Naszkicuj sobie schemat osobowy poszukiwanego pracownika (może być w formie tabeli: kompetencje niezbędne i kompetencje pożądane, umiejętności niezbędne i pożądane, niezbędne cechy charakteru, braki uniemożliwiające pracę na jego stanowisku etc.). Dopiero teraz podejmij decyzję, czy test jest w tym przypadku dobrą techniką rekrutacji.

3. Ułóż pytania i pogrupuj je według kategorii, np. podstawowa wiedza w określonym zakresie, szczegółowa wiedza niezbędna na tym stanowisku pracy, umiejętności. Ułóż pytania sprawdzające rzetelność odpowiedzi (badające np. tę samą wiedzę, ale posługujące się innymi sformułowaniami).

4. Ułóż pytania lub zadania otwarte sprawdzające umiejętności i odrzuć nadmiar pytań sprawdzających znajomość encyklopedycznych szczegółów.

5. Przygotuj klucz z odpowiedziami, zaznaczając graficznie (np. kolorem) pytania sprawdzające rzetelność odpowiedzi (jeśli jedna odpowiedź jest prawidłowa, druga nie, powinieneś odrzucić obie).

6. Opracuj system punktowania i zasady oceny.

7. Zredaguj całość testu.

8. Przetestuj test! (Daj do rozwiązania test kilku osobom ze swojego otoczenia), a później sprawdź pytania i odpowiedzi, które budziły wątpliwości, oblicz czas niezbędny do rozwiązania testu (przy trudnych, specjalistycznych testach, a także przy testach z dużą liczbą pytań/zadań otwartych załóż, że czas niezbędny do rozwiązania to średni czas, w którym wykonywały go osoby z najbliższego otoczenia plus 25 proc.).

9. Przygotuj test do wydrukowania, nie zapominając, że jego forma i wygląd także budują wizerunek twojej firmy.

PRZYKŁAD 1

Czy można w trybie przetargu zrealizować zamówienie publiczne na zakup środków produkcji o wartości 53 tysiące złotych?

a) tak

b) nie

c) tylko w przypadku zakupu maszyn i urządzeń

d) tak, jeśli zamówienie realizują dostawcy, nie producenci

Autorowi testu chodziło oczywiście o zaznaczenie odpowiedzi „nie”, bo kandydat wykazałby się wiedzą, że przy zamówieniu tej wartości (poniżej równowartości 14 tys. euro) nie ma konieczności stosowania ustawy o zamówieniach publicznych.

Ale przy tak sformułowanym pytaniu trzeba odpowiedź „tak” też potraktować jako prawidłową: w końcu nikt nie zakazał stosowania tego trybu przy takiej wartości zamówienia publicznego... (pominąwszy, że trudno wyobrazić sobie w Polsce kogokolwiek zdrowego na umyśle z własnej nieprzymuszonej woli decydującego się na prowadzenie przetargu).

Powyższe pytanie powinno więc brzmieć nie: „czy można w trybie...” a „czy musimy w trybie przetargu (jak jakimkolwiek innym)...”.

Czynniki zewnętrzne

Służbom HR jest czasem wygodnie stosować testy jako podstawowy element rekrutacji. Nim łatwo się do nich przyzwyczaimy, warto spojrzeć na efektywność testów krytycznie. Nawet prawidłowo zredagowany test, z dobrym kluczem i systemem oceniania, nie gwarantuje nam, że w jego wyniku znajdziemy rzeczywiście najlepszych kandydatów do pracy.

Warto pamiętać, że na wynik testu rzutuje nie tylko jego zawartość, ale całe mnóstwo czynników zewnętrznych.

Na niektóre mamy wpływ: odpowiednio wcześniej podany termin testu, wygodne miejsce przeprowadzania testów, przyjazna atmosfera, jednoznaczne wytłumaczenie uczestnikom, jakie są zasady postępowania.

Jeśli naprawdę zależy nam na pozyskaniu świetnych kandydatów, warto tak prowadzić rekrutację, by test był tylko jednym z etapów, a ostatecznego wyboru dokonujemy na podstawie analizy dokumentów, wyników testu i rozmowy kwalifikacyjnej.

Ale są czynniki, o których nie mamy pojęcia, a które mogą skutecznie pogorszyć wynik uzyskany z testu: gorszy stan zdrowia, lęk wynikający ze złych doświadczeń z wcześniejszych sytuacji egzaminacyjnych, nieprzespana z powodu pełni księżyca noc. Można wyliczać w nieskończoność.

Wiedza i przydatność 40-latka mogą okazać się znacznie większe niż 25-latka, a w teście ten starszy przepadnie, bo nie ma nawyków uczenia się i odpowiadania schematem testu. Świetny wynik testu kogoś gburowatego należy zweryfikować, jeśli rekrutujemy pracownika pierwszego kontaktu, ale ten sam gburowaty, a kompetentny nie będzie zły w archiwum.

Za pomocą testu badamy poziom ściśle określonej wiedzy (kompetencje) i - w ograniczonym zakresie - umiejętności. Przy okazji badania poziomu wiedzy można ocenić np. spostrzegawczość, umiejętność kojarzenia faktów, umiejętność zarządzania czasem lub zadaniem.

Zupełnie bez sensu jest stosowanie testu przy rekrutacji na stanowiska, na których potrzeba ludzi twórczych, niepokornych, kreatywnych - nawet najlepiej skonstruowany test wykluczy najlepszych kandydatów. To trochę tak jakby odtwórcy roli Hamleta poszukiwać, sprawdzając w teście znajomość biografii Szekspira czy historii teatru europejskiego.

Najczęściej stosowane rodzaje testów:

• wyboru - pytanie i dołączone do niego odpowiedzi,

• jednokrotnego wyboru - tylko jedna odpowiedź jest prawidłowa,

• wielokrotnego wyboru - więcej niż jedna odpowiedź może być prawidłowa,

• prawda/fałsz - uczestnicy testu określają prawidłowość przytoczonych zdań,

• pytania otwarte - uczestnicy muszą sami sformułować odpowiedź lub dokończyć rozpoczętą odpowiedź.

PRZYKŁAD 2

Test dla kandydujących na stanowisko sekretarki zawierał zadania sprawdzające umiejętności językowe. Jedno z nich polegało na konieczności zaznaczenia w podanych zdaniach błędów. Niektórzy kandydaci zaznaczali prawidłowo, ale robili dopiski, z których wynikało, że i tak nie znają formy prawidłowej: Spotkanie akcjonariuszy zaplanowano na dwudziesty kwiecień dwutysięcznego ósmego roku. Gdyby rozwiązująca test poprzestała na podkreśleniu niepoprawnej formy daty, zyskałaby dwa punkty za: dwudziesty kwietnia i dwa tysiące ósmego. Ponieważ dopisała: dwudziestego kwietnia i 2008 zaliczyła punkty ujemne.

 

Jolanta Cianciara

Autorka jest dziennikarzem, menedżerem i nauczycielem akademickim. Zarządzała zespołami pracowników w spółkach komercyjnych, Skarbu Państwa i urzędach administracji publicznej. Obecnie m.in. odpowiada za zarządzanie i rozwój zasobów ludzkich w Urzędzie Marszałkowskim Województwa Dolnośląskiego oraz prowadzi firmę doradztwa personalnego i wizerunkowego.

Kontakt:

jolantacianciara@op.pl