Czym się kończy faza MEASURE w projekcie Six Sigma? Jak pewnie pamiętacie z tego wpisu na końcu fazy MEASURE powinniśmy posiadać zebrane dane do wytypowanych zmiennych. Jako zebrane dane powinniśmy rozumieć informacje o tym jaką wartość miał nasz x (zmienna) przy osiągniętym wyniku procesu (Y). Sama budowa systemu pomiarowego (instrukcje, rodzaj danych, itp.) to temat na inny wpis, natomiast dzisiaj chciałbym się skupić na testowaniu zbudowanego wcześniej systemu.
Chcesz wiedzieć więcej o praktycznym zastosowaniu statystyki? Pobierz naszą darmową książkę
Celem takiej walidacji jest ocena, czy zmienność naszego systemu pomiarowego nie jest większa niż zmienność samego procesu. Jednym słowem, czy dane pobrane z procesu poprzez przygotowany układ pomiarowy nie wskażą nam wybranej zmiennej jako statystycznie istotnej przyczyny tylko dlatego, że były one nieprawidłowe. Przykładem może być tutaj sytuacja, gdy chcemy mierzyć dokładną długość dla stu metrowych desek (takie są oczekiwania klienta) w centymetrach za pomocą 10-cm linijki. Można podejrzewać, że w zależności od tego jak operator będzie przykładał się do pomiarów wyniki będą mniej lub bardziej dokładne i wskażemy np. że długość deski waha się od 85 do 120 cm (czyli z punktu widzenia klienta proces jest rozregulowany), a w rzeczywistości wartości pomiarów wahają się w granicach 98 do 101 cm.
Samo badanie Gage R&R skupia się na dwóch elementach:
Repeatability (Powtarzalność), w ramach którego badamy fluktuację w odpowiedziach lub rezultatach uzyskanych przez jednego operatora badającego ten sam przedmiot kilka razy.
Schemat 1
Jak widać na Schemacie 1 operator miał na celu zbadać sprawność dysku z danymi (Działa/Nie działa). W kolejnych badaniach ten sam dysk był oceniany w różny sposób co nie świadczy dobrze o układzie pomiarowym.
Reproducibility (Odtwarzalność), w ramach którego badamy fluktuację w odpowiedziach lub rezultatach uzyskanych przez różnych operatorów badających ten sam przedmiot.
Schemat 2
Jak widać na Schemacie 2 operatorzy badają niezależnie od siebie sprawność dysku z danymi (Działa/Nie działa). Kolejni operatorzy oceniają dysk w sposób powtarzalny oprócz ostatniego. Może to świadczyć o problemie w układzie pomiarowym.
Podstawowe pytanie jakie powinniśmy sobie zadać po wykonaniu badania Gage R&R brzmi: Czy zmienność mojego układu pomiarowego nie jest zbyt duża, by dobrze mierzyć poziom zmienności procesu?
W procesie badania systemu pomiarowego można wyróżnić dwie podstawowe ścieżki jego realizacji w zależności od danych jakie posiadamy. Dokładniejsza dane dzięki zwiększonej rozdzielczości układu dają nam dane ciągłe, natomiast nic nie stoi na przeszkodzie aby badać również system dla danych atrybutowych (tak/nie, dobrze/źle). Do analizy zebranych danych zalecam Minitab, dla którego w dalszej części opiszę sposób wprowadzenia danych oraz interpretację uzyskanych wyników.
Ścieżka 1 – Dane ciągłe
Przede wszystkim dla danych ciągłych powszechny standard mówi o tym, aby mierzyć co najmniej 10 różnych części przez 3 różnych operatorów w 3 niezależnych próbach. Daje to nam wynik 90 zmiennych do analizy. Dane powinniśmy przygotować w kolumnach:
- jedna kolumna do identyfikacji numeru części (tak, aby Minitab mógł rozróżnić części pomiędzy sobą),
- druga kolumna do identyfikacji mierzącego,
- w trzeciej kolumnie wpisujemy wyniki pomiarów.
Stosując powyższe reguły (uzyskaliśmy 90 wyników), chcemy sprawdzić system kontrolujący wagę składników produkowanego leku (Tablica 1)
Tablica 1
Aby przeanalizować tak zebrane dane musimy wczytać je do Minitaba i używając funkcji ‘Stat->Quality Tools->Gage Study->Gage R&R Study (Crossed)’ przygotować okno analizy danych (Schemat 3).
Schemat 3
Dla pola ‘Part numbers’ wybieramy kolumnę dla której oznaczone są numery próbek, części, elementów testowanych. Dla pola ‘Operators’ zaznaczamy kolumnę ze informacją o tym, jaki mierzący, operator badał daną część. ‘Measurement data’ służy do wybrania wyników naszych pomiarów. Resztę opcji, których zmianę umożliwia Minitab zostawiamy na domyślnych ustawieniach i potwierdzamy wybór poprzez ‘OK’.
O ile wszystko wykonaliśmy poprawnie naszym oczom powinno się ukazać okno podsumowania (Schemat 4), które postaram się objaśnić dla najważniejszych wykresów.
Schemat 4
Wykres 1
Wykres R Chart by Operator sprawdza czy występują wyniki, które mogą być spowodowane przyczynami specjalnymi (nie wynikającymi z naturalnej zmienności procesu) podczas pomiaru. Jeżeli jakikolwiek punkty są poza liniami czerwonymi trzeba sprawdzić czy dla badanej części nie ma jakiś specjalnych problemów lub czy nie nastąpił błąd przy wpisywaniu danych. Poszczególne punkty w granicach niebieskich linii są to średnie wyniki pomiaru dla danej próbki badanej przez wskazanego operatora z 3 pomiarów.
Wykres 2
Wykres ‘Wynik pomiaru (mg) by Operator’ obrazuje odtwarzalność pomiaru poprzez pokazanie wyników poszczególnych mierzących. Punkty pokazują wyniki konkretnych pomiarów dla wszystkich części w podziale na operatorów. Linia to różnice w średniej pomiędzy operatorami. Jak widać na tym przykładzie średnia dla operatora C jest niższa w stosunku do dwóch pozostałych operatorów. Dla dobrego systemu pomiarowego odcinek łączący wszystkich operatorów powinien być prostą równoległą do osi X.
Wykres 3
Kolejny wykres to interakcja pomiędzy próbką (częścią), a operatorem, która ma na celu zaobserwowanie czy w przypadku którejś z próbek nie wystąpiły trudności w pomiarze. Dodatkowo wykres jest rozdzielony na poszczególnych mierzących. Analizując powyższe dane można powiedzieć, że największe problemy wystąpiły dla próbek: 1, 2,10. A operator C ważąc próbki niedoważał je w stosunku do pozostałych operatorów (mniejsza średnia z pomiaru każdej próbki).
Wykres 4
Dzięki wykresowi ‘Components of Variation’ możemy zobaczyć podsumowanie całego badania Gage R&R. Zielone słupki obrazują ‘% Study Var’ parametr, który pozwala stwierdzić, czy system pomiarowy jest akceptowalny w danej kategorii. Dzięki pomarańczowym słupkom ‘%Contribution’ możemy porównać kategorie pomiędzy sobą. Dane z ‘Contribution’ sumują się do 100%. Idąc od lewej kolejne kategorie to ‘Gage R&R’, który sumuje badanie odtwarzalności i powtarzalności z rozbiciem na podkategorie (Repeat and Reprod). Ostatnia kategoria to ‘Part to Part’ i jest istotna w sytuacji gdy wymiary wszystkich części miały być identyczne. Nie samą grafiką Minitab stoi tak więc warto również spojrzeć w okno sesji dzięki któremu można doprecyzować wyniki badania (Schemat 5).
Schemat 5
Podsumowując, badanie Gage R&R w celu podjęcia decyzji warto zawsze to robić biznesowo używając opisanych dalej przedziałów akceptowalności. R&R mniejsze niż 10% oznacza, że system pomiarowy jest akceptowalny i jak najbardziej może służyć do zbierania danych. Jeżeli R&R waha się pomiędzy 10% i 30% system pomiarowy może być zaakceptowany, natomiast trzeba podjąć decyzję związaną z rodzajem badanych danych, narzędziami i kosztem. Dla R&R większego niż 30% system pomiarowy jest nie do zaakceptowania. Trzeba odnaleźć problem i usunąć główne przyczyny zmienności. Dla Repetability to może związane np. z przeszkoleniem pomiarowego, zmianą pomiarowego, poprawą warunków pomiarowych. Dla Reproducibility warto skupić się na poprawie instrukcji pomiarowych, doszczegółowieniu standardów pomiarowych, poprawie definicji operacyjnych.
Ścieżka 2 – Dane atrybutowe
Omawiając badanie systemu pomiarowego dla danych atrybutowych, trzeba pamiętać o tym, że dane atrybutowe mają dużo niższą rozdzielczość co skutkuje tym, że trzeba ich zebrać więcej w trakcie badania. Powszechny standard mówi o tym, że badane powinno być minimum 20 elementów w 3 niezależnych pomiarach przez 3 operatorów. Dodatkowo w badanej próbce trzeba zapewnić zarówno elementy dobre jak i złe, tak aby ocena systemu pomiarowego była rzeczywiście możliwa. W celu pokazania jak funkcjonuje badanie wyobraźmy sobie, że testujemy cukierki M&Ms na podstawie poprawności logo na każdym z nich. Operator po badaniu stwierdza czy cukierek jest Dobry (OK) albo Niedobry (Wrong) . Poniżej (Tablica 2) zebrane podczas badania dane:
Tablica 2
Aby przeanalizować tak zebrane dane musimy wczytać je do Minitaba i używając funkcji ‘Stat->Quality Tools->Attribute Agreement Analysis’ przygotować okno analizy danych (Schemat 5).
Schemat 5
Po sekundzie od potwierdzenia naszym oczom powinno ukazać się okno podsumowania. Podobnie jak w przypadku danych ciągłych mamy podsumowanie graficzne (Schemat 6) oraz szczegółowe dla danych w oknie sesji.
Schemat 6
Interpretacja wyników skupia się na dwóch elementach:
- Powtarzalność decyzji operatorów (Within Appraisers) pokazywana jako wynik procentowy. Kropka na linii oznacza rzeczywisty wynik w ramach powtarzalności natomiast czerwona linia biegnąca w obu kierunkach wskazuje przedział ufności (CI 95%). Przedział ufności zależy m.in. od ilości sprawdzanych elementów i odczytywać go można jako zakres w którym z 95% pewnością znajdzie się każdy wynik kolejnego badania przeprowadzonego w takich samych warunkach (procedury, operatorzy, ich doświadczenie itp.).
- Gdy zbierzemy dane dla oceny eksperckiej otrzymamy wykres ‘Appraiser vs Standard’, który obrazuje zgodność decyzji operatorów z przyjętym standardem.
Jak widać najlepsze wyniki uzyskał Wojtek zarówno dla powtarzalności swoich decyzji jak i zgodności z oceną ekspercką (95%). Najgorzej wypada Marek, który dla powtarzalności swoich decyzji uzyskał 70%, a dla zgodności z oceną ekspercką 60%. Cały system pomiarowy przy uzyskanych wynikach nie powinien być uznany jako prawidłowy, gdyż wykazuje dość dużą zmienność. Im wyniki % byłyby wyższe, a przedziały ufności węższe tym zebrane w ramach pomiarów dane będą wiarygodniejsze. Niskie wyniki w ramach ‘Within Appraisers” wskazują na to, że operatorzy potrzebują pomocy w zgodności swoich decyzji – np. poprzez poprawienie warunków pomiaru. Niskie wyniki w ramach ‘Appraiser vs Standard’ wskazują na potrzebę poprawy definicji operacyjnych (instrukcji pomiarowych) w zakresie kryteriów akceptowalności wspieranych chociażby przez standardy wizualizacyjne.
Dla okna sesji warto spojrzeć na pole ‘Between Appraisers’ (Schemat 7), które pokazuje, że jedynie dla 9 elementów z 20 sprawdzanych nastąpiła całkowita zgodność wyników pomiędzy operatorami oraz na pole ‘All appraisers vs Standard’ (Schemat 8) dla którego wynik jest podobny i oznacza, że jedynie dla 9 elementów nastąpiła zgodność wszystkich wyników operatorów z przyjętym standardem.
Schemat 7
Schemat 8
Liczę na to, że udało mi się w miarę przystępny sposób wyjaśnić sposób wprowadzania danych oraz ich interpretacji dla badania Gage R&R. Na sam koniec kilka haseł, o których warto pamiętać:
- wybieraj próbkę do badania w sposób losowy, tak samo przeprowadzaj kolejne przebiegi badania;
- upewnij się, że wybrane próbki reprezentują cały zakres procesu (zmienność długoterminowa). Można to na przykład osiągnąć pobierając próbki przez dłuższy okres czasu;
- w miarę możliwości wykonaj badanie w standardowych warunkach co rzeczywisty docelowy pomiar (ci sami pracownicy, brak treningu, ta sama lokalizacja);
- operatorzy nie mogą być świadomi w trakcie badania którą próbkę mierzą w danym momencie (nie zapisuj numerów próbek na badanych elementach).
Jerzy Łukomski
