Úspěch jakéhokoli modelu umělé inteligence závisí na kvalitě dat dodávaných do systému. Systémy ML běží na velkém množství dat, ale nelze od nich očekávat, že budou fungovat s jakýmikoli daty. Musí to být vysoce kvalitní tréninková data AI. Pokud výstup z modelu AI musí být autentický a přesný, netřeba dodávat, že data pro trénování systému by měla mít vysokou úroveň.
Data, na kterých se trénují modely AI a ML, by měla mít prvotřídní kvalitu, aby z nich mohla firma čerpat smysluplné a relevantní poznatky. Pořizování obrovských objemů heterogenních dat však pro společnosti představuje výzvu.
Společnosti by se měly spoléhat na poskytovatele, jako je Shaip, kteří ve svých procesech zavádějí přísná opatření pro řízení kvality dat, aby čelili této výzvě. Kromě toho ve společnosti Shaip také provádíme nepřetržitou transformaci našich systémů, abychom čelili vyvíjejícím se výzvám.
Úvod do Shaip's Data Quality Management
Ve společnosti Shaip chápeme význam spolehlivých školicích dat a jejich roli při vývoji modelů ML a výsledků řešení založených na umělé inteligenci. Kromě prověřování dovedností našich pracovníků se stejnou měrou zaměřujeme na rozvoj jejich znalostní základny a osobní rozvoj.
Dodržujeme přísné směrnice a standardní provozní postupy implementované na všech úrovních procesu, aby naše tréninková data splňovala měřítko kvality.
Řízení jakosti
Náš pracovní postup řízení kvality byl zásadní při poskytování modelů strojového učení a umělé inteligence. Náš model řízení kvality se zpětnou vazbou je vědecky testovaná metoda, která nám pomohla úspěšně realizovat několik projektů pro naše klienty. Náš proces auditu kvality probíhá následujícím způsobem.
- Revize smlouvy
- Vytvořte kontrolní seznam auditu
- Zdroj dokumentů
- Sourcing 2-Layer Audit
- Moderování textu anotace
- Anotace 2-Layer Audit
- Předání Díla
- Zpětná vazba klienta
Výběr a registrace pracovníků Crowdsource
Náš přísný výběr pracovníků a proces zařazení nás odlišuje od zbytku konkurence. Provádíme přesný výběrový proces, abychom na palubu zapojili pouze ty nejzkušenější anotátory na základě kontrolního seznamu kvality. Zvažujeme:
- Předchozí zkušenosti jako textový moderátor, aby jejich dovednosti a zkušenosti odpovídaly našim požadavkům.
- Výkon v předchozích projektech k zajištění jejich produktivity, kvality a výstupu byly na stejné úrovni s potřebami projektu.
- Předpokladem pro výběr konkrétního pracovníka pro konkrétní odvětví jsou rozsáhlé doménové znalosti.
Náš výběrový proces zde nekončí. Pracovníky podrobujeme vzorovému anotačnímu testu pro ověření jejich kvalifikace a výkonnosti. Na základě výkonu ve studii, analýzy neshod a otázek a odpovědí budou vybráni.
Jakmile budou pracovníci vybráni, projdou důkladným školením s využitím projektového SOW, pokynů, metod vzorkování, výukových programů a dalších v závislosti na potřebě projektu.
Kontrolní seznam sběru dat
Jsou zavedeny dvouvrstvé kontroly kvality, aby bylo zajištěno pouze to vysoce kvalitní tréninková data přechází do dalšího týmu.
Úroveň 1: Kontrola kvality
Tým QA společnosti Shaip provádí kontrolu kvality 1. úrovně pro sběr dat. Zkontrolují všechny dokumenty a rychle je ověří podle potřebných parametrů.
Úroveň 2: Kontrola kritické analýzy kvality
Tým CQA složený z ověřených, zkušených a kvalifikovaných zdrojů vyhodnotí zbývajících 20 % retrospektivních vzorků.
Některé z položek kontrolního seznamu kvality získávání dat zahrnují,
- Je zdroj adresy URL autentický a umožňuje seškrabování dat z webu?
- Jsou adresy URL zařazené do užšího seznamu různorodé, aby se zabránilo zkreslení?
- Je obsah ověřen z hlediska relevance?
- Obsahuje obsah kategorie moderování?
- Jsou pokryty prioritní domény?
- Je zdroj typu dokumentu s ohledem na distribuci typu dokumentu?
- Obsahuje každá třída moderování minimální objem?
- Je dodržován proces zpětné vazby?
Kontrolní seznam anotace dat
Podobně jako u Sběru dat máme také dvě vrstvy kontrolního seznamu kvality pro anotaci dat.
Úroveň 1: Kontrola kvality
Tento proces zajišťuje, že 100 % dokumentů je správně validováno podle parametrů kvality stanovených týmem a klientem.
Úroveň 2: Kontrola kritické analýzy kvality
Tento proces zajišťuje, že 15 až 20 % retrospektivních vzorků je také validováno a je zajištěna kvalita. Tento krok provádí kvalifikovaný a zkušený tým CQA s minimálně 10 lety zkušeností v řízení kvality a držitelé Black Belt.
Tým CQA zajišťuje,- Konzistence v moderování textu uživateli
- Kontrola, zda jsou pro každý dokument použity správné fráze a třídy moderování
- Kontrola metadat
Poskytujeme také denní zpětnou vazbu na základě Paretova analýza zajistit, aby jejich výkon byl na stejné úrovni s požadavky klienta.
Vložili jsme další vrstvu analýzy výkonu, abychom se zaměřili na nejméně výkonné anotátory pomocí správy spodních kvartilů. Před konečným dodáním také zajišťujeme provedení hygienických kontrol vzorků.
Mezní hodnota parametru
V závislosti na směrnicích projektu a požadavcích klienta máme prahovou hodnotu parametru 90 až 95 %. Náš tým je vybaven a má zkušenosti, aby provedl kteroukoli z následujících metod k zajištění vyšších standardů řízení kvality.
- F1 Score nebo F Measure – k posouzení výkonu dvou klasifikátorů – 2* ((Přesnost * Vyvolání)/ (Přesnost + Vyvolání))
- Metoda DPO neboli Defects per Opportunity se vypočítá jako poměr vad dělený příležitostmi.
Vzorový kontrolní seznam auditu
Vzorový kontrolní seznam auditu společnosti Shaip je kompletní postup přizpůsobení, který lze upravit tak, aby vyhovoval požadavkům projektu a klienta. Lze jej upravit na základě zpětné vazby od klienta a dokončit po důkladné diskusi.
- Kontrola jazyka
- Kontrola URL a domény
- Kontrola diverzity
- Hlasitost podle jazyka a hodiny moderování
- Cílená klíčová slova
- Typ dokumentu a jeho relevance
- Kontrola toxických frází
- Kontrola metadat
- Kontrola konzistence
- Kontrola třídy anotace
- Jakékoli další povinné kontroly dle preferencí klienta
Tým CQA zajišťuje,Přijímáme přísná opatření k udržení standardů kvality dat, protože chápeme, že všechny modely založené na umělé inteligenci jsou založeny na datech. A mít vysoce kvalitní tréninková data je nezbytný pro všechny modely umělé inteligence a strojového učení. Chápeme kritičnost kvalitních tréninkových dat a jejich důležitost pro výkon a úspěch vašich modelů AI.