Všichni chápeme, že výkon modulu umělé inteligence (AI) zcela závisí na kvalitě datových sad poskytovaných ve fázi školení. Obvykle se však o nich diskutuje na povrchní úrovni. Většina online zdrojů uvádí, proč je získávání kvalitních dat zásadní pro fáze dat školení AI, ale ve znalostech je mezera, která odlišuje kvalitu od nedostatečných dat.
Když se ponoříte hlouběji do datových sad, všimnete si spousty složitostí a jemností, které jsou často přehlíženy. Rozhodli jsme se osvětlit tato méně mluvená témata. Po přečtení tohoto článku budete mít jasnou představu o některých chybách, kterých se při sběru dat dopouštíte, a o některých způsobech, jak byste mohli optimalizovat kvalitu dat ze školení AI.
Začněme.
Anatomie projektu AI
Pro nezasvěcené je projekt AI nebo ML (strojové učení) velmi systematický. Je lineární a má solidní pracovní postup.
Abych vám dal příklad, vypadá to v obecném smyslu:
- Ověření konceptu
- Ověření modelu a bodování modelu
- Algoritmový vývoj
- Příprava dat školení AI
- Nasazení modelu
- Školení algoritmů
- Optimalizace po nasazení
Statistiky ukazují, že téměř 78% všech projektů AI se zastavilo v jednom nebo druhém bodě, než se dostali do fáze zavádění. I když na jedné straně existují velké mezery, logické chyby nebo problémy s řízením projektu, existují také jemné chyby a chyby, které způsobují rozsáhlé poruchy v projektech. V tomto příspěvku se chystáme prozkoumat některé z nejběžnějších jemností.
Předpojatost dat
Předpojatost údajů je dobrovolné nebo nedobrovolné zavedení faktorů nebo prvků, které nepříznivě zkreslují výsledky směrem ke konkrétním výsledkům nebo proti nim. Předpojatost je bohužel ve výcvikovém prostoru AI trápícím problémem.
Pokud se vám to zdá komplikované, pochopte, že systémy AI nemají vlastní mysl. Abstraktní pojmy jako etika, morálka a další neexistují. Jsou jen tak chytré nebo funkční jako logické, matematické a statistické koncepty použité při jejich návrhu. Takže když lidé rozvinou tyto tři, zjevně budou zakořeněny určité předsudky a zvýhodňování.
Bias je koncept, který není spojen přímo s AI, ale se vším, co ji obklopuje. To znamená, že vychází spíše z lidských zásahů a může být zaveden v kterémkoli daném časovém okamžiku. Může to být, když se řeší problém pro pravděpodobná řešení, když dochází ke sběru dat nebo když jsou data připravena a zavedena do modulu AI.
Můžeme zcela odstranit zaujatost?
Odstranění předpojatosti je komplikované. Osobní preference není úplně černobílá. Daří se mu v šedé zóně, a proto je také subjektivní. Se zaujatostí je těžké poukázat na holistickou férovost jakéhokoli druhu. Kromě toho je také předpojatost obtížně zjistitelná nebo identifikovatelná, právě když je mysl nedobrovolně nakloněna konkrétním přesvědčením, stereotypům nebo praktikám.
Proto odborníci na umělou inteligenci připravují své moduly s ohledem na potenciální předpojatosti a eliminují je prostřednictvím podmínek a souvislostí. Při správném provedení lze zkosení výsledků omezit na minimum.
Kvalita dat
Kvalita dat je velmi obecná, ale když se podíváte hlouběji, najdete několik jemných vrstev. Kvalita dat může sestávat z následujících:
- Nedostatek dostupnosti odhadovaného objemu dat
- Absence relevantních a kontextových údajů
- Absence posledních nebo aktualizovaných dat
- Hojnost dat, která jsou nepoužitelná
- Nedostatek požadovaného datového typu - například text místo obrázků a zvuk místo videí a další
- Předsudek
- Klauzule, které omezují interoperabilitu dat
- Špatně komentovaná data
- Nesprávná klasifikace dat
Téměř 96% specialistů na AI se potýká s problémy s kvalitou dat, což má za následek další hodiny optimalizace kvality, aby stroje mohly efektivně poskytovat optimální výsledky.
Nestrukturovaná data
Vědci v oblasti dat a odborníci na umělou inteligenci pracují na nestrukturovaných datech více než jejich kompletní protějšky. Výsledkem je, že značná část jejich času je věnována pochopení nestrukturovaných dat a jejich kompilaci do formátu, kterému stroje rozumějí.
Nestrukturovaná data jsou jakékoli informace, které neodpovídají konkrétnímu formátu, modelu nebo struktuře. Je to neuspořádané a náhodné. Nestrukturovanými daty mohou být video, audio, obrázky, obrázky s textem, průzkumy, zprávy, prezentace, poznámky nebo jiné formy informací. Nejrelevantnější poznatky z nestrukturovaných datových sad musí identifikovat a ručně anotovat odborník. Při práci s nestrukturovanými daty máte dvě možnosti:
- Více času věnujete čištění dat
- Přijměte zkreslené výsledky
Nedostatek malých a středních podniků pro anotaci důvěryhodných dat
Ze všech faktorů, o kterých jsme dnes hovořili, je důvěryhodná anotace dat tou jemností, nad kterou máme významnou kontrolu. Anotace dat je zásadní fází vývoje AI, která určuje, co a jak se mají naučit. Špatně nebo nesprávně anotované údaje mohou vaše výsledky zcela zkreslit. Přesně anotovaná data by zároveň mohla učinit vaše systémy důvěryhodné a funkční.
Proto by anotaci dat měli provádět malé a střední podniky a veteráni, kteří mají znalosti o doméně. Například údaje o zdravotní péči by měly být opatřeny poznámkami odborníků, kteří mají zkušenosti s prací s údaji z tohoto odvětví. Když je tedy model nasazen v život zachraňující situaci, splňuje očekávání. Totéž platí pro produkty v oblasti nemovitostí, fintech eCommerce a dalších specializovaných prostorách.
Balil
Všechny tyto faktory ukazují jedním směrem - nedoporučuje se pouštět se do vývoje AI jako samostatná jednotka. Místo toho je to proces spolupráce, kde potřebujete odborníky ze všech oborů, aby se spojili a zavedli toto dokonalé řešení.
Proto doporučujeme kontaktovat datum sbírka a Anotace odborníci jako Shaip, aby vaše produkty a řešení byly funkčnější. Jsme si vědomi jemností zahrnutých ve vývoji AI a máme vědomé protokoly a kontroly kvality, abychom je okamžitě odstranili.
Získejte in dotýkat spolu s námi zjistíme, jak mohou naše odborné znalosti pomoci vývoji vašich produktů AI.
