Využitie digitalizovaného písma pre diagnostiku dysgrafie

Tento článok opisuje využitie digitalizovaných záznamov písma na diagnostikovanie dysgrafie. Dysgrafia je porucha písania, čiže neschopnosť správne napodobniť jednotlivé tvary písmen. Článok sa venuje analýze dysgrafického rukopisu pomocou vzoriek písma. Z digitalizovaných záznamov je možné extrahovať parametre, ktoré dokážu pomôcť pri diagnostikovaní dysgrafickej poruchy. Tieto parametre sa využijú na návrh predikčného modelu dysgrafického písma za pomoci využitia strojového učenia. Výstupom výskumu bol natrénovaný model, ktorý je schopný klasifikovať pôvod ručne písaného prejavu.

Dysgrafia

Dysgrafia je porucha písania, grafomotorického prejavu, neschopnosť správne napodobniť tvary písmen, vynechávanie, resp. pridávanie ich častí či vynakladanie značného úsilia na písanie. Dysgrafik má problémy s grafickou stránkou písomného prejavu, s osvojením si tvarov písma, ich napodobením a zapamätaním napriek tomu, že jeho intelektuálna úroveň je minimálne priemerná, niekedy dokonca nadpriemerná.

Dysgrafia sa často vyskytuje spolu s dyslexiou a dysortografiou. Samotný proces písania je ovplyvnený grafomotorikou a mentálnymi funkciami, ako sú vnímanie, myslenie, reč, pamäť, pozornosť a fantázia.

Spracovanie digitálnych záznamov písma

Rukopis je komplexná zručnosť, ktorá je vytvorená kombináciou motorickej a lingvistickej (jazykovej) časti, ktorá sa nadobúda počas dlhšieho časového obdobia. Viacero neuropsychologických modelov je založených na tom, že motorická časť je zodpovedná za grafické znázornenie písma a naopak, jazyková časť za pravopis.

Štúdium ručne písaného prejavu je možné použiť na indikáciu dysgrafie v prvotných štádiách vývinu jedinca, kedy iné metódy často nebývajú aplikované. Poprípade sa dokáže analýza písma využiť ako testovací prostriedok, ktorý nie je časovo náročný a dá sa vykonávať preventívne. Z dát získaných od pacientov sa vypočítajú príznaky charakterizujúce dané onemocnenie. Ide o príznaky počítané z parametrov získaných pomocou digitálneho tabletu značky Wacom Intuos Pro large.

Grafický tablet spomínanej značky je ideálnou pomôckou pre získavanie dát, z ktorých je možnosť následnej analýzy písma. Tento tablet má multidotykovú pracovnú plochu o rozmeroch 32,5cm × 20,3cm. Rozlíšenie tabletu je 5080lpi. Vďaka tomuto rozlíšeniu sa určí v akých jednotkách sú jednotlivé veličiny, ktoré pri analýze možno použiť. Pacient píše na tablet špeciálnym perom nazývaným stylus, ktoré drží v dominantnej ruke.

Elektronický stylus alebo „dotykové pero“ je ukazovacie zariadenie v tvare klasického pera, ktoré sa používa na písanie po dotykovej ploche tabletu. Toto zariadenie je prispôsobené a zkonštruované tak, aby umožnilo veľmi jednoducho písať alebo kresliť po dotykovej obrazovke.

Proces spracovania digitálnych záznamov začal z počiatku analýzou predpripravených vzoriek ručne písaného prejavu. Vzorky, ktoré boli poskytnuté na výskum, pochádzajú od subjektov vo veku od 7 do 19 rokov. Tieto vzorky sú klasifikované do dvoch skupín:

• skupina dysgrafikov (SD),
• skupina kontrolných subjektov (KS).

Spomínané dáta, ktoré boli k dispozícii, pozostávajú zo siedmich stĺpcov, ktoré bolo potrebné vopred rozanalyzovať. Na rozbor sa použila dedukcia, ktorá bola následne overená pomocou programovacieho jazyka Python a správneho vykresľovania dát. Ďalším krokom analýzy bolo z jednotlivých vzoriek extrahovať konkrétne parametre písma, ktoré napomáhajú pri diagnostike dysgrafie, čo sa následne využilo pri programe, ktorý z daných vzoriek vyvodzuje záver, či digitálne dáta pochádzajú od dysgrafika alebo od kontrolného subjektu. Pri tomto vyhodnocovaní bolo použité strojové učenie, konkrétne knižnica ScikitLearn a tri rozdielne klasifikátory:

• LinearSVC,
• klasifikátor náhodných lesov,
• Bayesov naivný klasifikátor.

Na obrázku názornej ukážky je možné vidieť nespochybniteľné odlišnosti medzi ručne písaným prejavom dysgrafika a kontrolného subjektu. Dysgrafik má tendenciu prekrývať symboly, prerušovať písanie, nedokončiť text, zabúdať na diakritiku a nedodržiavať veľkosť písmen.

Parametre extrahované z digitalizovaných záznamov písma

Parametre písma, ktoré sú využívané pre diagnostiku dysgrafie, sú nasledovné:

1. Priestorovo kinematické veličiny — medzi tieto fyzikálne veličiny patria parametre, ktoré hodnotia písmo z hľadiska mechanického a priestorového pohybu.
2. Parametre hodnotiace spracovanie signálu — tieto parametre hodnotia energiu z hľadiska spracovania signálu.
3. Parametre založené na empirickej dekompozícii — spracúvajú signál jednotlivých zložiek písma.

Vyššie spomenuté parametre písma sa vyhodnocujú v programovacom jazyku Python. Okrem spracovania numerických výsledkov sú taktiež vykresľované jednotlivé grafy konkrétnych parametrov ručne písaného prejavu pomocou knižnice PyLab do vektorového formátu PDF.

Priestorovo kinematické veličiny

1. dobá písania,
2. rýchlosť,
3. zrýchlenie,
4. šmyk,
5. dráha vykonaná na povrchu tabletu,
6. dráha vykonaná nad povrchom tabletu,
7. tlak na hrot pera,
8. vertikálna dĺžka ťahu,
9. horizontálna dĺžka ťahu.

Parametre hodnotiace spracovanie signálu

1. energia procesu signálu,
2. energia osi x,
3. energia osi y,
4. Teagerova energia.

Parametre založené na empirickej dekompozícii

Medzi tieto parametre patria jednotlivé zložky ručne písaného prejavu, v ktorých sa numericky vypočítava energia pomocou využitia Empirical Mode Decomposition (EMD).

Závery analýzy parametrov

Pomocou numerických výpočtov každého zo spomínaných parametrov písma je možné zhodnotiť viacero záverov, napríklad:

• Celková doba písania u SD dosahuje vyššie hodnoty ako u KS. Pacientom s poruchou dysgrafie trvá dlhšie napísať totožný text, pretože majú potrebu dlhšie premýšľať nad jednotlivými tvarmi písmen a často si pri ručne písanom prejave vytvárajú prestávky.
• Rýchlosť písania je u KS vyššia ako u SD.
• Zrýchlenie, ktoré znázorňuje zmeny počas písania je u SD vyššie, čo zapríčiňuje, že dysgrafici svoj ručne písaný prejav pozastavujú.
• Šmyk, ktorý znázorňuje plynulosť ťahu pera akou SD a KS píšu nadobúda u kontrolných subjektov vyššie hodnoty, čiže ich ručne písaný prejav je plynulejší ako u dysgrafikov.
• Dráha, ktorá sa vykonáva na povrchu tabletu je u SD vyššia; rozdiel medzi SD a KS je približne až 3 cm, aj napriek tomu, že ide o rovnaký text.
• Dráha vykonaná nad povrchom tabletu je u SD taktiež vyššia.
• Tlak na hrot pera dosahuje vyššie hodnoty u SD ako u KS, pretože ľudia, ktorí trpia poruchou dysgrafie majú tendenciu vyvíjať vyšší tlak na pero ako tí, ktorí netrpia dysgrafickou poruchou.
• Výška a šírka ťahu má vyššie numerické hodnoty u SD ako u KS, čo sa odzrkadľuje aj na dráhe vykonanej na povrchu dotykovej plochy tabletu.
• Energia či už osi x alebo osi y dosahuje vyššie hodnoty u SD ako u KS.
• Energia v závislosti od rýchlosti, zrýchlenia a šmyku má taktiež vyššie hodnoty u skupiny dysgrafikov.
• Každá zložka rozloženého signálu dosahuje vyššie numerické hodnoty u SD ako u KS.

Predikčný model dysgrafie

Za účelom vytvorenia predikčného modelu bolo použité strojové učenie, konkrétne knižnica pre Python s názvom ScikitLearn. Na najpresnejšiu diagnostiku (či už sa jedná o vzorky od dysgrafikov alebo naopak od kontrolných subjektov) sa pre porovnanie použili 3 klasifikátory. Okrem jednotlivých klasifikátorov bola pre korektnejšiu klasifikáciu implementovaná krížová validácia. Východiskovému modelu bol vopred poskytnutý súbor známych údajov, na ktorých prebieha výcvik a súbor neznámych údajov, na základe ktorých je model testovaný.

Hlavným cieľom je počas testovania úspešné natrénovanie klasifikátorov, ktoré budú schopné odlíšiť dáta kontrolného subjektu od pacienta, ktorý trpí dysgrafickou poruchou. Po extrakcii parametrov ručne písaného prejavu sú tieto parametre klasifikované navrhnutým modelom klasifikácie. Jedná sa o model počítajúci percentuálnu úspešnosť klasifikácie pri voľbe najvhodnejších parametrov pre zvolený klasifikátor. Vo výsledku klasifikácie a porovnávaním klasifikátorov sa vyhodnotí správna úspešnosť zaradenia ručne písaného prejavu do skupín (SD a KS).

Na tomto diagrame je možné vidieť úspešnosti jednotlivých klasifikátorov, ktoré sú rozdelené na 4 cvičenia, a taktiež zobrazenie úspešnosť aj pri všetkých cvičeniach dohromady. Jednotlivé úspešnosti klasifikátorov sú vyobrazené v percentách. Z grafu je jasné, že klasifikátor LinearSVC je možné pokladať za najúspešnejší, o kúsok menej úspešný bol klasifikátor náhodných lesov (KNL) a najmenej úspešným klasifikátorom je Bayesov naivný (BNK), kde je vidieť markantné rozdiely v percentuálnej úspešnosti. PP a PA zobrazujú dve diametrálne rozdielne typy hodnotenia presnosti klasifikátora:

• PP - presnosť PRECISION,
• PA - presnosť ACCURACY.

Pre jednoduchšie použitie výsledného klasifikátora na overenie výskytu dysgrafie v ručne písanom prejave bola vytvorená webová aplikácia. Aplikácia je založená na všetkých vyhodnocovaných príznakoch dysgrafie pre korektné určenie pôvodu vzorky. Vo vytvorenej aplikácii vie používateľ jednoducho načítať zložku (pôvodné dáta) z počítača a následným kliknutím na tlačidlo „Submit“ sa nižšie vyobrazí záver, či vzorky pochádzajú od dysgrafika alebo od kontrolného subjektu bez dysgrafickej poruchy. Webová aplikácia diagnostikuje vzorky písma na základe natrénovaného súboru finalized.model.sav, ktorý bol vygenerovaný na základe klasifikácie.

Záver

Tento článok je stručným zhrnutím diplomovej práce Analýza dysgrafického rukopisu. Cieľom výskumu bolo pomocou analýzy dát ručne písaného prejavu extrahovať atribúty písma, pomocou ktorých sa určí pôvod dát. Poskytnuté vzorky písma pochádzali od kontrolných subjektov a dysgrafických subjektov. Príznaky písma sa analyzovali, graficky znázorňovali a numericky vyhodnocovali pomocou programovacieho jazyka Python. Extrahované parametre sa pre lepší rozbor zatriedili do troch skupín. V práci boli využité poznatky strojového učenia, ktoré boli nápomocné pri klasifikácií zadefinovaných vzoriek, z čoho sa následne pristúpilo k vytvoreniu predikčného modelu, ktorý má za úlohu rozoznávať pôvod digitalizovaného písma. Tento model bol využitý aj pri vytvorení webovej aplikácie, ktorá slúži na prehľadnejšiu, jednoduchšiu a efektívnejšiu diagnostiku vzoriek ručne písaného prejavu.