Sisällysluettelo:
Määritelmä - mitä Lexical Analysis tarkoittaa?
Leksinen analyysi on käsite, jota sovelletaan tietotekniikkaan samalla tavalla kuin kielitieteessä. Pohjimmiltaan leksikaalinen analyysi tarkoittaa kirjainten tai äänivirtojen ryhmittämistä yksikköjoukkoihin, jotka edustavat merkityksellistä syntaksia. Kielitiedessä sitä kutsutaan jäsentämiseksi, ja tietotekniikassa sitä voidaan kutsua jäsentämiseksi tai tokenoimiseksi.
Techopedia selittää Lexical Analysisin
Tietotekniikan leksikaalisen analyysin ajatuksena on, että leksinen analyysi jakautuu virroiksi ”lekseemiksi”, joissa merkki edustaa merkityksen perusyksikköä. Tokenit on koottu yhteen siten, että kielen kääntäjän on palattava taaksepäin ja eristettävä ne oikeiden laskentaohjeiden toteuttamiseksi. Periaatteessa sekä ihmiset että tietokoneet tekevät leksikaalista analyysiä, mutta tietokoneet tekevät sen eri tavalla ja paljon teknisemmällä tavalla. Tavan, jolla tietokoneet tekevät leksiaalista analyysiä, ei tarvitse olla läpinäkyvää ihmisille - se on vain ohjelmoitava laskentajärjestelmään. Tietotekniikan leksikaalista analyysiä tekeviä ohjelmia kutsutaan usein lexereiksi, tokenizeriksi tai skanneriksi.
