Wikiszótár

tokenizálás

Angol

Főnév

tokenizálás (tsz. tokenizáláses)

  1. (informatika) A tokenizálás a természetes nyelvfeldolgozás (NLP) egyik alapvető lépése, amely során egy szöveget kisebb részekre, úgynevezett tokenekre bontanak. A tokenek általában szavak, mondatok vagy szimbólumok lehetnek, de a konkrét bontási szabályok a felhasználási céltól függnek. A tokenizálás célja, hogy a nyers szöveget egy olyan formára alakítsa, amely könnyebben kezelhető a gépi tanulás vagy egyéb nyelvfeldolgozó algoritmusok számára.

Főbb típusai

  1. Szóalapú tokenizálás: A szöveget szavakra bontja. Például a „Ma szép nap van.” mondat tokenizálva így nézne ki:

    ["Ma", "szép", "nap", "van", "."]

  2. Mondatalapú tokenizálás: Itt a szöveget mondatokra bontják. Ez különösen fontos, ha a szöveg mondatok szintjén kerül feldolgozásra, például amikor nyelvtani elemzést végeznek vagy szövegbányászatot alkalmaznak. Például:

    "Ma szép nap van. Holnap eső lesz."

    Mondatalapú tokenizálás után:

    ["Ma szép nap van.", "Holnap eső lesz."]

  3. Karakteralapú tokenizálás: Itt a szöveget egyes karakterekre bontják. Ez ritkábban használt módszer, de például morfológiai elemzésnél vagy bizonyos gépi tanulási algoritmusoknál hasznos lehet. Például a „Nap” tokenizálva karakterenként így néz ki:

    ["N", "a", "p"]

Hogyan működik a tokenizálás?

A tokenizálás egy egyszerűbb nyelvek esetén viszonylag egyértelmű feladat, például az angol vagy magyar nyelv esetében, ahol a szavak között általában szóközök vannak. Az algoritmusok ilyenkor a szóközöket, írásjeleket és más határolókat használják arra, hogy eldöntsék, hol kezdődik és végződik egy szó vagy mondat.

Azonban néhány nyelvnél, például a kínai vagy japán nyelvben, ahol a szavak között nincsenek szóközök, a tokenizálás sokkal bonyolultabb. Itt gyakran speciális algoritmusokat, például gépi tanulási modelleket alkalmaznak, hogy felismerjék a szavak határait.

Kihívások a tokenizálás során

  1. Elválasztók és írásjelek: Az írásjelek (pl. pontok, vesszők) kezelése kihívás lehet. Például egy mondat végén lévő pont a mondat része, de ugyanaz a pont egy szám esetében decimális jelölést jelenthet.
  2. Összetett szavak és rövidítések: Az olyan nyelvek, mint a német vagy magyar, ahol gyakoriak az összetett szavak, kihívást jelentenek a tokenizálás során. Egyes gépi tanulási rendszerek számára előnyös lehet az összetett szavak különálló részekre bontása.
  3. Különleges karakterek: Az olyan speciális karakterek, mint a szimbólumok, hashtag-ek, e-mailek vagy URL-ek külön feldolgozást igényelnek, mivel ezek nem feltétlenül illenek bele a hagyományos szóalapú tokenizálási mintákba.
  4. Nyelvi különbségek: A különböző nyelvek eltérő struktúrája miatt a tokenizálási algoritmusokat általában nyelvspecifikusan kell megtervezni, hogy kezelni tudják az adott nyelv sajátosságait (pl. elválasztási szabályok, összetett szavak, ragozás).

Példa tokenizálásra Pythonban

Pythonban például a NLTK (Natural Language Toolkit) könyvtár használható tokenizálásra. Egy egyszerű példa szóalapú tokenizálásra: 

import nltk
from nltk.tokenize import word_tokenize

szoveg = "Ma szép nap van."
tokenek = word_tokenize(szoveg)
print(tokenek)

Kimenet: 

['Ma', 'szép', 'nap', 'van', '.']

Tokenizálás alkalmazásai

  • Információkinyerés: A tokenizálás az első lépés, amikor automatikusan kinyerjük a fontos adatokat a szövegből (például személyneveket, helyneveket vagy dátumokat).
  • Keresőmotorok: A keresőmotorok tokenizálják a lekérdezéseket és a weboldalakon található szövegeket, hogy releváns találatokat tudjanak biztosítani.
  • Nyelvi modellek: A modern nyelvi modellek, mint például a BERT, a tokenizálás segítségével dolgoznak fel nagy mennyiségű szöveget, hogy megértsék annak jelentését és kontextusát.

Összefoglalva, a tokenizálás az NLP egyik legfontosabb alaplépése, amely biztosítja, hogy a szöveg megfelelő formában legyen elemezhető és feldolgozható különféle algoritmusok számára.

További információk

A lap eredeti címe: „https://hu.wiktionary.org/w/index.php?title=tokenizálás&oldid=3455031”