Wikiszótár

named-entity recognition

Angol

Főnév

named-entity recognition (tsz. named-entity recognitions)

  1. (informatika) A Named-Entity Recognition (NER) vagy név-entitás felismerés egy olyan természetes nyelvfeldolgozási (NLP) technika, amelynek célja, hogy azonosítsa és kategorizálja a szövegben található fontos entitásokat, például személyneveket, helyneveket, szervezeteket, dátumokat, pénzösszegeket, és egyéb releváns információkat. A NER kulcsszerepet játszik az automatikus szövegelemzésben, adatkinyerésben és információszerzésben, különösen olyan alkalmazásokban, mint a keresőmotorok, chatbotok, információ-visszakeresés és szöveganalitika.

Hogyan működik a NER?

A NER feladata, hogy a szövegben szereplő szavakat vagy kifejezéseket először azonosítsa (kivonja azokat), majd osztályozza őket előre meghatározott kategóriákba. Példák népszerű kategóriákra: - Személynevek: emberek nevei (pl. “Elon Musk”, “Albert Einstein”) - Helynevek: földrajzi helyek (pl. “Budapest”, “Európa”) - Szervezetek: vállalatok, intézmények nevei (pl. “Apple”, “NASA”) - Dátumok és időpontok: konkrét időadatok (pl. “2024. január 1.”, “tavaly júliusban”) - Pénzösszegek: valuták és pénzmennyiségek (pl. “$100”, “5000 forint”)

Lépések a NER folyamatban:

  1. Tokenizálás: A szöveget először kisebb részekre (tokenekre) bontják, általában szavakra vagy kifejezésekre.
  2. Jelölés (Tagging): A tokeneket megjelölik azzal, hogy melyik kategóriába tartoznak (például „Elon Musk” esetében: [Elon (B-PER), Musk (I-PER)], ahol B és I az entitás kezdetét és belsejét jelölik).
  3. Osztályozás: Az algoritmusok megpróbálják felismerni és osztályozni a tokeneket a megfelelő név-entitás kategóriákba (pl. személyek, helyek, szervezetek).

Módszerek és modellek a NER-ben

A NER rendszerek többféle módszert használhatnak a név-entitások felismerésére:

  1. Szabályalapú megközelítések: Ezek előre meghatározott szabályok alapján működnek (például reguláris kifejezésekkel), de korlátozottak, mivel nem képesek általánosan jól kezelni a nyelv természetes változatosságát és rugalmasságát.
  2. Statisztikai módszerek és gépi tanulás: A gépi tanulásra épülő megközelítések, mint például a HMM (Hidden Markov Model), CRF (Conditional Random Fields), és egyéb technikák, mint a maximum likelihood becslés, lehetővé teszik a modellek számára, hogy nagy mennyiségű annotált adatból tanuljanak. Ezek a modellek képesek általánosítani és új entitásokat felismerni.
  3. Mélységi tanulás és neurális hálózatok: A modern NER rendszerek gyakran használnak mélytanulási modelleket, mint például az RNN-ek (recurrent neural networks), LSTM-ek (long short-term memory) vagy BERT (Bidirectional Encoder Representations from Transformers). Ezek a modellek képesek összetett kontextusok felismerésére és nagy mennyiségű szöveg alapján pontos eredményekre képesek.

Kihívások a NER-ben

  1. Ambiguitás: Egyes szavak többféle jelentéssel bírnak, például a “Washington” lehet egy személy neve vagy egy helynév (város vagy állam). Az ilyen helyzetek kezeléséhez a rendszernek meg kell értenie a szöveg kontextusát.
  2. Nyelvi sokszínűség: A különböző nyelvek és dialektusok sajátos szabályai kihívást jelenthetnek, hiszen a név-entitás felismerés nem működik univerzálisan minden nyelven ugyanúgy.
  3. Változatos névformák: A személynevek és helynevek írásmódja, valamint az elírások és rövidítések tovább nehezítik a NER feladatát.

Alkalmazások

A NER széles körben alkalmazható számos területen:

  1. Keresőmotorok: Segít a keresőmotoroknak pontosabban megérteni a felhasználók lekérdezéseit és relevánsabb találatokat szolgáltatni.
  2. Adatkinyerés: Automatikusan kiemelhetőek fontos információk nagy mennyiségű szövegből, például hírekből, tudományos cikkekből, jelentésekből.
  3. Szociális média elemzés: Segít felismerni a fontos entitásokat a szociális média bejegyzésekben, mint például Twitter vagy Facebook, hogy a vállalatok jobban megértsék a felhasználói visszajelzéseket.
  4. Chatbotok és virtuális asszisztensek: A NER rendszerek segítségével a chatbotok jobban megérthetik a felhasználók kéréseit, például amikor helyekről, személyekről vagy dátumokról van szó.

A Named-Entity Recognition tehát kritikus technológia az automatikus szövegelemzés és a gépi tanulás alapú rendszerek fejlesztésében, amely jelentősen hozzájárul a természetes nyelv feldolgozásának hatékonyságához és pontosságához.

További információk

A lap eredeti címe: „https://hu.wiktionary.org/w/index.php?title=named-entity_recognition&oldid=3455028”