Adat- és dokumentum-migráció

A dokumentumtárak kialakítása során szinten minden esetben szükség van a már meglévő dokumentumok és esetenként a hozzájuk tartozó metaadatok migrációjára. A migrálandó adatok – beleértve a binárisokat és az index-adatokat is – sok esetben korrekcióra szorulnak, például a szkennelt képekből kereshető PDF-eket kell előállítani. Hasonlóképpen a meglévő metaadatok is sok esetben adat-tisztításra szorulnak, mely műveleteket még a végleges helyre való betöltés előtt célszerű megtenni.

Az AutoMeta tervezésekor elsődleges szempont volt az adatforrások, illetve adattárak (fájlrendszer, relációs adatbázis, CMIS repository) univerzális kezelése. Ennek köszönhetően a termék kiválóan alkalmas tömeges, automatikus migrációs folyamatok implementációjára, melyek során az adatok átemelése kiegészíthető az AutoMetába integrált műveletekkel:

• bináris transzformációk
  • szkennelt képből kereshető PDF előállítása OCR segítségével
• metaadat transzformációk
  • adatbázisban tárolt adatok felolvasása, transzformációja
  • az AutoMeta konfigurációjában definiálhatók olyan szkriptelhető műveletek, ahol lehetőség van metaadat-értékek korrekciójára (adattisztítás), összefűzésére, darabolására is
• adat-kinyerés statikus definíciókkal
  • reguláris kifejezésekkel leírható műveletek
  • dokumentumképen szereplő pozíció alapján definiált területek felismerése és rekurzív adatkinyerése (pl.: dokumentum fejléc adatok)
  • vonalkódban, QR kódban tárolt adatok kinyerése
  • TD, MRV, MRZ és ICAO szabványú kódok felismerése (pl.: útlevél, személy azonosító igazolvány, stb.)
• adat-kinyerés tanítás (AI) alapján
  • dokumentum nyelv(ek) felismerése
  • dokumentum típusok felismerése (pl.: számla, útlevél, zárójelentés, stb.)
  • kiválasztott dokumentumok alapján az AutoMeta AI tanítható a dokumentumokon található értékek felismerésére és automatikusa kinyerésére
  • a felismerés során egy belső algoritmus képes meghatározni a felismerés pontosságát, így ezen értékek alapján az üzleti folyamatban szétválaszthatók a kellő pontossággal feldolgozott dokumentumok és azok, amelyeket manuális ágra kell küldeni

A feldolgozási folyamat során részletes audit-napló készül, mely alkalmas a migráció ellenőrzésére és riportolására is.

Migrációs műveletek adatforrások szerint (ezek bármilyen kombinációja definiálható):

• fájlrendszeri forrásból -> CMIS repository-ba (Alfresco, SharePoint, FileNet, …)
  • forrás: fájlrendszer
    • mappastruktúrában tárolt JPEG képek
  • AutoMeta műveletek
    • rekurzív mappa-tartalom felolvasás
    • kép-korrekció
    • PDF transzformáció
    • OCR, PDF szöveges réteg létrehozása
    • a fájlnévben tárolt index-adatok kinyerése
    • automatikus metaadat-kinyerés
  • cél: CMIS repository
    • kereshető PDF-ek és metaadatok
• fájlrendszer + adatbázis forrásból -> fájlrendszerbe
  • forrás: fájlrendszer + adatbázis
    • mappastruktúrában tárolt PDF-ek
    • adatbázisban tárolt metaadatok
  • AutoMeta műveletek
    • rekurzív mappa-tartalom felolvasás
    • a binárishoz tartozó metaadatok kiolvasása adatbázisból
    • OCR, PDF szöveges réteg létrehozása
    • automatikus metaadat-kinyerés
  • cél: fájlrendszer
    • kereshető PDF-ek
    • minden PDF-hez egy XML a metaadatokkal
• CMIS repository-ból (SharePoint) -> CMIS repository-ba (Alfresco)
  • forrás: CMIS repository
    • keresés alapú PDF dokumentum lekérés
  • AutoMeta műveletek
    • OCR, PDF szöveges réteg létrehozása
    • a forrás metaadatok átvétele és korrekciója
    • automatikus metaadat-kinyerés
  • cél: CMIS repository
    • kereshető PDF-ek és metaadatok