Mi a lehető legegyszerűbb módon juttatjuk el az ügyfelekhez a mesterséges intelligencia által nyújtott tudást, mert egy üzemeltetést és felügyeletet nem igénylő, az ügyfélnél működő fizikai eszköz fogja elvégezni a rá bízott feladatokat. Ezen az eszközön több, különböző tudású collAIgue „agent” futhat, melyek akár több, különböző adatforrással is képesek dolgozni. Az egyik egy Alfresco-ból, vagy SharePoint-ból veszi ki a dokumentumokat, majd teszi vissza feldolgozva, a másik egy IMAP fiókot olvas és az ott beérkező leveleket dolgozza fel, a harmadik egy SQL adatbázissal tart kapcsolatot. Ezek a kollégák munkafolyamatba is köthetők, így a specializált tudásuk egymást kiegészítve komplex feladatok elvégzését is levetővé teszi.
Mi a különbség a collAIgue és a ChatGPT között?
A collAIgue egy speciális, nagy teljesítményű eszközön fut, mely csatlakozva az ügyfél hálózatához, egy vagy több kolléga adminisztrációs munkáját tudja kiegészíteni, illetve kiváltani.AutoMeta keretrendszer szabályozza.collAIgue
Az adminisztrációs feladatok lehetnek;
Összefoglaló készítése dokumentumról, vagy E-Mail-ről a kívánt nyelven
Iktatási metaadatok meghatározása, úgymint típus, kitől, kinek, milyen témában, mikor, milyen azonosítóval
Rövid tárgy és leírás készítése a dokumentumról
Dokumentum típus alapján további collAIgue feladatok:
Időszak, érvényesség meghatározása
Számla adatok kinyeréseKözüzemi számlák elemzése, fogyasztóhelyek, fogyasztási adatok kinyerése
Egészségügyi és labor adatok elemzése
Szortírozás a felismert metaadatok alapján, automatikus mappa-struktúra létrehozással
Személyes okmány adatok kinyerése (személyi igazolvány, útlevél, lakcímkártya, …)
Jármű azonosító okmány adatok kinyerése
Szerződés, Megrendelés, Teljesítés igazolás adatok kinyerése és összekapcsolása a már meglévő dokumentumokkal
Munkaszerződések és egyéb, a munkavállalókhoz tartozó dokumentumok kezelése
Képek automatikus kategorizálása:
Összefoglaló készítése a képről
Címkék hozzáadása a képhez
Cím, leírás, típus kinyerése a képből
Hangfájlok szöveggé alakítása
Összefoglaló készítése a szövegből
Iratcsomagok együttes kezelése
Beérkező E-Mail-ek (pl.: EML vagy MSG fájlok) szövegének és csatolmányainak egy kontextusban való feldolgozása
Aktát, vagy ügyet reprezentáló mappák tartalmának egy kontextusban való feldolgozása (pl.: összefoglaló egy aktában szereplő iratokról)
Keresés a dokumentumtárakban, majd a keresés eredményének kiértékelése, riportok készítése
… és ami a legfontosabb, mindezeket nyelvi korlátok nélkül teszi!
Az alkalmazásban több collAIgue profil is létrehozható az egyes munkatípusokhoz. A profilokban megadható a collAIgue neve, az időszak amikor dolgozik, a szerver, vagy alkalmazás típus, melyhez kapcsolódnia kell, a kapcsolódási adatok, illetve a feldolgozáshoz szükséges forrás adatok (pl.: mappa neve, keresési kifejezés, stb.).
Igény esetén az egyes collAIgue-k tevékenységéről folyamatos kimutatás (timesheet ) készül, melyben szerepel az időpont, a feldolgozott dokumentum neve, a munkatípus, illetve a feldolgozás státusza és az idő ráfordítás is.
A collAIgue az AutoMeta rendszer összes komponensét felhasználhatja a munkafolyamatok végrehajtása során, így nagyon egyszerű egy Alfresco, SharePoint, vagy FileNet repository-hoz illeszteni CMIS protokollon keresztül.
Példaként lássunk egy Alfresco-ba feltöltött angol nyelvű számlát, melyből kinyertük a DublinCore, a Summarizable és az Effectivity aspektusokba tartozó metaadatokat:
Illetve ugyanez egy magyar nyelvű számlával, a címet és a leírást angolul kértük:
Mivel egy számláról van szó, az erre szakosodott „accountant” collAIgue elvégezte a tételes számla azonosítást (beleértve a kapcsolódó megrendelés azonosító kinyerését is), majd az eredményt AutoMeta JSON->HTML transzformációjával az adott dokumentumhoz hozzáfűztük megjegyzésként:
Feldolgozási folyamat A collAIgue rendszerben létrehozott munkatársak tevékenysége folyamatba köthető, így a bonyolultnak tűnő feldolgozási folyamat egyszerű lépésekre bonthatóvá válik.
A collAIgue eszközöket bérleti konstrukcióban kínáljuk, a következő üzleti folyamat szerint:
Demó
Ha a lehetséges ügyfélnek felkeltettük az érdeklődését, akkor adunk neki egy fiókot a demó szerveren, ahol az előre beállított mappákba feltöltheti a dokumentumait, majd megnézheti, hogy a collAIgue milyen eredménnyel dolgozza fel azokat. Több különböző tudású és munkatípusú kollégát is tesztelhet és ezek alapján meggyőződhet róla, hogy az ő dokumentumaival miként boldogul a mesterséges intelligencia.
Sikeres demó után megtörténhet a szerződés, ahol is az ügyfél hosszú távon (minimálisan 12 hónap) bérelni fog collAIgue eszköz(öke)t.
Az eszköz kiválasztása
Az ügyfél szervezet-mérete, illetve a feldolgozandó adatmennyiség ismeretében választhat eszközt magának több teljesítmény-kategóriából. Egy eszköz korlátozott teljesítménnyel rendelkezik, így szükség esetén – ha indokolt a nagyobb sebesség, pl. adott időszakon belül fel kell dolgozni a beérkezett iratokat – erősebb eszközt választ, vagy többet állít üzembe.
Igény esetén egyedi eszközök összeállítására is van lehetőség. Ez az igény fakadhat a szerverteremben elhelyezhető gépekre vonatkozó követelményekből (pl. rack méret, hűtés, tápegység, konzol, stb.), illetve jelentősen nagyobb teljesítmény elérésére mindenképpen egyedi hardware-t kell összerakni. Ilyen esetekben egy közös méretezés és tervezés után tudunk ajánlatot adni az egyedi eszközök összeállítására, telepítésére és bérleti díjára. Az egyedi eszközök méretezése előtt mindenképpen érdemes az általunk összerakott gépeken feldolgozási sebességet mérni.
Az ügyfél számára kialakított eszközöket igény esetén szolgáltatásként saját hosting környezetünkben is üzemeltethetjük, ebben az esetben az ügyfélnek gondoskodnia kell a gépre telepíthető VPN hozzáférésről.
A feldolgozási teljesítmény mellett a kontextus-méret is számít, ahol nem elegendő az alap kontextus, ott egyedi ajánlatot teszünk a kibővített kapacitású eszközre.
Az eszközökön nem tárolunk adatokat, minden olyan adat, ami az ügyfélre jellemző, egy kivehető adathordozón (pl.: pendrive) van. Ha az adott eszközre már nincs szüksége az ügyfélnek, akkor elszállítás előtt a gépben lévő adathordozókat kiszereljük és átadjuk, így teljesen biztos lehet mindenki abban, hogy adat nem kerül ki az ügyfél informatikai rendszeréből.
Meghibásodás, vagy nem megfelelő működés esetén az eszközt cseréljük, az új eszköz a kivehető adathordozón szereplő adatokkal azonnal át tudja venni a régi helyét.
Az eszköz üzembe helyezése
Az eszközt olyan állapotban juttatjuk el az ügyfélhez, hogy csak áramot és hálózati kapcsolatot kelljen neki biztosítani. Az eszközhöz csatlakoztatható monitor és billentyűzet (egy esetleges hiba esetén a képernyőről leolvashatók az információk), de nincs szükség adminisztrációra. Az eszköz bármikor kikapcsolható, nincs leállítási procedúra.
Az eszköz üzemeltetése
Az eszköz üzemeltetése nem igényel szakmai ismereteket, csak az áramot és az ethernet hálózati kapcsolatot kell biztosítani számára.
Az ügyfél saját konfigurációja egy kivehető adathordozón van, ennek mentéséről az ügyfélnek kell gondoskodnia, más mentendő adat nincs.
A collAIgue eszköznek nincs monitoring portja, kizárólag egy SSH port van nyitva rajta, amelyen gyártói adminisztrációra van lehetőség. Ezt csak abban az esetben használjuk, ha egy üzembe helyezés során felmerülő hiba esetén a képernyőn megjelenő információk alapján nem lehet pontosan meghatározni a hiba okát. Üzemszerűen nincs szükség az SSH portra.
Az eszköznek nincs szüksége internet kapcsolatra, viszont azokat a hálózati végpontokat el kell érnie, amelyeket a profilokban beállítanak. A helyi tűzfalakban szabályozható, hogy a collAIgue eszköz milyen rendszereket érhessen el HTTP(s) protokollon keresztül. A collAIgue eszköz egyetlen portját sem kell elérhetővé tenni más rendszerek számára.
Egy új Agent, vagy training-eredmény üzembe helyezésekor szükség lehet a collAIgue eszközön található konfiguráció módosítására, frissítésére. Ekkor összeállítunk és eljuttatnunk egy csomagot (ZIP file) az ügyfélhez, melyben az összes olyan komponens megtalálható, amit frissíteni kell a gépen. A collAIgue eszköz egyedi, illetve módosított komponenseinek frissítése USB pendrive, vagy helyi GIT repository használatával kezdeményezhető. A megadott forrásból a collAIgue automatikusan frissíti a komponenseit és a konfigurációit.
Amit tudni még tudni kell a termékről:
A collAIgue nem szerver és nem egy mások által elérhető szolgáltatás.
A collAIgue nem lát ki az Internetre és nincs is szüksége rá.
A collAIgue nem tárol adatokat a működése során, így az ügyfél adatai teljes biztonságban vannak.
Az ügyfél számára létrehozott konfigurációk és az egyes collAIgue profilok timesheet-jei egy kivehető adattárolón vannak, hardware csere esetén az új eszköz azonnal használható.
A collAIgue használata esetén nincs informatikai integrációs költség, hiszen egy emberhez hasonlóan kaphat hozzáféréseket azokhoz a rendszerekhez, amelyekben dolgoznia kell. Ugyanezen módszerrel monitorozható is a tevékenysége.
A collAIgue folyamatosan naplózza a tevékenységét, igény esetén timesheet-et biztosít, melyben az elvégzett feladatok és az azokra szánt idő is megtalálható.
További információk a termékről: collAIgue.com & https://document-processing.ai
A collAIgue agent-ek tanítása
Általános feladatleírás készítése
Üzleti szintű feladat leírás készül, melyben az agent feladatai kerülnek definiálásra.
Előfeldolgozási műveletek definiálása
Az input dokumentum előfeldolgozása során transzformációk, algoritmus-alapú műveletek vagy szolgáltatások alkalmazása történik. Ilyenek lehetnek az OCR, vonalkód-felismerés, kép-transzformáció, stb.
Interfészek definiálása
A collAIgue agent adatforrásának (pl. fájlrendszer, SQL, CMIS, stb.) és a cél tároló elérési protokolljának kiválasztása.
Referencia dokumentumcsomag összeállítása
A referencia dokumentumcsomag összeállítása a következő szempontok alapján történik:
A feladatleírásban szereplő dokumentumtípusokat tartalmazza
A feldolgozás során előforduló formátumok (pl. PDF, EML, kép, stb.)
10 és 100 közötti dokumentumszám
Szükség esetén jelölések a dokumentum-értelmezés támogatásához (pl. milyen adatokat hol lehet megtalálni)
Training folyamat
Dokumentum csomag elemzése
A referencia csomagban található dokumentumokat manuális elemzésnek vetjük alá, mely során a dokumentum tartalma és szerkezete alapján schema készül. Ez a schema vezérli a későbbi tanítási és adat-reprezentációs folyamatokat.
Esetünkben a „training” egy komplex folyamat, mely tartalmazza a dokumentumok minőségi előkészítését (pl. képminőség-ellenőrzés és javítás, skálázás, transzformáció, forgatás, specifikus OCR, text-cleanup, stb.), a megfelelő modell(ek) kiválasztását, az inference paraméterezését, a promptok készítését és minden olyan tevékenységet, aminek a célja a dokumentumok teljeskörű feldolgozása.
A modell kiválasztása
A modell kiválasztása a következő szempontok alapján történik:
Képi, és/vagy szöveges tartalom alapján kell a dokumentumot értelmezni
Milyen kontextus méretre van szükség
Milyen válaszidőre van szükség
Milyen output formátumra és struktúrára van szükség
Milyen nyelvekre, vagy egyéb alapvető tudásra van szükség
Előfeldolgozás
Az előfeldolgozás során a referencia dokumentumokra egy előzetes analízis történik, mely során kialakul a kinyerhető adatok struktúrája és sémája.
Ebben a fázisban kiderül, hogy mely modell teljesít a legjobban az adott feladatban a referencia dokumentumokon.
Az előfeldolgozás eredményeként kiderül, hogy a collAIgue modelljeivel végrehajtható-e a specifikált feladat.
Training
A kiválasztott modellt a referencia dokumentumok ismeretében finomhangoljuk, hogy képes legyen a feladatleírásban definiált metaadatok kinyerésére.
A training folyamat során előfordulhat, hogy modellt kell cserélni, illetve akár az is, hogy jeleznünk kell, hogy nem minden metaadatot tudunk megfelelő minőségben kinyerni.
Training eredmények tesztelése
A training után a modell és a megfelelő prompt segítségével elvégezzük a metaadatok kinyerését a referencia dokumentumokon.
A kinyert metaadatokat ellenőrizzük, majd manuálisan javítjuk azokat a metaadatokat, amelyeket a modell nem megfelelően nyert ki a dokumentumokból. A javított adatokat „BASE”-nek tekintjük, és minden training után ezekkel vetjük össze az eredményeket.
A collAIgue agent-ek determinisztikus kimenetet generálnak, így az egyes futások eredményei ugyanazok lesznek, ha ugyanazok a bemeneti adatok és ugyanazok a promptok.
Az egyes futások eredményei jól összevetetők a „BASE” állapottal, így százalékosan meghatározható a collAIgue agent pontossága a referencia dokumentumokon.
Release folyamat
Az elkészített és tesztelt agent felkerül a collAIgue eszközre, majd a profiljában beállítjuk az input és output adatforrások elérési paramétereit.
Újra-tanítás
Ha kiderül, hogy éles üzemben az adott agent nem teljesít megfelelően, akkor össze kell gyűjteni azokat a releváns dokumentumokat, melyek feldolgozása során hibás adatokat nyert ki. Ezekből a dokumentumokból egy újabb referencia csomagot készítünk, majd egy elemzést végzünk a dokumentumokon. Ez az elemzés kiterjed az input formátumra (ki kell zárnunk a sérült PDF-eket, képeket, szkennelési, vagy fotózási hibákat, stb.), a layout-ra és a tartalomra is.
A training adatokat módosítjuk, majd elkészítjük az új collAIgue agent-et.
Az új agent verzióval előállítjuk az új outputot, melyet összevetünk a „BASE” adatokkal, így kimutatható a különbség. Fontos, hogy egy ilyen ellenőrzés és módosítás során az első referencia csomagon is tesztelnünk kell az új agent-et, biztosítva, hogy az eredeti pontosság nem csökken.
A tesztek eredményét minden esetben megosztjuk az ügyféllel, így az aktuális agent verzió pontossága számára is elérhető lesz. Nem csak egy általános pontossági számot adunk, hanem tételes, metaadat-szintű összehasonlítást, táblázatos formátumban. A táblázatban az egyes metadatok és a teljes szett pontossága is látszik.
További információk: https://collaigue.hu – https://collaigue.eu – https://document-processing.ai
