A legjobb gépi fordítók összehasonlítása: Az ideális megoldás megtalálása a nyelvi kihívások kezelésére

Egy gombnyomás, kész, mehet! A jelenlegi gépi fordítás alapú rendszerek összehasonlítása és tesztelése.

A gépi fordítórendszerek kontextus és rendszerfüggő hibákat követnek el, amik javíthatók, ha ismerjük az okokat és mindenekelőtt a megfelelő megoldásokat, ezért megvizsgáltunk több elterjedt gépi fordítás alapú rendszert.

Nyelvi szolgáltatóként és a gépi fordítás, utószerkesztés folyamatok szakértőjeként újra és újra felhívjuk a figyelmet arra, hogy a gépi fordítás sokszor hibázik. A legtöbb gépi fordítás projekt – utószerkesztés nélkül – a hiányosságoktól és a kiegészítésektől kezdve a hiányzó vagy ismeretlen terminológián át egészen a súlyos tartalmi hibákig mindent tartalmazhat. Ezért vizsgáljuk meg mindig a részleteket: Milyen hibákat és milyen mennyiségben követ el egy gépi fordítórendszer egy adott szövegben? És vajon egy másik rendszer pontosan ugyanezeket a hibákat követné-e el, vagy lényegesen jobban vagy rosszabbul teljesítene?

Többet akartunk tudni, így néhány gépi fordítórendszert összevetettünk egymással. Az eredmények némelyike meglepő, és világosan megmutatja, hogy a gépi fordítás kimenetének optimalizálásához milyen eszközökkel és megoldásokkal lehet azt optimalizálni.

Az alap: hibakategóriák és hibatípusok

A fordítások – beleértve a gépi fordítást is – értékelésénél sok mindent előre át kell gondolni például, hogy milyen hibák lehetségesek és azokat miként lehet kategorizálni.

Gépi fordítás-értékeléseinkhez jelenleg több hibakategóriával dolgozunk, amelyek mindegyike több hibatípust tartalmaz. A "terminológia" hibakategóriában például háromféle hibát különböztetünk meg: a terminológiai adatbázisban szereplő előírások figyelmen kívül hagyása, a terminológia következetlen használata vagy a témához nem kapcsolódó terminológia előfordulása a szövegben.

A szövegkörnyezet: forrásszöveg és terminológiai meghatározások

Vegyük sorra lépésről lépésre a mozzanatokat! A projekt elindításának első lépése, hogy megfelelő forrásszöveget találjunk, ami tartalmazza a vállalat sajátosságait, de egyensúlyt tart az általános nyelvezet és a technikai sajátosságok között. Értékelési projektünkhöz az egyik Ügyfelünk termékcsaládjáról szóló szövegeit vettük alapul, ahol két forrásszövegből kellett összeállítani egyet – ez némi kihívást jelentett. A hosszú és néha egymásba ágyazott mondatok mellett a szöveg számos osztott összetételt, valamint a termék- és részlegnevek vállalatspecifikus írásmódját tartalmazta.

A forrásszöveg alapján egy terminológiai listát állítottunk össze 16 német és magyar megfelelővel, amelyek összesen 39 alkalommal fordultak elő a szövegben. Más szóval 39 lehetőség egy általános gépi fordítás számára, hogy a kívánt szakterminológiát natívan és helyesen alkalmazza vagy figyelmen kívül hagyja.

Az értékelési mutatók áttekintése

Ezzel el is jutottunk a projekt által szállított sok-sok számadathoz. A 39 helyből, ahol szakkifejezésekre volt szükség, a rendszerek 36 és 59 százalék között, azaz akár 21 helyen hibásan valósították meg. A terminológiai specifikációk glosszárium formájában történő integrálása után, ami két rendszerben volt lehetséges, ez a hibaarány mindössze 24 százalékra csökkent.

A projekt összesen valamivel kevesebb mint 600 szóra terjedt ki, amelyek esetében a rendszerek 92 és 132 közötti hibát vétettek. E hibák egyharmada és nagyábbol fele "súlyosnak" minősült, ami azt jelenti, hogy jelentős hatással volt a szövegérthetőségre és a használhatóságra. A hibáknak azonban csak egynegyedét minősítették "körülményes" hibajavításnak. Más szóval: sok hiba keletkezett.

Az értékelés során azonban nemcsak a hibák száma és a javításukhoz szükséges erőfeszítés az érdekes, hanem mindenekelőtt azok jellege: az egyik rendszer talán különösen sok nyelvtani hibát vét, míg egy másik egész mondatrészeket hagy ki. Az egyik rendszer jobban érti egy mondat jelentését, mint a másik. Sőt, vannak olyan különleges gyengeségek, amelyek csak több rendszer összehasonlításakor válnak nyilvánvalóvá. A hibakategóriák egyértelmű "győztesei" a stílus és a pontosság voltak, a hibák mintegy 45 százalékával. E kategóriákon belül a hibatípusok tekintetében is egyértelmű éllovasok voltak: a stílushibák 90-95 százaléka stílusirányzati hibákból, a pontossági hibák 85-95 százaléka értelemhibákból adódott. Ezenkívül volt például néhány rendszerkiegészítés és néhány szó vagy mondatrész kihagyása is.

Következtetés: különböző rendszerek, sok (hiba)lehetőség

A kiértékelés mindig izgalmas, még akkor is, ha nagyon időigényes. A rendszerek közvetlen összehasonlítása nemcsak az egyes gyengeségeket vagy buktatókat tárja fel, hanem rangsorolja azt is, hogy egy adott szakterület és nyelvi kombináció esetében melyik rendszer van előrébb. A legnagyobb hibaforrásokat a jelentés pontosságában és a terjedelmes stílusirányzat-előírások megvalósításában találtuk.

Ha szívesen igénybe vennéd céged számára a gépi fordítás, utószerkesztés előnyeit, állunk rendelkezésedre. Vedd fel velünk a kapcsolatot!