2007an kaleratu genuen CorpEus, weba euskarazko corpus gisa kontsultatzea ahalbidetzen duen zerbitzua. CorpEus-ek Microsoft-en Windows Live Search bilatzailea (orain Bing deitzen dena) erabili izan du beti motor gisa, Google-ren APIaren baldintzek ezinezkoa egiten baitzuten berau erabiltzea. Baina Google-k berriki baldintzak aldatu ditu, eta orain CorpEus-ek aukera ematen du kontsultak Bing nahiz Google erabiliz egiteko.

Internet euskarazko corpus erraldoi bat balitz bezala kontsultatzeko aukera ematen du CorpEus-ek. Sartutako hitzaren (edo hitzen) lema bidezko bilaketa egiten du Interneteko euskarazko orrien artean, eta orri horietan dauden hitzaren agerpen guztiak erakusten ditu bere testuinguruan, hainbat daturen araberako grafikoekin batera.

Horrez gain, eskatutako hitzak aldaerak dituela detektatzen bada, bilaketa egiteaz gain, aldaerak proposatzen zaizkio erabiltzaileari, edo, eskatutakoa aldaera bada, forma estandarra. Eta erabiltzaileak hitz anbiguo edo ezezagun bat sartzen duenean, itzulitako analisien artean aukeratu dezake. Termino edo izen-sintagma osoen bilaketa lematizatua ere egin dezake, hitzak komatxo bikoitzen artean sartuz.

APIak integratzen

Hori guztia egiteko, Interneteko bilatzaileak erabili behar ditu CorpEus-ek ezinbestean, zehazki euren gainean hirugarrenek zerbitzuak eraikitzeko eskaintzen dituzten API edo funtzio-sortak. 2007an CorpEus kaleratu zenean, Microsoft-en Windows Live Search-en (gaur egun Bing gisa berbataiatutakoa) APIa erabiltzea erabaki zen, nahiz eta jakin jende gehienarentzat gustukoagoa eta hobea dela Google, bera zelako baldintza egokienak eskaintzen zituena: egunean 25.000 dei onartzen zituen eta deiko 50na emaitza itzuliz, 250. emaitzara arte kontsulta zitekeen. Google-k aldiz, bi API zituen: batak egunean 1.000 dei soilik onartzen zituen, deiko 10na emaitza itzultzen zituen soilik eta bertan behera uztekotan zen, eta besteak, nahiz eta dei mugarik ez izan, 8 emaitza besterik ez zituen itzultzen.

Berriki Google-n bigarren API horrek baldintzak aldatu ditu eta 64. emaitzara arte kontsultatu daiteke. Horregatik, CorpEus-en Google-ren APIa ere inplementatu dugu eta orain Bing edo Google erabiltzeko aukera dago. Zeren arabera erabaki zein erabili? Orokorrean, Google-k estaldura hobeagoa du eta orri gehiago ditu bere indizean, beraz egokiagoa da webean agerpen gutxi dituzten hitzak bilatzeko. Gerta daiteke zenbait hitzek Bing-en emaitzarik ez itzultzea edo emaitza oso gutxi itzultzea, eta posible da Google-k kasu horietan emaitza gehiago ematea. Aldiz, webean presentzia handia duten hitzen ahalik eta agerpen eta testuinguru gehien ikustea interesatzen bazaigu, Bing egokiagoa izan daiteke. Google erabilita lehenengo 64 emaitzetako agerpenak soilik erakuts daitezke eta Bing erabilita, aldiz, lehenengo 250 emaitzetakoak.

Erabilpen adibideak

CorpEusen erabilpen posible baten adibidea hor goiko lehen irudian dugu (egin klik han edo irudi handian, osorik ikusteko): energia lema bilatzeko eskatu diogu, Bing erabilita eta 250 orritako agerpenak bistaratzeko esanda (hitz arrunta eta webean presentzia handikoa denez, emaitza gehiago izango ditugu Bing erabilita, Google-k 64 orri itzultzen baititu gehienez). Ondoko hitzaren lemaren araberako grafikoa erakusteko eskatu diogunez, energia hitzarekin erabiltzen diren adjektibo, aditz eta izen ohikoenak agertuko zaizkigu grafikoan. Jarraian erakusten den irudian ikus daiteke nola kontsulta bera egiten badugu Google erabilita, askoz emaitza gutxiago ateratzen diren.

Gauza bera gertatzen da RSS bilatuta. Interneten presentzia handiko hitza denez, emaitza gehiago lortzen dira Bing erabilita Google erabilita baino. Irudietan, bilagaiaren ondoko hitzaren lemaren araberako grafikoak erakusten dira, RSS zein beste hitzekin konbinatzen den ikusteko.

Hurrengo bi irudiek, aldiz, kontrako kasua ilustratzeko balio dute, hitz batek webean presentzia txikia duenekoa alegia. lagingailu lema Bing erabiliz bilatzeko eskatuta, bost emaitza besterik ez ditu itzultzen; Google-k, aldiz, dezente gehiago, indizea handiagoa baitu.

Edo konparatu ditzakegu lagingailu hitzaren emaitzak sampler hitzarenekin. Bing nahiz Google erabilita, ikusten da emaitza gehiago dituela sampler hitzak, betiere Google-k dituelarik emaitza gehiago.

(Igor Leturia, Elhuyar I+G+B); Sustatu.com (2010-02-19)

Erabiltzaileak bidalitako itzulpen-memoriatik termino baliokideen bikoteak automatikoki erauzten dituen doako zerbitzua da ItzulTerm. Erabiltzaileak erauzketaren emaitzak lantzeko aukera du gainera, eta nahi dituen termino-bikoteak eskuratu ditzake hainbat erabileratarako: hiztegiak sortu, itzulpen-memorien sistema hobetu, itzulpen automatikoan erabili… Gainera, erauzketa automatikoaren emaitza hobetzeko eta emaitza lantzeko edizio-aukerak ere eskaintzen ditu zerbitzuak. ItzulTerm zerbitzuaren oinarrian, Elhuyar Fundazioaren I+G+B unitateak garatutako ELexBI tresna dago. ELexBI tresnak teknika linguistikoak eta estatistikoak konbinatzen ditu termino-bikoteak automatikoki erauzteko prozesuan.

Zerbitzuaren urrats nagusiak

ItzulTerm-en bitartez, erabiltzaileak bere itzulpen-memoriei etekina ateratzeko aukera izango du, hiru urratsetan: ‘Erauzketa automatikoa’, ‘Eskuzko lanketa’ eta ‘Esportazioa’. ItzulTerm-ek termino-bikoteak teknika linguistikoen eta estatistikoen bidez automatikoki erauztean datza ‘Erauzketa automatikoa’. ‘Eskuzko lanketa’n, aldiz, ItzulTerm-ek bere proposamenak lantzeko aukera eskaintzen du: baliozkotzat jotzeko edo baztertzeko, emaitzak editatzeko aukera aurreratuak… Azkenik, ‘Esportazioa’n, erabiltzaileak baliozkotzat jo dituen termino-bikoteak deskarga ditzake, neurrira egindako hiztegi elebidun bat osatzeko.

ItzulTerm proiektuak Eusko Jaurlaritzako Kultura Sailaren diru-laguntza jaso du 2007ko IKT deialdiaren barruan.

ItzulTerm tresna honako webgunean dago eskuragarri: http://itzulterm.elhuyar.org

 

 AnHitz proiektua hizkuntza-, ahots- eta ikus- teknologien inguruko ikerketa estrategikoko proiektua da. 2006-2008 urteen artean VICOMTech, Elhuyar Fundazioa, IXA Taldea, Aholab Taldea eta Robotiker arlo horietan ikertzen aritu dira. Proiektuaren amaieran demostrazioko aplikazio bat muntatu zuten, AnHitz izenekoa hau ere, teknologia ezberdin horien integrazioaren ahalmenen erakusle.

 

AnHitz 3D avatar emoziodun bat da, euskaraz hitz egiten duena eta euskaraz ulertzeko gai dena, eta zientzia eta teknologian aditua. Gai horien inguruko galderak erantzun ditzake, edo gai horietako termino bilaketa eleanitza egin eta emaitzak automatikoki euskarara itzuli.

Urriaren 12tik 14ra Poloniako Mrągowo herrian IMCSIT multikonferentzia egin da, herrialde horretako IKTen inguruko kongresu nagusia, eta horren barruan egin da hizkuntza-teknologiei buruzko CLA’09 nazioarteko workshop-a. Bertan 15 aplikazio erakutsi ziren; tartean AnHitz aurkeztu zuen Elhuyar Fundazioko Igor Leturiak. Eta AnHitz-ek bi sari eraman zituen: informazio-bilaketako aplikaziorik onena eta workshop guztiko aplikaziorik onena.

 

Informazio gehiago:

• Sariaren arira Euskadi Irratiko Amaraunean saioan elkarrizketa egin diote Igor Leturiari, hemen duzue entzungai.
• Kongresuaren amaierako balorazioa hemen duzue irakurgai.
• Aurkeztutako artikulua: Development and Evaluation of AnHitz, a Prototype of a Basque-Speaking Virtual 3D Expert on Science and Technology.

SEPLN erakundea (Sociedad Española para el Procesamiento del Lenguaje Natural) Donostian jaio zen 1984ean, EHUko ikerlari-talde baten eskutik, eta horregatik berriro dator Donostiara XXV. urtemugan. Irailaren 8tik 10era 150 parte-hartzaileek 36 aurkezpen zientifiko, 8 proiektu eta 11 produktu-demostrazio ikusi ahal izango dituzte.

Kongresu nagusiaz gain, beste hiru workshop edo tailer ere badaude kongresuaren aurretik eta ondoren: irailaren 7an SALTMIL – Information Retrieval and Information Extraction for Less Resourced Languages (IE-IR-LRL) eta 5th International workshop on Web as Corpus (WAC5) tailerrak izango dira, eta irailaren 10ean arratsaldez Uncovering Plagiarism, Authorship, and Social Software Misuse (PAN 2009) tailerra.

Kongresuaren antolakuntza lokalaz EHUko IXA Taldea arduratu da, eta WAC5 tailerraz Elhuyar Fundazioa eta  I+G+B taldea.

WAC5 workshop-aren barruan Elhuyar I+G+B  taldeko Igor Leturiak Search engine based approaches for collecting domain-specific Basque-English comparable corpora from the Internet artikulua aurkeztuko du.

SEPLN antolakuntza

Bitartean, ideia horren gainean gauzak egiten joan daitezkeela sinetsita, mikroformatuak sortu dituzte, egungo HTMLn oinarritutako sarean kontzeptu jakin batzuk semantikoki etiketatzeko bidea. “Mikroformatuak, web semantikoaren aperitifa” da web semantikoaren inguruan Igor Leturiak idatzitako hirugarren artikulua Elhuyar Zientzia eta Teknologia aldizkarian.

• Web semantikoa, badauden eta beharko diren teknologiak
  
• Web semantikoa: Interneten benetako ahala iristeko dago oraindik

Asko idatzi du Andoni Sagarnak hizkuntzaren industriaren eta hizkuntzaren teknologien inguruan: gai hauetan sakontzeko gomendagarria da benetan Iparrorratza bloga jarraitzea eta  Euskaltzaindiko sarrera-hitzaldia irakurtzea.

Hizkuntzaren industriaren erronka berriez gehiago jakiteko.

Artikulu honetan, web semantikoaren azpian dauden teknologiak eta adibideak azaldu  ditu, eta hura egia bihurtzeko dauden arazoak ere bai.

Web semantikoaz Igor Leturiak idatzitako artikuluaren lehen zatia irakurgai duzue osorik Elhuyar Zientzia eta Teknologia aldizkari berrituan.

Hitzaldiko aurkezpena hemen duzue:

• Aurkezpena ikusteko
• Aurkezpena PDF formatuan deskargartzeko
• Hitzaldiaren laburpena