https://lat.sputnikportal.rs/20241027/vestacka-inteligencija-u-sluzbi-medicine-halucinacije-izmisljotine-i-lazni-lekovi-1178861872.html
Veštačka inteligencija u službi medicine: Halucinacije, izmišljotine i lažni lekovi
Veštačka inteligencija u službi medicine: Halucinacije, izmišljotine i lažni lekovi
Sputnik Srbija
OpenAI-ov alat veštačke inteligencije (AI) za transkripciju suočava se sa negativnim reakcijama jer stručnjaci otkrivaju ozbiljne nedostatke, uključujući... 27.10.2024, Sputnik Srbija
2024-10-27T17:45+0100
2024-10-27T17:45+0100
2024-10-27T17:45+0100
nauka i tehnologija
nauka i tehnologija
medicina
društvo
https://cdn1.img.sputnikportal.rs/img/07e8/03/12/1168985347_0:160:3073:1888_1920x0_80_0_0_fdb6ae91b910a08a0a7bd0ca3a36d15e.jpg
„Visper“, OpenAI-ov alat za transkripciju, hvaljen zbog svoje robusnosti i tačnosti na nivou čoveka, pokazao je značajnu manu: ponekad pravi fraze ili čitave rečenice, poznate u industriji veštačke inteligencije kao „halucinacije“. Više od deset stručnjaka, uključujući softverske inženjere, programere i akademske naučnike, potvrdilo je da „Visper“ povremeno ubacuje lažne informacije, koje mogu da variraju od rasnih komentara do izmišljenih medicinskih saveta.Problem je posebno zabrinjavajući s obzirom na široku upotrebu ovog alata u svim industrijama za prevođenje intervjua, generisanje teksta i titlovanje videa.Niko ne želi pogrešnu dijagnozuMedicinski centri su čak počeli da integrišu „Visper“ u interakcije lekara i pacijenta, uprkos savetu OpenAI-a da se alatka ne koristi u domenima visokog rizika. Prema istraživačima, njegove halucinacije se često pojavljuju u njihovom radu, a jedan istraživač sa Univerziteta u Mičigenu primetio je da osam od deset transkripata koje je pregledao sadrži takve netačnosti.U drugom slučaju, inženjer mašinskog učenja je otkrio halucinacije u skoro polovini od više od 100 sati analiziranih podataka transkripta, dok ih je drugi programer pronašao u skoro svih 26.000 transkripata koje je analizirao.Čak ni uzorci čistog zvuka nisu imuni na greške. Nedavna studija sa više od 13.000 audio snimaka otkrila je 187 slučajeva halucinacije teksta, što je izazvalo zabrinutost u vezi sa pouzdanošću Vispera u velikim razmerama, piše AP.Alondra Nelson, bivša direktorka Kancelarije za nauku i tehnologiju Bele kuće, izrazila je zabrinutost zbog potencijalnih posledica grešaka u transkripciji, posebno u zdravstvenoj zaštiti.Usred ovih zabrinutosti, stručnjaci i zagovornici pozivaju OpenAI i američke savezne agencije da se pozabave tim pitanjem i razmotre regulisanje veštačke inteligencije. Vilijam Saunders, bivši istraživački inženjer koji je napustio OpenAI u februaru, sugerisao je da je problem rešiv, ali da mu OpenAI mora dati prioritet.„Problematično je ako ga stavite tamo i ljudi su previše sigurni u ono što može da uradi i integrišu ga u sve ove druge sisteme“, rekao je Saunders.Uvredljiv jezik, nepostojeći lek...Kao odgovor, OpenAI je rekao da aktivno istražuje načine za smanjenje halucinacija i redovno integriše povratne informacije od svoje korisničke zajednice. „Visper“ je integrisan u različite tehnologije, uključujući OpenAI Čet dži-pi-ti, Majkrosoft i Orakl klaud usluge i platforme otvorenog koda kao što je Haging Fejs, gde je preuzet više od 4,2 miliona puta samo u poslednjih mesec dana.Akademici Alison Keneke sa Univerziteta Kornell i Mona Sloan sa Univerziteta Virdžinije analizirale su hiljade audio-snimaka i otkrile da je skoro 40 odsto „Visperovih“ halucinacija potencijalno štetno, uključujući fraze koje pogrešno predstavljaju govornike. Jedan uznemirujući primer ogledao se u činjenici dodavanja nasilnog jezik u bezazlenu izjavu, dok je drugi ubacio rasne uvrede, a treći je izmislio nepostojeći lek.Programeri spekulišu da se „Visperove“ halucinacije često javljaju tokom pauza ili pozadinske buke. OpenAI-jeva dokumentacija savetuje da ne koristite „Visper“ u kontekstu donošenja odluka zbog zabrinutosti oko njegove tačnosti. Bez obzira na to, zdravstvene ustanove kao što su Klinika Mankato u Minesoti i Dečja bolnica u Los Anđelesu usvajaju alatku zasnovanu na ovoj tehnologiji koju je razvila kompanija „Nabla“ za prepisivanje lekarskih konsultacija.„Nablin“ AI alat zapravo briše originalni audio-snimak iz bezbednosnih razloga i korišćen je u više od sedam miliona medicinskih konsultacija.Saunders je upozorio da bi brisanje moglo biti rizično ako se transkripti ne pregledaju temeljno, jer kliničarima onemogućava da potvrde tačnost.„Nabla“ priznaje mogućnost halucinacija i, iako zahteva ručni pregled transkripata, predviđa budućnost u kojoj bi automatizovani transkripti mogli da rade bez provere.Pogledajte i:
Sputnik Srbija
feedback.rs@sputniknews.com
+74956456601
MIA „Rossiya Segodnya“
2024
Sputnik Srbija
feedback.rs@sputniknews.com
+74956456601
MIA „Rossiya Segodnya“
Vesti
sr_RS
Sputnik Srbija
feedback.rs@sputniknews.com
+74956456601
MIA „Rossiya Segodnya“
Sputnik Srbija
feedback.rs@sputniknews.com
+74956456601
MIA „Rossiya Segodnya“
nauka i tehnologija, medicina, društvo
nauka i tehnologija, medicina, društvo
Veštačka inteligencija u službi medicine: Halucinacije, izmišljotine i lažni lekovi
OpenAI-ov alat veštačke inteligencije (AI) za transkripciju suočava se sa negativnim reakcijama jer stručnjaci otkrivaju ozbiljne nedostatke, uključujući izmišljeni tekst i lekove, koji ugrožavaju tačnost u kritičnim oblastima kao što je zdravstvo.
„Visper“, OpenAI-ov alat za transkripciju, hvaljen zbog svoje robusnosti i tačnosti na nivou čoveka, pokazao je značajnu manu: ponekad pravi fraze ili čitave rečenice, poznate u industriji veštačke inteligencije kao „halucinacije“. Više od deset stručnjaka, uključujući softverske inženjere, programere i akademske naučnike, potvrdilo je da „Visper“ povremeno ubacuje lažne informacije, koje mogu da variraju od rasnih komentara do izmišljenih medicinskih saveta.
Problem je posebno zabrinjavajući s obzirom na široku upotrebu ovog alata u svim industrijama za prevođenje intervjua, generisanje teksta i titlovanje videa.
Niko ne želi pogrešnu dijagnozu
Medicinski centri su čak počeli da integrišu „Visper“ u interakcije lekara i pacijenta, uprkos savetu OpenAI-a da se alatka ne koristi u domenima visokog rizika. Prema istraživačima, njegove halucinacije se često pojavljuju u njihovom radu, a jedan istraživač sa Univerziteta u Mičigenu primetio je da osam od deset transkripata koje je pregledao sadrži takve netačnosti.
U drugom slučaju, inženjer mašinskog učenja je otkrio halucinacije u skoro polovini od više od 100 sati analiziranih podataka transkripta, dok ih je drugi programer pronašao u skoro svih 26.000 transkripata koje je analizirao.
Čak ni uzorci čistog zvuka nisu imuni na greške. Nedavna studija sa više od 13.000 audio snimaka otkrila je 187 slučajeva halucinacije teksta, što je izazvalo zabrinutost u vezi sa pouzdanošću Vispera u velikim razmerama,
piše AP.
Alondra Nelson, bivša direktorka Kancelarije za nauku i tehnologiju Bele kuće, izrazila je zabrinutost zbog potencijalnih posledica grešaka u transkripciji, posebno u zdravstvenoj zaštiti.
„Niko ne želi pogrešnu dijagnozu... trebalo bi da postoji viši stepen, rekao je Kristijan Vogler, profesor na Univerzitetu Galade i upozorio na rizik za gluve i nagluve, koji ne mogu lako da otkriju greške u transkribovanom sadržaju.
Usred ovih zabrinutosti, stručnjaci i zagovornici pozivaju OpenAI i američke savezne agencije da se pozabave tim pitanjem i razmotre regulisanje veštačke inteligencije. Vilijam Saunders, bivši istraživački inženjer koji je napustio OpenAI u februaru, sugerisao je da je problem rešiv, ali da mu OpenAI mora dati prioritet.
„Problematično je ako ga stavite tamo i ljudi su previše sigurni u ono što može da uradi i integrišu ga u sve ove druge sisteme“, rekao je Saunders.
Uvredljiv jezik, nepostojeći lek...
Kao odgovor, OpenAI je rekao da aktivno istražuje načine za smanjenje halucinacija i redovno integriše povratne informacije od svoje korisničke zajednice. „Visper“ je integrisan u različite tehnologije, uključujući OpenAI Čet dži-pi-ti, Majkrosoft i Orakl klaud usluge i platforme otvorenog koda kao što je Haging Fejs, gde je preuzet više od 4,2 miliona puta samo u poslednjih mesec dana.
Akademici Alison Keneke sa Univerziteta Kornell i Mona Sloan sa Univerziteta Virdžinije analizirale su hiljade audio-snimaka i otkrile da je skoro 40 odsto „Visperovih“ halucinacija potencijalno štetno, uključujući fraze koje pogrešno predstavljaju govornike. Jedan uznemirujući primer ogledao se u činjenici dodavanja nasilnog jezik u bezazlenu izjavu, dok je drugi ubacio rasne uvrede, a treći je izmislio nepostojeći lek.
Programeri spekulišu da se „Visperove“ halucinacije često javljaju tokom pauza ili pozadinske buke. OpenAI-jeva dokumentacija savetuje da ne koristite „Visper“ u kontekstu donošenja odluka zbog zabrinutosti oko njegove tačnosti. Bez obzira na to, zdravstvene ustanove kao što su Klinika Mankato u Minesoti i Dečja bolnica u Los Anđelesu usvajaju alatku zasnovanu na ovoj tehnologiji koju je razvila kompanija „Nabla“ za prepisivanje lekarskih konsultacija.
„Nablin“ AI alat zapravo briše originalni audio-snimak iz bezbednosnih razloga i korišćen je u više od sedam miliona medicinskih konsultacija.
Saunders je upozorio da bi brisanje moglo biti rizično ako se transkripti ne pregledaju temeljno, jer kliničarima onemogućava da potvrde tačnost.
„Ne možete uhvatiti greške ako oduzmete osnovnu istinu“, rekao je on.
„Nabla“ priznaje mogućnost halucinacija i, iako zahteva ručni pregled transkripata, predviđa budućnost u kojoj bi automatizovani transkripti mogli da rade bez provere.
