AI ఎంత చట్టానికి లోబడి ఉంది? పరిశోధకులు దానిని పరీక్షించారు

AI పారదర్శకంగా మరియు విశ్వసనీయంగా ఉండేలా EU AI చట్టం రూపొందించబడింది. మొట్టమొదటిసారిగా, ETH కంప్యూటర్ శాస్త్రవేత్తలు AI కోసం కొలవగల సాంకేతిక అవసరాలకు చట్టాన్ని అనువదించారు. అలా చేయడం ద్వారా, నేటి AI మోడల్‌లు ఇప్పటికే చట్టపరమైన అవసరాలకు ఎంతవరకు కట్టుబడి ఉన్నాయో వారు చూపించారు.

ETH జ్యూరిచ్, బల్గేరియన్ AI పరిశోధనా సంస్థ INSAIT – ETH మరియు EPFL భాగస్వామ్యంతో రూపొందించబడింది – మరియు ETH స్పిన్-ఆఫ్ లాటిస్‌ఫ్లో AI నుండి పరిశోధకులు సాధారణ ప్రయోజన AI (GPAI) నమూనాల కోసం EU AI చట్టం యొక్క మొదటి సమగ్ర సాంకేతిక వివరణను అందించారు. భవిష్యత్తులో AI మోడల్‌లపై EU ఉంచే చట్టపరమైన అవసరాలను కాంక్రీట్, కొలవదగిన మరియు ధృవీకరించదగిన సాంకేతిక అవసరాలుగా అనువదించిన మొదటి వ్యక్తిగా ఇది వారిని చేస్తుంది.

EU AI చట్టం యొక్క తదుపరి అమలు ప్రక్రియ కోసం ఇటువంటి అనువాదం చాలా సందర్భోచితంగా ఉంటుంది: పరిశోధకులు మోడల్ డెవలపర్‌లు భవిష్యత్తులో EU చట్టపరమైన అవసరాలతో ఎలా సమలేఖనం చేస్తున్నారో చూడడానికి ఒక ఆచరణాత్మక విధానాన్ని అందజేస్తారు. రెగ్యులేటరీ ఉన్నత-స్థాయి అవసరాల నుండి వాస్తవానికి అమలు చేయగల బెంచ్‌మార్క్‌ల వరకు ఇటువంటి అనువాదం ఇప్పటివరకు ఉనికిలో లేదు మరియు తద్వారా మోడల్ శిక్షణ మరియు ప్రస్తుతం అభివృద్ధి చెందుతున్న EU AI యాక్ట్ కోడ్ ఆఫ్ ప్రాక్టీస్ రెండింటికీ ముఖ్యమైన సూచన పాయింట్‌గా ఉపయోగపడుతుంది.

పరిశోధకులు చాట్‌జిపిటి, లామా, క్లాడ్ లేదా మిస్ట్రాల్ వంటి పన్నెండు ప్రసిద్ధ ఉత్పాదక AI నమూనాలపై వారి విధానాన్ని పరీక్షించారు – అన్నింటికంటే, ఈ పెద్ద భాషా నమూనాలు (LLMలు) రోజువారీ జీవితంలో పెరుగుతున్న ప్రజాదరణ మరియు కృత్రిమ మేధస్సు (AI) పంపిణీకి గొప్పగా దోహదపడ్డాయి. ఎందుకంటే అవి ఉపయోగించడానికి చాలా సామర్థ్యం మరియు స్పష్టమైనవి. ఈ – మరియు ఇతర – AI మోడల్స్ యొక్క పెరుగుతున్న పంపిణీతో, AI యొక్క బాధ్యతాయుతమైన ఉపయోగం కోసం నైతిక మరియు చట్టపరమైన అవసరాలు కూడా పెరుగుతున్నాయి: ఉదాహరణకు, డేటా రక్షణ, గోప్యత రక్షణ మరియు AI నమూనాల పారదర్శకతకు సంబంధించి సున్నితమైన ప్రశ్నలు తలెత్తుతాయి. మోడల్‌లు “బ్లాక్ బాక్స్‌లు”గా ఉండకూడదు, అయితే సాధ్యమైనంతవరకు వివరించదగిన మరియు గుర్తించదగిన ఫలితాలను అందించాలి.

AI చట్టం యొక్క అమలు సాంకేతికంగా స్పష్టంగా ఉండాలి

ఇంకా, వారు న్యాయంగా పని చేయాలి మరియు ఎవరి పట్ల వివక్ష చూపకూడదు. ఈ నేపథ్యంలో, EU మార్చి 2024లో ఆమోదించిన EU AI చట్టం, ఈ సాంకేతికతలపై ప్రజల విశ్వాసాన్ని పెంచడానికి మరియు వాటి అవాంఛనీయ ప్రమాదాలు మరియు దుష్ప్రభావాలను తగ్గించడానికి సమగ్రంగా ప్రయత్నించే ప్రపంచంలోని మొట్టమొదటి AI శాసన ప్యాకేజీ.

“EU AI చట్టం బాధ్యతాయుతమైన మరియు విశ్వసనీయమైన AIని అభివృద్ధి చేయడానికి ఒక ముఖ్యమైన అడుగు” అని ETH కంప్యూటర్ సైన్స్ ప్రొఫెసర్ మార్టిన్ వెచెవ్ చెప్పారు, సురక్షితమైన, విశ్వసనీయమైన మరియు తెలివైన సిస్టమ్స్ కోసం ప్రయోగశాల అధిపతి మరియు INSAIT వ్యవస్థాపకుడు, “కానీ ఇప్పటివరకు మాకు స్పష్టమైన మరియు EU AI చట్టం నుండి ఉన్నత-స్థాయి చట్టపరమైన అవసరాల యొక్క ఖచ్చితమైన సాంకేతిక వివరణ, చట్టబద్ధంగా సమ్మతమైన AI నమూనాలను అభివృద్ధి చేయడం మరియు ఈ నమూనాలు చట్టానికి ఎంతవరకు కట్టుబడి ఉన్నాయో అంచనా వేయడం రెండింటినీ కష్టతరం చేస్తుంది.”

EU AI చట్టం జనరల్ పర్పస్ ఆర్టిఫిషియల్ ఇంటెలిజెన్స్ (GPAI) అని పిలవబడే ప్రమాదాలను కలిగి ఉండటానికి స్పష్టమైన చట్టపరమైన ఫ్రేమ్‌వర్క్‌ను నిర్దేశిస్తుంది. ఇది విస్తృత శ్రేణి పనులను అమలు చేయగల AI నమూనాలను సూచిస్తుంది. అయినప్పటికీ, విస్తృత చట్టపరమైన అవసరాలను సాంకేతికంగా ఎలా అర్థం చేసుకోవాలో చట్టం పేర్కొనలేదు. ఆగస్టు 2026లో అధిక-రిస్క్ AI మోడల్‌ల కోసం నిబంధనలు అమల్లోకి వచ్చే వరకు సాంకేతిక ప్రమాణాలు ఇంకా అభివృద్ధి చేయబడుతున్నాయి.

“అయితే, AI చట్టం యొక్క అమలు యొక్క విజయం ఎక్కువగా కాంక్రీటు, ఖచ్చితమైన సాంకేతిక అవసరాలు మరియు AI మోడల్‌ల కోసం సమ్మతి-కేంద్రీకృత బెంచ్‌మార్క్‌లను అభివృద్ధి చేయడంలో ఎంతవరకు విజయం సాధిస్తుందనే దానిపై ఆధారపడి ఉంటుంది” అని పీటర్ త్సాంకోవ్, CEO మరియు ETH వ్యవస్థాపకుడు వెచెవ్‌తో చెప్పారు. స్పిన్-ఆఫ్ లాటిస్‌ఫ్లో AI, ఇది ఆచరణలో నమ్మదగిన AI అమలుతో వ్యవహరిస్తుంది. “(GP)AI మోడల్స్‌లో భద్రత, వివరణాత్మకత లేదా ట్రేస్‌బిలిటీ వంటి కీలక పదాల అర్థం ఏమిటో ఖచ్చితమైన ప్రామాణిక వివరణ లేకుంటే, మోడల్ డెవలపర్‌లకు వారి AI మోడల్‌లు AI చట్టానికి అనుగుణంగా నడుస్తాయో లేదో అస్పష్టంగానే ఉంటుంది” అని రాబిన్ స్టాబ్ జోడించారు. , వెచెవ్ పరిశోధన సమూహంలో కంప్యూటర్ సైంటిస్ట్ మరియు డాక్టరల్ అభ్యర్థి.

పన్నెండు భాషా నమూనాల పరీక్ష లోపాలను వెల్లడిస్తుంది

పరిశోధకులు అభివృద్ధి చేసిన పద్దతి చర్చకు ప్రారంభ స్థానం మరియు ఆధారాన్ని అందిస్తుంది. పరిశోధకులు మొదటి “కంప్లయన్స్ చెకర్”ని కూడా అభివృద్ధి చేశారు, AI మోడల్‌లు EU AI చట్టం యొక్క సంభావ్య అవసరాలకు ఎంతవరకు అనుగుణంగా ఉన్నాయో అంచనా వేయడానికి ఉపయోగించే బెంచ్‌మార్క్‌ల సమితి.

ఐరోపాలో కొనసాగుతున్న చట్టపరమైన అవసరాల దృష్ట్యా, పరిశోధకులు తమ పరిశోధనలను ఒక అధ్యయనంలో బహిరంగంగా అందుబాటులో ఉంచారు. వారు తమ ఫలితాలను EU AI ఆఫీస్‌కు అందుబాటులో ఉంచారు, ఇది AI చట్టం అమలులో మరియు దానికి అనుగుణంగా – మరియు మోడల్ మూల్యాంకనం కోసం కూడా కీలక పాత్ర పోషిస్తుంది.

నిపుణులు కానివారికి కూడా ఎక్కువగా అర్థమయ్యే ఒక అధ్యయనంలో, పరిశోధకులు మొదట కీలక నిబంధనలను స్పష్టం చేశారు. EU AI చట్టంలో పేర్కొన్న ఆరు కేంద్ర నైతిక సూత్రాల నుండి (మానవ ఏజెన్సీ, డేటా రక్షణ, పారదర్శకత, వైవిధ్యం, వివక్ష రహితం, న్యాయబద్ధత) ప్రారంభించి, అవి 12 అనుబంధిత, సాంకేతికంగా స్పష్టమైన అవసరాలను పొందాయి మరియు వీటిని 27 అత్యాధునికమైన వాటికి లింక్ చేస్తాయి. మూల్యాంకన ప్రమాణాలు. AI మోడల్‌ల కోసం కాంక్రీట్ సాంకేతిక తనిఖీలు ఏయే ప్రాంతాల్లో తక్కువ అభివృద్ధి చెందాయో లేదా ఉనికిలో లేవని కూడా వారు ఎత్తి చూపారు, సమర్థవంతమైన EU AI చట్టం అమలు కోసం ఈ ప్రాంతాలను మరింత ముందుకు తీసుకురావడానికి పరిశోధకులు, మోడల్ ప్రొవైడర్లు మరియు రెగ్యులేటర్‌లు ఇద్దరినీ ప్రోత్సహిస్తున్నారు.

మరింత మెరుగుదల కోసం ప్రేరణ

పరిశోధకులు తమ బెంచ్‌మార్క్ విధానాన్ని 12 ప్రముఖ భాషా నమూనాలకు (LLMలు) వర్తింపజేసారు. ఈ రోజు విశ్లేషించబడిన భాషా నమూనాలు ఏవీ EU AI చట్టం యొక్క అవసరాలను పూర్తిగా తీర్చలేవని ఫలితాలు స్పష్టం చేస్తున్నాయి. “ఈ పెద్ద భాషా నమూనాల యొక్క మా పోలిక ముఖ్యంగా పటిష్టత, వైవిధ్యం మరియు సరసత వంటి అవసరాలకు సంబంధించి లోపాలు ఉన్నాయని వెల్లడిస్తుంది” అని రాబిన్ స్టాబ్ చెప్పారు. ఇటీవలి సంవత్సరాలలో, మోడల్ డెవలపర్‌లు మరియు పరిశోధకులు ప్రాథమికంగా సాధారణ మోడల్ సామర్థ్యాలు మరియు సరసత లేదా వివక్షత లేని నైతిక లేదా సామాజిక అవసరాలపై పనితీరుపై దృష్టి సారించారు.

అయినప్పటికీ, వివరణాత్మకత వంటి కీలకమైన AI భావనలు కూడా అస్పష్టంగా ఉన్నాయని పరిశోధకులు కనుగొన్నారు. ఆచరణలో, సంక్లిష్ట AI మోడల్ ఫలితాలు ఎలా వచ్చాయో వివరించడానికి తగిన సాధనాల కొరత ఉంది: సంభావితంగా పూర్తిగా స్పష్టంగా లేనిది సాంకేతికంగా మూల్యాంకనం చేయడం కూడా దాదాపు అసాధ్యం. కాపీరైట్ ఉల్లంఘనకు సంబంధించిన వాటితో సహా వివిధ సాంకేతిక అవసరాలను ప్రస్తుతం విశ్వసనీయంగా కొలవలేమని అధ్యయనం స్పష్టం చేస్తోంది. రాబిన్ స్టాబ్ కోసం, ఒక విషయం స్పష్టంగా ఉంది: “మోడల్ మూల్యాంకనాన్ని సామర్థ్యాలపై మాత్రమే దృష్టి పెట్టడం సరిపోదు.”

పరిశోధకుల దృష్టి ఇప్పటికే ఉన్న నమూనాలను మూల్యాంకనం చేయడం కంటే ఎక్కువగా సెట్ చేయబడింది. వారికి, భవిష్యత్తులో AI నమూనాల అభివృద్ధి మరియు మూల్యాంకనాన్ని చట్టం ఎలా మారుస్తుందనేదానికి EU AI చట్టం మొదటి సందర్భం. “మేము AI చట్టాన్ని అమలు చేయడానికి మరియు మోడల్ ప్రొవైడర్ల కోసం ఆచరణీయ సిఫార్సులను పొందేందుకు మా పనిని ఒక ప్రేరణగా చూస్తాము,” అని మార్టిన్ వెచెవ్ చెప్పారు, “అయితే మా పద్దతి EU AI చట్టానికి మించి ఉంటుంది, ఎందుకంటే ఇది ఇతర వాటికి కూడా అనుకూలమైనది, పోల్చదగిన చట్టం.”

“అంతిమంగా, మేము సామర్ధ్యం వంటి సాంకేతిక అంశాలు మరియు సరసత మరియు చేరిక వంటి నైతిక అంశాలు రెండింటినీ పరిగణనలోకి తీసుకునే LLMల సమతుల్య అభివృద్ధిని ప్రోత్సహించాలనుకుంటున్నాము” అని పీటర్ త్సాంకోవ్ జతచేస్తుంది. సాంకేతిక చర్చను ప్రారంభించడానికి పరిశోధకులు తమ బెంచ్‌మార్క్ సాధనం COMPL-AIని GitHub వెబ్‌సైట్‌లో అందుబాటులో ఉంచుతున్నారు. వారి బెంచ్‌మార్కింగ్ యొక్క ఫలితాలు మరియు పద్ధతులు అక్కడ విశ్లేషించబడతాయి మరియు దృశ్యమానం చేయబడతాయి. “మేము మా బెంచ్‌మార్క్ సూట్‌ను ఓపెన్ సోర్స్‌గా ప్రచురించాము, తద్వారా పరిశ్రమ మరియు శాస్త్రీయ సమాజం నుండి ఇతర పరిశోధకులు పాల్గొనవచ్చు” అని పీటర్ త్సాంకోవ్ చెప్పారు.

_{కొత్త COMPL-AI బెంచ్‌మార్క్ సూట్‌లో ఐదు మోడల్‌ల ఫలితాలు, నైతిక సూత్రం ప్రకారం సమూహం చేయబడ్డాయి. బెంచ్‌మార్కింగ్ విలువలతో పని చేస్తుంది: 1 AI చట్టం యొక్క అవసరాలు పూర్తిగా కట్టుబడి ఉన్నాయని సూచిస్తుంది. O వద్ద, వారు అస్సలు కలవరు. (టేబుల్: లాటిస్ ఫ్లో, SRI ల్యాబ్, INSAIT)}

సూచన

గుల్డిమాన్, పి, స్పిరిడోనోవ్, ఎ, స్టాబ్, ఆర్, జోవనోవిక్, ఎన్, వెరో, ఎమ్, వెచెవ్, వి, గుయోర్గియేవా, ఎ, బలునోవిక్, మిస్లా, కాన్స్టాంటినోవ్, ఎన్, బీలిక్, పి, త్సాంకోవ్, పి. AI ఫ్రేమ్‌వర్క్: EU ఆర్టిఫిషియల్ ఇంటెలిజెన్స్ చట్టం కోసం సాంకేతిక వివరణ మరియు LLM బెంచ్‌మార్కింగ్ సూట్. లో: arXiv:2410.07959 [cs.CL]. DOI: https://doi.org/10.48550/arXiv.2410.07959