’Hopplös’ till potentiellt praktiskt: advokatbyrå testar chatbots

Artificial Intelligence (AI) -verktyg har blivit betydligt bättre på att svara på juridiska frågor men kan fortfarande inte replikera kompetensen hos till och med en junior advokat, ny forskning föreslår. Det stora brittiska advokatbyrån, Linklaters, sätta chatbots på testet genom att sätta dem 50 ”relativt relativt Hårda ”frågor om engelsk lag. De kan vara användbara ”för det verkliga juridiska arbetet – men bara med expert mänsklig tillsyn. . Den internationella advokatbyrån Hill Dickinson blockerade nyligen allmän tillgång till flera AI -verktyg efter att det hittade en ”betydande ökning av användningen” av dess personal. Det finns också en hård internationell debatt om hur riskabel AI är och hur tätt reglerad den behöver vara. Förra veckan vägrade USA och Storbritannien att underteckna ett internationellt avtal om AI, med USA: s vice president JD Vance som kritiserade europeiska länder för att prioritera säkerheten framför innovation. Detta var andra gången Linklaters hade kört sina Linksai -benchmark -test, med den ursprungliga övningen som ägde rum i oktober 2023. I den första körningen testades OpenAI: s GPT 2, 3 och 4 tillsammans med Googles Bard. Examen har nu utvidgats till att inkludera O1 , från Openai och Googles Gemini 2.0, som också släpptes i slutet av 2024.Det involverade inte Deepseeks R1 – den uppenbarligen låg kostnadskinesiska modellen som förvånade världen förra månaden – eller något annat icke -USA -verktyg. Testet Testet involverade att posera den typ av frågor som skulle kräva råd från en ”kompetent mellannivå advokat” med två års erfarenhet. De nyare modellerna visade en ”betydande förbättring” på sina föregångare, sade Linklaters, men ändå utförs under en kvalificerad kvalificerad advokat. Även de mest avancerade verktygen gjorde misstag, utelämnade viktig information och uppfann citat – om än mindre än tidigare modeller. Verktygen ”börjar utföra på en nivå där de kan hjälpa till med juridisk forskning” sa Linklaters, vilket ger exemplen på att tillhandahålla tillhandahållande Första utkast eller kontroll av svar. Men det sade att det fanns ”faror” i att använda dem om advokater ”inte redan har en god uppfattning om svaret”. Det tilllade att trots de ”otroliga” framsteg som gjorts under de senaste åren återstod frågor om huruvida det skulle replikeras i framtiden, eller om det fanns ”inneboende begränsningar” i vad AI -verktyg kunde göra. Verktyg skulle inte nödvändigtvis ta slut på vad det kallade de ”köttiga bitarna vid leveransen av juridiska tjänster”.