Mas pinili ng mga propesor ng batas ang mga sagot na binuo ng artificial intelligence kaysa sa mga sagot na isinulat ng kapwa propesor, ayon sa isang kamakailang pag-aaral na pinangunahan ng Stanford University na nagsuri kung paano gumanap ang malalaking modelo ng wika sa mga gawain sa legal na pangangatwiran.

Sa pag-aaral, 16 na propesor mula sa 14 na law school sa U.S.—kabilang ang Stanford, Yale, New York University, University of Chicago, Georgetown, UCLA, at University of Virginia—ang lumikha ng 40 tanong sa batas ng kontrata na sumasaklaw sa legal na doktrina, batas ng kaso, mga hypothetical, at mga isyu sa patakaran. Nakita ito ng mga mananaliksik bilang isang mainam na paraan upang subukan ang mga kakayahan ng modernong AI.

“Ang malalaking modelo ng wika (LLMs) ay lalong itinataguyod bilang mga tagapagturo sa edukasyon, ngunit ang karamihan sa mga pagsusuri ay nakatuon sa mga domain na may iisang batayan ng katotohanan,” isinulat ng mga mananaliksik. “Gayunpaman, maraming disiplina ang nakasalalay sa paghuhusga: pangangatwiran, pagtimbang sa kalabuan, at pagbuo ng mga mapagtatanggol na konklusyon. Ang batas ay nagbibigay ng matinding pagsubok.”

Sa 2,918 na blinded comparisons, pinili ng mga propesor ang sagot na mas gusto nilang ibigay sa isang estudyante. Ang Gemini 2.5 Pro ng Google ay nanalo sa 75.92% ng mga laban nito laban sa mga tagapagturo na tao, habang ang NotebookLM ng higante sa teknolohiya ay nanalo sa 74.75% ng oras, na nagbibigay sa mga resultang binuo ng AI ng pag-apruba laban sa mga tao sa humigit-kumulang tatlong-kapat ng mga tugon.

Ayon sa mga mananaliksik, upang matukoy kung ang mga resulta ay nagpapakita ng mas malawak na propesyonal na pinagkasunduan, sinuri ng mga mananaliksik kung gaano kadalas nagkasundo ang mga propesor sa pagtatasa ng parehong pares ng sagot.

“Ang napansing pagkakasundo ay lumampas sa antas na inaasahan kung ang mga paghuhusga ay ganap na natatangi, na nagpapahiwatig na ang tagumpay ng mga LLM ay nagpapakita ng pag-ayon sa mga karaniwang pamantayang pandisiplina,” isinulat nila.

Natuklasan ng pag-aaral na nalampasan din ng mga modelo ng AI ang mga tagapagturo na tao sa iba't ibang kategorya, kabilang ang mga tanong sa paggunita na may kaugnayan sa kaso, code, o doktrina, mga hypothetical, at mga talakayan sa patakaran.

“Upang suriin kung ang anumang kalamangan ng LLM ay maaaring sanhi ng estilo ng pagsusulat sa antas ng ibabaw sa halip na nilalaman, dagdag pa naming inengineered ang isang hanay ng mga tampok na lexico-syntactic—haba ng sagot, istrukturang organisasyon, nuance ng pangangatwiran, legal na batayan, tono ng kumpiyansa, kalinawan, at suportang pedagogical—at sinubukan kung gaano kalaki ang maipaliwanag ng mga ito sa pattern ng kagustuhan,” sinabi ng pag-aaral.

Ang mga sagot na binuo ng AI ay mas madalang ding na-flag bilang nakakapinsala kaysa sa mga isinulat ng mga propesor, na may Gemini na nakapagtala ng 3.41% harmfulness rate at NotebookLM na 3.64%, kumpara sa 12.06% para sa mga tagapagturo na tao. Sa isang hiwalay na pagsusuri ng mga karagdagang modelo, nanguna ang Claude Opus 4.7 ng Anthropic, sinundan ng ChatGPT 5.4 ng OpenAI at Gemini 2.5 Pro, habang bawat modelo ng AI na sinuri ay nalampasan ang mga tagapagturo na tao sa average.

Nagbabala ang mga mananaliksik na hindi sinukat ng pag-aaral kung ang mga sagot ay tumugma sa indibidwal na kagustuhan sa pagtuturo ng bawat propesor, na nag-iiwan ng posibilidad na ang mga tugon na nilikha ng AI ay itinuring na karaniwang katanggap-tanggap sa halip na iniayon sa diskarte ng anumang isang tagapagturo.

“Bagaman ang mga tugon ng LLM ay karaniwang mas pinipili kaysa sa mga tugon ng mga tagapagturo na tao, ang aming setting ng pagsusuri ay hindi nagpapahintulot sa amin na direktang sukatin ang lawak kung saan nasisiyahan ang mga kagustuhan ng tagapagturo,” sinabi ng pag-aaral. “Posible, kahit sa teorya, na ang mga LLM, bagaman karaniwang nagbibigay ng mas mahusay na mga tugon, ay nakakabuo pa rin ng mga sagot na itinuturing lamang na 'sapat na mahusay.'”

Dumating ang pag-aaral habang ang mga korte, law firm, at law school ay lalong humaharap sa kung paano dapat gamitin ang artificial intelligence sa legal na propesyon.

Noong Marso, sinimulan ng Los Angeles Superior Court ang pagsubok sa mga tool ng AI upang tulungan ang mga hukom na pamahalaan ang lumalaking caseloads, habang ang mga law school ay nagdaragdag ng mga programa sa pagsasanay sa AI.

“Ang mga potensyal na benepisyo ng mga bagong teknolohiyang ito bilang isang force multiplier sa pagsasagawa ng batas ay hindi maaaring balewalain,” dating sinabi ni Mississippi College School of Law Dean John P. Anderson sa Decrypt. “Kung ang aming mga estudyante ay nagpaplanong maging mga litigator o transactional attorneys, ang kanilang magiging employers ay umaasa ng pamilyaridad sa mga tool na ito ng AI. Gusto naming magtiwala ang mga firm na magre-hire sa aming mga estudyante na bawat gradwado ng MC Law ay may kakayahan sa mga teknolohiya ng AI.”

Gayunpaman, sa parehong oras, patuloy na nahaharap ang mga law firm sa mga kaso na napapahamak ng mga hallucinations at iba pang mga pagkakamaling binuo ng AI. Noong Abril, inamin ng law firm na Sullivan & Cromwell sa isang U.S. bankruptcy court na ang isang kamakailang paghahain sa isang mataas na profile na kaso ay naglalaman ng mga pekeng sipi na binuo ng AI.