مقارنة مثيرة بين منصات الذكاء الاصطناعي القانونية: اكتشف نقاط القوة والضعف في ‘معركة الذكاء الاصطناعي’!
كيف تتنافس منصات البحث القانوني المدعومة بالذكاء الاصطناعي – وبالتحديد تلك التي تقدم إجابات مباشرة على الأسئلة القانونية – مع بعضها البعض؟
كان هذا هو السؤال المطروح في اجتماع جمعية مكتبات القانون في جنوب كاليفورنيا الذي عُقد في 8 فبراير، حيث قدمت لجنة مكونة من ثلاثة أمناء مكتبات قانونية تقريرًا عن مقارنة الإجابات التي قدمتها ثلاث منصات رائدة – Lexis+AI وWestlaw Precision AI وVincent AI من vLex.
بينما أظهرت المنصات الثلاثة كفاءة في الإجابة على أسئلة البحث القانوني الأساسية، وجدت اللجنة أن كل منصة تتمتع بقوة مميزة وأحيانًا عدم اتساق في ردودها على الاستفسارات القانونية التي طرحها الأمناء.
لكن بعد اختبار المنصات باستخدام ثلاثة سيناريوهات بحث قانوني منفصلة، كانت النتيجة العامة للجنة هي أنه بينما يمكن أن توفر أدوات البحث القانوني المدعومة بالذكاء الاصطناعي إجابات سريعة أولية، يجب أن تُعتبر نقاط انطلاق بدلاً من مصادر نهائية للبحث القانوني.
قال مارك جيديمان، محلل الأبحاث الأول في Alston & Bird وأحد أعضاء اللجنة: “هذه نقطة انطلاق وليست نقطة نهاية”، مؤكدًا على أهمية استخدام مهارات البحث القانونية التقليدية للتحقق من نتائج الذكاء الاصطناعي.
تقييم ثلاثة أسئلة قانونية
بالإضافة إلى جيديمان، كان هناك أمينتا مكتبة قانونيتان أخريان قارنوا بين المنصات وقدما نتائجهما:
- سيندي غاير، محللة المعرفة والبحث الأولية في O’Melveny & Myers.
- تانيا ليفشيتس، مديرة خدمات البحث في DLA Piper.
باستخدام كل منصة منهم، بحثوا عن ثلاث أسئلة تركزت جميعها حول قوانين ولاية كاليفورنيا أو القوانين الفيدرالية ضمن محكمة الاستئناف الدائرة التاسعة الأمريكية التي تغطي كاليفورنيا:
- ما هو الإطار الزمني لطلب اعتماد استئناف مؤقت من المحكمة الابتدائية في الدائرة التاسعة؟
- هل هناك حق خاص للمطالبة بموجب قانون إجازة الإنجاب لفقدان الموظفين بكاليفورنيا؟
- ما هو المعيار لاستئناف اعتماد الفئة؟ (كاليفورنيا)
- Dقة الإجابة.
- Dقة العمق للإجابة.
- Dكر المصادر الأساسية المستشهد بها.
- Dكر المصادر الثانوية المستشهد بها.
- Dشكل الإجابة. < li > خيارات متكررة .
السؤال الأول: إطار زمني للاستئناف
< p > بالنسبة للسؤال الأول ، المتعلق بالإطار الزمني لاعتماد استئناف مؤقت بالدائرة التاسعة ، حددت جميع المنصات الثلاث الإجابة الصحيحة ، وهي 10 أيام بعد دخول أمر الاعتماد .
< p > تضمنت الإجابة المقدمة بواسطة Lexis + AI بشكل صحيح اقتباسًا للقانون الفيدرالي المسيطر ، بالإضافة إلى القوانين ذات الصلة ، ووضع الاقتباسات مباشرةً داخل نص الإجابة ، بالإضافة إلى إدراجها بشكل منفصل. عندما سألت أحد أعضاء اللجنة سؤال متابعة حول كيفية حساب الـ 10 أيام ، قدمت ما اعتبرته تفسيرًا جيدًا.
< p > أدت Westlaw Precision AI تقريباً نفس أداء Lexis ، حيث أجابت السؤال بشكل صحيح وقدمت الجواب بنفس الشكل تقريباً واستشهدت بنفس السلطات تقريباً. كما أنها تضمنت الاقتباسات مباشرة داخل نص الجواب .
< p > بينما قدم Vincent AI أيضًا إجابة صحيحة إلا أنه استشهد بقضايا مختلفة عن Lexis وWestlaw. كما أظهر بعض عدم الاتساق فيما يتعلق بكيفية تقديمه للسلطات حيث ظهر النص التشريعي الرئيسي الحاكم ضمن الجواب ولكنه لم يكن موجوداً ضمن قائمة السلطات القانونية المرفقة .السؤال الثاني: الحق الخاص للمطالبة
< p > كشف السؤال الثاني المتعلق بحق المطالبة الخاص بموجب قانون إجازة الإنجاب لعام 2024 بكاليفورنيا عن اختلافات أكثر أهمية بين المنصات . قال عضو اللجنة جيديمان إن هذا السؤال كان تحديًا خاصًا لأنه يتعلق بالتشريع الذي دخل حيز التنفيذ قبل أكثر من عام بقليل بتاريخ 1 يناير 2024 .< P > توصل كلٌّ من Lexis + AI و Westlaw Precision AI إلى استنتاج مشابه حيث لم يجدا حق المطالبة الخاص صراحةً. ومع ذلك, توصل Vincent AI الى نتيجة معاكسة, إذ وجد أن هناك حق خاص للمطالبة. ومن الجدير بالذكر أنه وجد بند تنظيمي ذي صلة فاتته المنصتان الأخريان. عند الوصول لإجابته, فسر أيضًا اللغة التشريعية بطريقة وصفها أحد أعضاء اللجنة بأنها “افتراض قابل للنقاش ولكن ليس مُصرح به صراحة”.
< / P >< P>“هذا لا يعني الآن أن Westlaw وLexis كانا مخطئين وأن Vincent كان صحيحاً أو العكس” قال جيديمان.”إنه يبرز فقط حقيقة أن الذكاء الاصطناعي معقد… ولا يهم كم مرة تطرح سؤالاً, ستكون كل إجابة مختلفة قليلاً حتى لو كانت على نفس النظام.”
< / P >< P ومع ذلك , أعجب جيديمان بأداء Vincent بشأن هذا السؤال , حيث وجد لغة ذات صلة بقاعدة تنظيمية ليست محددة بالقانون المعني. < / P >
< P>“لقد تمكن …من العثور على الصلة بإطار مرجعي أوسع قليلاً للتطبيق , ورأيت ذلك رائع جداً,” قال جيديمان.”لم أكن لأجد هذا بنفسي بصراحة, وأحب التفكير بأنني باحث محترم.”
< / P >sوال الثالث: معيار الاستئناف
<پ وجدت أيضاً العديد من المصادر الثانوية المذكورة لدعم الاجابه غير ذات صله وغالبا ما تستند إلي قوانين اتحادية عندما كانت المسألة تتعلق بقانون ولاية .
P
قدم Vincent A I ربما أفضل رد شامل وفق ما رأته غاير مشيرة إليه بأنه “اجابه رائعة”. لقد وفرت كلاًًمن الاجابه المختصره الاولي والتفسير المفصل بما فيه قسم فريد بعنوان “استثناء وحدود” يشبه أدلة الممارسة والتي سلط الضوء علي تحذيرات جرس الموت.
على الرغم مما سبق فإن الاجابه الاولى لـVincent قد أشارت أيضا لبعض المصادر الثانوية غير ذات الصله إلا ان غاير اعجبت بأن لدى Vincent ميزة تسمح للباحث بتحديد مصادر معينة وإزالتها ثم إعادة توليد الرد بناءً فقط علي المصادر المتبقية.
“أحب هذه السيطرة التي يمنحون المستخدم ليكون جزءً منها تجربة الذكاء الصناعي فيما يتعلق بما تريد,” قالت.
كما أعجبت غايتر بأن اجوبة Vinvent A I يمكن تصديره ومشاركته للتعاون مع الآخرين شريطة امتلاكهم اشتراك Vinvent A I ايضا يمكنهم النقر فوق رابط والدخول لرؤية الرد الكامل لـA I وكذلك تعديل وإعادة توليد الاستعلام.Summing It All Up
P
ختم الأعضاء تقييماتهم للمنصتين الثلاث بالمخطط الموجود أدناه والذي يقيم كل عامل الست المذكورة سابقآ.
بشكل عام عبر جميع الأسئلة الثلاثة أظهرت كل منصة نقاط قوة مميزة كيف عرضوا ودعموا إجاباتهم حسب قول الأعضاء.
أظهر Lexis+AI تكاملاً قويًا باستمرار مع اقتباسات Shepard’s وعرض مجموعة متعددة formats التقارير.
كانت تكامل Westlaw Precision AIs مع KeyCite وأدوات التحقق الواضحة تجعل عملية التحقق بسيطة رغم تحول النظام الأخير نحو تقديم أجوبة أكثر إيجازًا ملحوظ جدًا .
تميز Vincent A I بميزات التحكم الخاصة بالمستخدم مما يسمح للباحثين بتصفية المصادر وإعادة توليد الأجوبة فضلا عن نظام تصنيف الملائمة الفريد له .
بالنسبة للأعضاء فإن الاختلافات الموجودة بالإجابات وخاصة للأسئلة الأكثر تعقيدا والتشريعات الحديثة تؤكد ضرورة اعتبار هذه الأدوات كـنقاط بداية بدلاََ مِن كونها مصادر نهائية .
في موضوع شفافية البائعين ذكر الأعضاء أنه لا يوجد أي بائع يكشف حالياً أي نماذج ذكاء اصطناعى محددة يستخدمونها.
بينما قد لا يشارك البائعون تقنيتهم الأساسية فقد كانوا سريعون للغاية للاستجابة لتعليقات المستخدمين وسريعون لتنفيذ التحسينات حسب قول الأعضاء.
أكد المجلس أنه بالرغم مِن تقدم التكنولوجيا الخاصة بـA I إلا أنّ هذه الأدوات تحتاج إشراف دقيق والتحقق منها .
قال عضو المجلس ليفشيتس : “يميل مستخدمونا للاعتقاد بأن الذكاء الصناعى هو الحل لجميع مشاكل حياتهم”.
“لقد قضيت الكثير مِن الوقت موضحَا أنها مجرد أداة وليست حلا وتوضيح قيود استخدامها حاليا.”
قال جيدمان : “كلما أعطي النتائج لمحامي دائمَا ما أتضمن إخلاءات مسؤوليه تفيد بأنه ينبغي اعتبار هذه البداية لبحثكم ويجب مراجعة النتائج لمعرفة مدى ملائمتها وقابلتها للاستخدام قبل استخدامها ولكن يجب ألا تعتمد عليها كما هي.”
