تُعد قدرة نماذج الذكاء الاصطناعي على التعامل مع اللغة بدقة أحد أهم الجوانب عند تقييمها، خصوصًا عند الحديث عن لغة غنية ومعقدة مثل اللغة العربية، وفي هذا السياق تم طرح سؤال عن حلوى شعبية منتشرة في كثير من الدول الخليجية، على نموذجي؛ "تشات جي بي تي" الأمريكي و"ديب سيك" الصيني.
وحسب تقرير على موقع صحيفة "الشرق الأوسط"، يقارن بين النموذجين وأيهما أفضل للمستخدم العربي، أظهر "تشات جي بي تي" تحسنًا ملحوظًا في فهم العربية الفصحى (MSA) وبعض اللهجات المحلية. ومع ذلك، في بعض الأحيان، تكون ردوده عامة، ولا تعكس الفهم الكامل للثقافة العربية.
وفي المقابل، يبرز "ديب سيك" قدرته على تقديم ردود سياقية (داخل ثقافة معينة) دقيقة، حيث يُظهر فهمًا أعمق للثقافة والتعبيرات الاصطلاحية العربية. على سبيل المثال، عند سؤاله: "ما اللُّقيمات؟"، وهي حلوى شعبية منتشرة في كثير من الدول الخليجية.
وتحت عنوان "الشمولية أم التفصيل؟"، يقول التقرير، قدم كل نموذج وصفًا تفصيليًا لحلوى اللّقيمات. وعلى الرغم من التطابق في الموضوع العام، فإن كل إجابة عرضت زاوية مختلفة وشاملة للمعلومات المقدمة.
إجابة "تشات جي بي تي" تتميز بشموليتها، حيث تغطي جوانب أساسية مثل المكونات وطريقة التحضير والسمات الثقافية المرتبطة باللقيمات، وتستخدم لغة بسيطة وواضحة تسهل فهم القارئ غير المتخصص، كما أنها تركز بشكل خاص على الجانب الثقافي، وتربط اللّقيمات بالتراث العربي وتقاليد الضيافة والكرم. هذا التركيز على السياق الثقافي يضيف عمقًا للإجابة، ويجعلها أكثر جاذبية للقارئ المهتم بالتراث والتقاليد.
من جهة أخرى، تتميز إجابة "ديب سيك" بدخولها في تفاصيل أكثر حول مكونات حلوى التغميسة والإضافات التي يمكن إضافتها إلى اللقيمات، كما أنها تشير إلى الاختلافات الإقليمية في تسمية اللقيمات وطرق تحضيرها. وتتطرق كذلك إلى الجانب الصحي للقيمة الغذائية للقيمات، وتقدم اقتراحات لتعديل الوصفة لجعلها أكثر صحة. هذا الجانب العملي يجعل الإجابة الثانية مفيدة لمن يرغب في تحضير اللقيمات في المنزل، أو لمن يهتمون بالقيمة الغذائية للأطعمة.
كلتا الإجابتين تتفق على تقديم المعلومات الأساسية عن مكونات اللقيمات وطريقة تحضيرها، وتستخدم لغة سهلة الفهم، وتؤكد أهمية اللقيمات بوصفها تراثًا ثقافيًا عربيًا. ومع ذلك، تختلفان في عمق التفاصيل والتركيز؛ فإجابة "تشات جي بي تي" تركز أكثر على الجانب الثقافي والرمزي، بينما تركز إجابة "ديب سيك" على الجانب العملي والقيمة الغذائية أكثر.
وقدم التقرير العديد من جوانب المقارنة الأخرى، مثل الفرق في الترجمة من الإنجليزية إلى العربية بين النموذجين، وتعامل النموذجين مع قضايا تحتاج إلى دراسة وتحليل كقضية التغير المناخي، كما تم اختبار النموذجين في فهم الظواهر الثقافية كبناء "بيوت الشّعر" عند العرب، إلى جانب اختبار آخر للمقارنة بين النموذجين في سؤال ذي بُعد نفسي وعاطفي عند سؤالهما عن الصلاة.