راهنمای سیاستگذاری حاکمیت برای ایجنتها هوش مصنوعی در سازمان با تمرکز بر ایمنی، ارزیابی عملی و کنترلهای اجرایی
این سند به بررسی تفاوت بین دستاوردهای تئوریک Agents و عملکرد واقعی در محیطهای سازمانی و ارائه چارچوبی برای زیرساختها و فرایندهای حاکمیت عملیاتی میپردازد. همچنین ایمنی، ارزیابی مداوم و همکاری انسان و Agent را پوشش میدهد تا استفاده مسئولانه از هوش مصنوعی روشن شود.
هوش مصنوعی با استفاده از مدلهای زبانی بزرگ ساخته میشود و میتواند به ابزارها دسترسی پیدا کند تا به نمایندگی از کاربران اقدام کند. برخلاف مدلهای پایه که معمولاً پاسخهای واکنشی ارائه میدهند، دسترسی هدفمند به ابزارها به Agents امکان میدهد تا رفتارهای تصمیممحور و اقدامگرایانه نمایش دهند و این پدیده چالشهای تازهای به همراه دارد. در محیطهای سازمانی، Agent ها پتانسیل بالایی برای افزایش بهرهوری و ارائه فرصتهای نوین دارند اما سوال اصلی این است که چگونه میتوان آنها را به طور امن، قابلاعتماد و با قابلیت پیشبینی در محیطهای پیچیده مدیریت کرد.
بهبودهای تئوریک یا قابلیتهای آزمایشگاهی لزوماً به عملکرد واقعی در محیطهای عملیاتی ترجمه نمیشود. رفتار Agents در یک سیستم بزرگ با دادهها، ابزارها و زمینههای متفاوت ممکن است با نتیجههای آزمایشگاهی تفاوت کند. گزارشهای صنعتی نشان میدهند که اجرای Generative AI در زمینههای سازمانی با چالشهایی مانند کیفیت داده، فاصله مهارتها، یکپارچهسازی با سیستمهای موجود و مقیاسپذیری مواجه است. تجربه پالانتیر نیز نشان میدهد که مدلها و Agents آماده به کار اغلب نیازمند اصلاحات و ارزیابیهای عمیق برای مطابقت با نیازهای کسبوکار هستند.
Agents فرصت واقعی برای تحول سازمانی فراهم میآورند، به شرط آنکه واقعیت عملکرد آنها در محیطهای عملیاتی درک شده باشد و فرایندهای ارزیابی پس از پیادهسازی بهطور منظم اجرا شوند. شکلگیری سیاستها و مقررات پیرامون این شیوهٔ ارزیابی میتواند حفاظتهای لازم را در برابر خطرات کلیدی تأمین کند و با تکامل فناوری ارزشمند باقی بماند.