نبرد آینده بر سر کیفیت داده‌هاست نه فقط مدل‌ها

تصور کنید یک دستیار هوش مصنوعی را ماه‌ها آموزش داده‌اید. پاسخ‌هایش دقیق است، مدیران تأیید کرده‌اند و محصول منتشر شده است. اما چند ماه بعد همان سیستم با اطمینان کامل شروع به گفتن اطلاعات اشتباه می‌کند. مدل تغییر نکرده، دستورها هم همان هستند؛ فقط جهان بیرون تغییر کرده است. قیمت‌ها به‌روز شده‌اند، قوانین عوض شده‌اند، مشخصات محصول تغییر کرده و مخزن اطلاعات سیستم با این تغییرات هماهنگ نشده است.

این یکی از رایج‌ترین مشکلات هوش مصنوعی در محیط واقعی است. بسیاری تصور می‌کنند وقتی یک مدل اشتباه می‌کند، باید مدل بهتر یا دستورهای دقیق‌تری پیدا کرد. اما مشکل اغلب یک مرحله عقب‌تر قرار دارد: داده‌ای که سیستم از آن استفاده می‌کند. یک سند قدیمی درباره قیمت، برای موتور جست‌وجوی داخلی همان‌قدر معتبر به نظر می‌رسد که یک سند جدید؛ چون سیستم معمولاً بررسی می‌کند چه چیزی مرتبط است، نه اینکه چه چیزی واقعاً درست است.

به همین دلیل این خطاها خطرناک هستند. هیچ چراغ قرمزی روشن نمی‌شود. داشبوردها سبز باقی می‌مانند و همه چیز ظاهراً درست کار می‌کند. اما زیر این ظاهر سالم، اطلاعات ناقص یا قدیمی می‌تواند وارد پاسخ‌های هوش مصنوعی شود. این همان مشکلی است که سال‌ها در سیستم‌های داده وجود داشته؛ بررسی اینکه یک فرایند اجرا شده کافی نیست، باید بررسی کرد که آیا نتیجه آن هنوز درست است.

شرکت‌های بزرگ فناوری حالا به این مشکل توجه بیشتری نشان می‌دهند. آمازون وب سرویسز (AWS) با ورود به رقابت لایه زمینه (Context Layer) و اسنوفلیک (Snowflake) با ابزارهای جدید خود تلاش می‌کنند مشکل پاسخ‌های مطمئن اما اشتباه را کاهش دهند. اما راه‌حل اصلی همچنان در مهندسی داده است؛ چون حتی یک گراف دانش قدرتمند هم به داده‌ای که دریافت می‌کند وابسته است.

راه‌حل کلیدی، مشاهده‌پذیری داده (Data Observability) است؛ یعنی سازمان بداند داده‌ها از کجا آمده‌اند، چه زمانی تغییر کرده‌اند و آیا هنوز قابل اعتماد هستند یا نه. اوبر سال‌ها پیش از موج فعلی هوش مصنوعی، یک پلتفرم کیفیت و مشاهده‌پذیری داده ساخت که بیش از ۲,۰۰۰ مجموعه داده حیاتی را پوشش می‌دهد و حدود ۹۰٪ از خطاهای کیفیت داده را پیش از رسیدن به کاربران تشخیص می‌دهد. نتفلیکس نیز سیستم ردیابی منشأ داده ایجاد کرد تا مشخص باشد هر داده از کجا آمده و چه تغییراتی روی آن انجام شده است.

در عمل، چهار ستون برای داده قابل اعتماد وجود دارد: صحت، یعنی داده مطابق قوانین و ساختار مورد انتظار باشد؛ تازگی، یعنی اطلاعات با منبع اصلی هماهنگ بماند؛ سازگاری، یعنی یک واقعیت در سیستم‌های مختلف تناقض نداشته باشد؛ و قابلیت ردیابی، یعنی بتوان مسیر یک پاسخ را تا منبع اولیه دنبال کرد. هوش مصنوعی ضعف‌های قدیمی مهندسی داده را ایجاد نکرده، اما آن‌ها را بسیار آشکارتر کرده است.