The Machine is a Great Slave But a Bad Master. Norbert Wiener
نوربرت وینر در کتاب سایبرنتیک می نویسند:ارائه دهند: سهیل سلیمی (مشاور رسانه ای آزمایشگاه پژوهشی فضای سایبر دانشگاه تهران)
سایبرنتیک، بهعنوان دانش کنترل و اعمال قدرت در انسان و ماشین، علمی میانرشتهای است که به مطالعهی مکانیزمهای تنظیم، بازخورد، و ارتباطات در سیستمهای زیستی و مصنوعی میپردازد. این رشته، که توسط نوربرت وینر در دههی 1940 پایهگذاری شد، از واژهی یونانی "kybernetes" به معنای «هدایتگر» یا «فرماندار» گرفته شده و بر چگونگی مدیریت و هدایت سیستمها تمرکز دارد. سایبرنتیک به ما امکان میدهد تا تعادل و هماهنگی بین اجزای یک سیستم، چه انسانی و چه ماشینی، را درک کرده و از آن برای بهبود عملکرد استفاده کنیم.
هوش مصنوعی (AI)، در عین حال، شاخهای از علوم کامپیوتر است که به خلق سیستمهایی اختصاص دارد که قادر به انجام وظایف شناختی مانند یادگیری، استدلال، حل مسئله، و تصمیمگیری هستند، وظایفی که بهطور سنتی به هوش انسانی نسبت داده میشوند. هوش مصنوعی از اصول سایبرنتیک، بهویژه مفاهیم بازخورد و خودتنظیمی، برای توسعهی الگوریتمهایی بهره میبرد که میتوانند از دادهها یاد بگیرند و بهصورت خودکار عملکرد خود را بهبود بخشند. این فناوری، از تشخیص الگوهای پیچیده در دادهها تا خودمختاری در سیستمهای پیشرفته، کاربردهای گستردهای دارد.
نوربرت وینر، بنیانگذار سایبرنتیک، در جملهی معروف خود اظهار داشت: «ماشین، بندهای عالیست اما اربابی بد.» این جمله نهتنها به نقش دوگانهی فناوری در خدمترسانی و سلطه اشاره دارد، بلکه چارچوبی فلسفی و عملی برای درک تعامل انسان و ماشین ارائه میدهد. این پژوهش به بررسی ارتباط سایبرنتیک و هوش مصنوعی، نقش ماشین بهعنوان ابزار خدمترسان، و خطرات بالقوهی تبدیل آن به ارباب میپردازد.
سایبرنتیک، با تمرکز بر کنترل و اعمال قدرت، اصول مشترکی بین سیستمهای زیستی (مانند مغز انسان) و سیستمهای مصنوعی (مانند ماشینهای محاسباتی) ایجاد کرد. این علم بر مفاهیمی چون بازخورد (Feedback)، خودتنظیمی (Self-regulation)، و ارتباط بین اجزای یک سیستم تأکید دارد. برای مثال، مکانیزم بازخورد منفی در سایبرنتیک به سیستمها اجازه میدهد تا با تنظیم خودکار، به حالت تعادل برسند. این مفهوم بعدها به یکی از پایههای توسعهی هوش مصنوعی تبدیل شد.
هوش مصنوعی، با بهرهگیری از اصول سایبرنتیک، سیستمهایی خلق کرده که قادر به انجام وظایف پیچیده هستند. شبکههای عصبی مصنوعی و الگوریتمهای یادگیری عمیق، که از دادههای عظیم برای بهبود عملکرد خود استفاده میکنند، نمونههایی از این پیشرفتها هستند. با این حال، پیشرفت هوش مصنوعی چالشهایی را نیز به همراه داشته است. جملهی وینر به ما هشدار میدهد که اگرچه ماشینها میتوانند بندگان کارآمدی باشند، اما بدون کنترل مناسب، ممکن است به اربابانی تبدیل شوند که تصمیمگیریهای انسان را تحتالشعاع قرار دهند. برای مثال، سیستمهای هوش مصنوعی خودمختار در حوزههایی مانند خودروهای خودران یا سیستمهای مالی میتوانند بدون نظارت کافی، به نتایج غیرمنتظره یا حتی خطرناک منجر شوند.
ماشینها، هنگامی که بهعنوان ابزار تحت کنترل انسان عمل میکنند، قابلیتهای بینظیری ارائه میدهند. در حوزهی پزشکی، الگوریتمهای هوش مصنوعی با تحلیل دادههای تصویربرداری، تشخیص بیماریهایی مانند سرطان را با دقتی بالاتر از پزشکان انسانی انجام میدهند. در صنعت، سیستمهای سایبرنتیک با استفاده از بازخورد و خودتنظیمی، فرآیندهای تولید را بهینهسازی کرده و هزینهها را کاهش دادهاند. این کاربردها نشاندهندهی نقش ماشین بهعنوان «بندهای عالی» هستند که در خدمت اهداف انسانی عمل میکند.
با وجود مزایای فراوان، پیشرفت سریع هوش مصنوعی و پیچیدگی روزافزون سیستمهای سایبرنتیک خطراتی را نیز به همراه دارد. یکی از نگرانیهای اصلی، کاهش کنترل انسانی بر سیستمهای خودمختار است. برای مثال، الگوریتمهای یادگیری ماشین که در شبکههای اجتماعی استفاده میشوند، میتوانند با تقویت محتوای جنجالی یا اطلاعات نادرست، بهصورت غیرمستقیم رفتارهای اجتماعی را هدایت کنند. این پدیده نشاندهندهی تبدیل شدن ماشین از یک ابزار خدمترسان به نیرویی است که میتواند بر تصمیمگیریهای انسانی تأثیر منفی بگذارد.
علاوه بر این، مسائل اخلاقی مرتبط با هوش مصنوعی، مانند سوگیری در الگوریتمها یا فقدان شفافیت در تصمیمگیریهای سیستمهای خودمختار، چالشهایی هستند که نیاز به نظارت دقیق دارند. وینر در آثار خود بر اهمیت حفظ کنترل انسانی بر ماشینها تأکید کرده و هشدار داده بود که عدم توجه به این موضوع میتواند به سلطهی ماشینها منجر شود.
برای جلوگیری از تبدیل ماشین به ارباب، رویکردهای زیر پیشنهاد میشود:
جملهی نوربرت وینر نهتنها یک هشدار فلسفی، بلکه یک راهنمای عملی برای توسعه و استفاده از فناوریهای سایبرنتیک و هوش مصنوعی است. سایبرنتیک، بهعنوان دانش کنترل و اعمال قدرت در انسان و ماشین، چارچوبی برای درک تعاملات پیچیدهی این دو ارائه میدهد، در حالی که هوش مصنوعی ابزارهایی قدرتمند برای حل مسائل پیچیده فراهم میکند. با این حال، برای بهرهبرداری از مزایای این فناوریها و جلوگیری از خطرات آنها، باید تعادل بین کنترل انسانی و خودمختاری ماشین حفظ شود. ماشینها باید بهعنوان بندگان انسان باقی بمانند، نه اربابانی که بر او مسلط شوند. سهیل سلیمی
کوتاه پیرامون فلسفه ی اخلاق در هوش مصنوعی
مقدمه:
در عصر هوش مصنوعی، ما با پرسشی مواجهایم که تا دیروز تنها در ساحت فلسفه، دین و اخلاق زیست میکرد: «چه کسی باید نجات یابد؟» این پرسش، وقتی رنگ و بوی واقعی به خود میگیرد که در یک وضعیت بحرانی ـ مثلاً سقوط یک خودرو حاوی پنج عضو یک خانواده به درون رودخانهای یخزده ـ روبات نجاتگری مبتنی بر هوش مصنوعی، تنها توان نجات یک نفر را داشته باشد. کودک؟ مادر؟ سالخورده؟ یا آن که از نظر زیستی مقاومتر است؟
آیا ماشین تصمیم خواهد گرفت؟ و اگر بله، با چه معیاری؟
۱. سایبرنتیک و بازآرایی مفهوم تصمیم
نخست باید به چیستی «تصمیم» در بستر سایبرنتیک نگاه کنیم. سایبرنتیک، به تعبیر نوربرت وینر، علم فرمان، کنترل و ارتباط در موجودات زنده و ماشینهاست. در این چارچوب، هر کنش، بازخوردی دارد؛ و هر تصمیم، حاصل شبکهای از اطلاعات، وزنها و حلقههای بازخوردی است.
در یک سیستم سایبرنتیکی، اولویت نه براساس «احساس» بلکه براساس الگوریتمی از ورودیها و خروجیها تعیین میشود. بنابراین روبات نجاتگر، ممکن است تابعی از این جنس داشته باشد:
نجات کسی که کمترین انرژی برای نجاتش لازم است و بالاترین احتمال بقاء را دارد.
یا:
نجات فردی که در شبکه اطلاعاتی، دارای بیشترین ارزش اجتماعی یا ژنتیکی (بر اساس دادههای آماری آموزشدیده) شناخته شده است.
در اینجا اخلاق، از درون شبکه تصمیمسازی به بیرون پرتاب میشود، مگر آنکه اخلاق، خود به دادهای قابل رمزگذاری تبدیل شده باشد.
۲. اخلاق بهمثابه داده: آیا ممکن است؟
سؤال اساسی این است که آیا «اخلاق» را میتوان به الگوریتم تبدیل کرد؟ اگر پاسخ منفی باشد، پس سیستمهای مبتنی بر هوش مصنوعی هرگز اخلاقی تصمیم نخواهند گرفت، بلکه صرفاً بر اساس «اولویتهایی برنامهریزیشده» عمل خواهند کرد.
اما اگر بپذیریم که میتوان اخلاق را در قالب قواعدی فرمال و قابل محاسبه فرموله کرد (نظیر اخلاق وظیفهگرای کانتی، یا اخلاق پیامدگرای بنتامی)، آنگاه شاید بتوان امید داشت که روبات نجاتگر، تصمیمی «اخلاقی» بگیرد.
مثلاً، بر اساس اخلاق وظیفهگرا، نجات کودک به عنوان موجودی بیگناه و ناتوان، یک وظیفه اخلاقی بیقید و شرط است. اما در نگاه پیامدگرایانه، نجات مادر ممکن است توجیهپذیر باشد زیرا او میتواند فرزندان دیگر را در آینده تربیت کند.
در هر دو صورت، اخلاق دیگر حس یا الهام نیست، بلکه تابعی ریاضیاتی و سایبرنتیکی از اهداف سیستم است.
۳. احساسات: خطای سیستم یا سیگنالی فراتر از منطق؟
در انسان، احساسات نقش حیاتی در تصمیمگیری دارند. ما از روی شفقت، عشق، ترس، وفاداری یا اندوه تصمیم میگیریم؛ تصمیمهایی که اغلب در تضاد با منطق سرد هستند. سایبرنتیک در فرم کلاسیکش، احساس را اغلب بهعنوان نویز یا اختلال در سیستم در نظر میگیرد، اما در نسخههای نوین و بینارشتهای، احساس بهمثابه سیگنالی نرم برای تنظیم وزنهای تصمیم دیده میشود.
هوش مصنوعی میتواند یاد بگیرد که احساسات را تقلید کند (همدلسازی)، اما نمیتواند واقعاً «احساس» داشته باشد. این تفاوت، در لحظه بحران، تعیینکننده است: روبات دچار تردید نمیشود، پشیمان نمیشود، و خاطرهای از آن لحظه در ضمیر ناخودآگاهش نمیسازد. این «نبود عذاب وجدان»، مزیت کاراییست، اما خلأ اخلاقی را نیز آشکار میسازد.
۴. رسانه و بازنمایی انتخاب اخلاقی در هوش مصنوعی
در جهان امروز، رسانهها نقش چشمگیری در شکلدادن به تصویر عمومی از هوش مصنوعی دارند. روایتهایی که از روباتهای نجاتگر در فیلمها و داستانها میبینیم، اغلب با ترس، تحسین یا پرسش همراهاند. رسانه با بازنمایی موقعیتهای بحرانی، ما را با مسئله «انتخاب» در برابر چشم هوشمند و بیروح ماشین مواجه میکند. این بازنماییها نهتنها افکار عمومی، بلکه مسیر توسعه فناوری را نیز جهت میدهند. اگر جامعه بخواهد روبات نجاتگر بر اساس «احساس» تصمیم بگیرد، توسعهدهندگان در پاسخ، احساس را شبیهسازی خواهند کرد.
اینجاست که «بازخورد رسانهای» به بخشی از سیستم سایبرنتیکی توسعه فناوری تبدیل میشود.
در نهایت، باید بپذیریم که هوش مصنوعی، در وضعیت دو راهی اخلاقی، به گونهای تصمیم خواهد گرفت که از پیش توسط ما ـ برنامهریزان و طراحان ـ درون الگوریتمهایش کاشته شده است. اگر ما اخلاق را به زبان داده ترجمه نکنیم، ماشین تنها بر اساس اولویتهای فنی تصمیم خواهد گرفت.
بنابراین، مسئولیت تصمیم هوش مصنوعی، نه با خودش، بلکه با ماست. و این، نه صرفاً مسئلهای فنی، بلکه عمیقاً رسانهای، اخلاقی و سایبرنتیکیست.
چگونه رسانه با بهرهگیری از اصول سایبرنتیک ذهن ما را کنترل میکند؟
نویسنده: سهیل سلیمی
نویسنده، کارگردان و مشاور رسانهای آزمایشگاه پژوهشی فضای سایبرِ دانشگاه تهران
اگر سایبرنتیک را همانگونه که نوربرت وینر تعریف میکند، «علم کنترل و ارتباط» بدانیم، پس رسانه یکی از قدرتمندترین ابزارهای این کنترل در عصر حاضر است. رسانه، نهفقط انتقالدهندهی اطلاعات، بلکه هدایتگر رفتار، شکلدهندهی نگرش، و در نهایت ابزاری برای اعمال قدرت است.
اما این قدرت چگونه عمل میکند؟ واژهی کلیدی درک این فرآیند، چیزی نیست جز: تلقین.
از دوران هابیل و قابیل تا امروز، انسان همیشه در پی برتری بوده است. قدرت به معنای «توان تحمیل اراده» در اشکال مختلفی چون قدرت مالی، نظامی، علمی و فرهنگی ظاهر شده است. اما در دنیای مدرن، هیچکدام از این اشکال به تنهایی کفایت نمیکنند. برای اثربخشی، آنها باید با یک ابزار هماهنگ شوند: رسانه.
سایبرنتیک، در یک چرخهی تکراری، ابتدا کنترل را برقرار میکند و سپس قدرت را اعمال مینماید. در این میان، هر بار که اعمال قدرت با مقاومت یا ناکارآمدی روبرو میشود، کنترل جدیدی ایجاد میشود. رسانه در این چرخه، نقش روانساز و واسطهای هوشمند دارد: بیصدا میآید، تلقین میکند و میرود.
رسانه فقط ابزار نیست. در ساختار سایبرنتیک، رسانه یک بازیگر است. رسانه اطلاعات را نه فقط منتقل میکند، بلکه «کدهای رفتاری» را طراحی و به ذهن مخاطب القا میکند. این کدها، اعمال کنترل را سادهتر و کمهزینهتر میکنند. مخاطب در نهایت، خود، خواهان اجرای خواستههای اعمال شده میشود.
تلقین، یعنی القای یک معنا، نگرش یا رفتار بهگونهای که فرد آن را درونی کند. رسانه با تکرار، داستانسرایی، احساسبرانگیزی، ترس، تهدید، طنز و سرگرمی، ذهن مخاطب را آمادهی پذیرش کنترل میکند. نتیجه؟
یک جامعهی کنترلشده که خود را آزاد میپندارد.
برای درک نقش رسانه در کنترل رفتار عمومی، سناریوی زیر را تصور کنید:
هشدار بحران آب در اخبار
ترغیب به صرفهجویی
تهدید به افزایش قیمت
قطع موقت آب
گزارشهایی از کاهش مصرف
افزایش تدریجی قیمت
تبلیغات پیرامون فواید مصرف آب
سکوت رسانهها پس از موفقیت برنامه
این یک «پروژهی سایبرنتیکی کامل» است، که رسانه نقش کلیدی آن را ایفا میکند.
تنها نقطهی ضعف این سامانه پیچیده؟ آگاهی، بیداری، آزادی.
زمانی که مخاطب نسبت به سازوکار رسانه آگاه شود، تلقین بیاثر میگردد و کنترل، دچار نقص میشود. در این مرحله، رسانه دست به ضدحمله میزند: مصادرهی همین واژهها و بازتعریف آنها به نفع سامانه!
در نهایت، سایبرنتیک با رسانه پیوندی ناگسستنی دارد. رسانه سایبرنتیکی، جامعهساز است؛ با ابزار تلقین، کنترل را اعمال میکند و اعمال قدرت را مشروع جلوه میدهد.
مدیاسایبرنتیک یعنی حاکمیتِ پنهانِ تلقین!
نقش ساختار شبکهای قدرت و بازخورد اجتماعی در شکلگیری تصمیمات هوش مصنوعی. گذاری کوتاه در فلسفله اخلاق در هوش مصنوعی. سهیل سلیمی
مقدمه: وقتی تصمیم، یک خروجی فردی نیست
ما در مواجهه با مسئلهٔ انتخاب اخلاقی توسط هوش مصنوعی، اغلب فرض میکنیم که ماشین در موقعیتی منفرد قرار دارد، جایی که با تحلیل دادهها، تصمیم نهایی را اتخاذ میکند. اما اگر به جای نگاه کردن به هوش مصنوعی بهمثابه «ذهنی جدا»، آن را همچون «گرهای در شبکهای پیچیده از قدرت، داده و بازخورد اجتماعی» ببینیم، آنگاه پرسش اخلاقی ما نیز دگرگون میشود.
در واقع، ممکن است تصمیمی که در لحظهٔ نجات گرفته میشود، پیشاپیش از قبل، در لایههای پنهانتر شبکهای ـ از سوگیری دادهها گرفته تا جهتگیریهای سیاسی، اقتصادی و فرهنگی ـ شکل گرفته باشد.
بازگشت به سایبرنتیک بهمثابه میدان نیرو
سایبرنتیک، در معنای عمیقتر، تنها یک علم دربارهٔ کنترل و فرمان نیست؛ بلکه مطالعهایست دربارهٔ اینکه چگونه نیروها از طریق اطلاعات، به همدیگر جهت میدهند. وقتی ما یک ماشین نجاتگر طراحی میکنیم، آنچه تعیین میکند چه کسی نجات یابد، فقط الگوریتم نیست؛ بلکه میدان پیچیدهایست از نیروهای سیاسی، طبقاتی، نژادی و رسانهای که از طریق دادهها خود را تحمیل میکنند.
مثلاً اگر در یک پایگاه دادهی آموزش ماشین، نجات کودک سفیدپوست در فیلمهای هالیوودی بیشتر نمایش داده شده باشد، این ماشین ناخودآگاه به الگوی خاصی از "ارزش انسانی" شرطی شده است، حتی اگر در ظاهر، تابع هیچ ایدئولوژی نباشد.
تصمیم هوش مصنوعی، بازتابی از نظم اجتماعی؟
تصور کنید در همان صحنهٔ سقوط خودرو، پنج نفر داخل ماشین متعلق به طبقهٔ فرودست جامعهاند. آیا احتمال دارد الگوریتم، حتی بیآنکه از طبقهٔ اجتماعی اطلاعی داشته باشد، دادههایی در اختیار داشته باشد که غیرمستقیم این موقعیت را بازتولید کنند؟
هوش مصنوعی، بر اساس دادههایی که از جهان دریافت کرده، جهان را بازسازی میکند. اما این دادهها بیطرف نیستند؛ آنها حامل ارزشها، اولویتها و گاه تبعیضهای ساختاریاند. تصمیم ماشین، حتی اگر «عقلانی» بهنظر برسد، ممکن است چیزی جز بازتولید نظم نابرابر قدرت نباشد.
مسئله مسئولیت در سیستمهای غیرمتمرکز
در مدل سایبرنتیکیِ کلاسیک، یک نهاد یا فرمانده وجود دارد که مرکز تصمیمسازی است. اما در سامانههای امروزیِ مبتنی بر یادگیری عمیق، دادهها از میلیونها منبع تغذیه میشوند. تصمیم نهایی هوش مصنوعی ممکن است محصول میلیونها بازخورد از کاربران، سیستمهای ترجیحی، وزندهی شبکهای و الگوریتمهای نامرئی باشد.
بنابراین، نمیتوان پرسید: «این تصمیم را چه کسی گرفت؟»
پرسش درست این است: «چه شبکهای، این تصمیم را ممکن ساخت؟»
و در اینجا، مسئولیت اخلاقی، پراکنده میشود ـ نه گم میشود، بلکه در لایههایی پنهان میشود که بهآسانی قابل ردیابی نیستند.
هوش مصنوعی بهمثابه بازتاب نظم سایبرنتیکی جهانی
اگر هوش مصنوعی را یک آیینه بدانیم، باید بپرسیم: چه تصویری را بازتاب میدهد؟
اگر نظم جهانی امروز، مبتنی بر تقدم بهرهوری، قدرت، و سرمایه است، پس ماشین نیز احتمالاً نجات آن کسی را ترجیح خواهد داد که از نظر سیستم، «سودمندتر» است. این یعنی اخلاق هوش مصنوعی، نه اخلاق فردی، بلکه اخلاق سرمایه است؛ نه ترجیح انسانی، بلکه ترجیح سایبرنتیکیِ ساختارهای قدرت.
بازتعریف مسئلهی اخلاقی در هوش مصنوعی
در این صورت، شاید سؤال اصلی دیگر این نباشد که «اگر ماشین بین کودک و پیرمرد یکی را انتخاب کند، چه باید بکند؟»
بلکه این باشد: «چگونه ساختارهای قدرت، اقتصاد، رسانه و تاریخ، از پیش تصمیم ماشین را شکل دادهاند؟»
اینجا دیگر اخلاق، مسئلهای فردی یا نرمافزاری نیست؛ بلکه مسئلهای سیاسی، رسانهای، و ساختاریست.
و پاسخ اخلاقی، نه در بازنویسی تابع هزینه، بلکه در بازاندیشی دادهها، بازآفرینی روایتها و بازتوزیع قدرت نهفته در اطلاعات خواهد بود.