Аналіз точності футуристичного прогнозу Станіслава Лема
Сьогодні, 12 вересня, Станіславу Лему виповнилося б 105 років.
Він народився 12 вересня 1921 року у Львові в родині лікаря-ларинголога. У 1939 році закінчив гімназію імені Кароля Шайнохи, у 1940-1941 роках навчався у Львівському медичному інституті. Після німецької окупації Львова працював помічником механіка та зварювальником у німецькій фірмі. У 1944 році після повернення радянської влади продовжив медичну освіту, а в 1946 році разом із сім'єю залишив Львів і переїхав до Кракова. Там продовжив навчання на медичному факультеті Ягеллонського університету. У 1948 році почав писати "Шпиталь Преображення", у 1951 році вийшов його перший роман "Астронавти". 27 березня 2006 року Лем помер у Кракові.
Але для сьогоднішньої розмови важливіше інше.
Лем був не просто письменником-фантастом. Він був одним із тих рідкісних авторів, які намагалися прогнозувати не окремі пристрої, а логіку технологічного розвитку. Його цікавило не те, чи буде у людини робот, машина, що літає або комп'ютер. Його цікавило, що відбудеться з людиною після того, як створені нею технології стануть складнішими за здатність людини їх повністю зрозуміти.
У 1964 році вийшла "Summa Technologiae". Це одна з найважливіших праць Лема саме для сьогоднішньої дискусії про штучний інтелект. У її четвертому розділі "Інтелектроніка" є підрозділи "Підсилювач інтелекту", "Чорний ящик", "Моральність гомеостатів", "Небезпеки електрократії", "Віра та інформація", "Експериментальна метафізика", "Переконання електричних мозків" і "Проблема інформації". Уже сама структура книги показує, наскільки далеко Лем зайшов у прогнозуванні проблем, які сьогодні ми називаємо штучним інтелектом.
У розділі "Чорний ящик" Лем починає з простої історичної тези. Колись людина знала і функцію, і конструкцію своїх інструментів. Вона знала, як працює молоток, лук чи стріла. З розвитком цивілізації ця єдність знання розпалася. Сучасна людина вже не знає конструкцію всіх пристроїв, якими користується цивілізація. Але, пише Лем, кібернетика може підняти цей процес на наступний рівень – створювати речі, структуру яких уже не зрозуміє ніхто.
Це і є чорний ящик.
Причому Лем формулює проблему ще радикальніше. Він припускає появу систем, у яких навіть інженер не зможе встановити математичне представлення функції, що пов'язує вхід із виходом. А як природний приклад такого чорного ящика він наводить людський мозок: ми користуємося власним мозком, хоча досі не знаємо точно, як він працює.
Це написано у 1964 році.
За дев'ять років до появи першого комерційного мікропроцесора Intel 4004. За десятиліття до появи персонального комп'ютера. За кілька десятиліть до Інтернету, смартфона та сучасної нейромережі.
І сьогодні цей текст можна перевірити вже не як фантастику, а як прогноз.
Перший і, мабуть, найчистіший приклад – AlphaFold.
Понад пів століття біологи намагалися розібратися з так званою проблемою прогнозування структури білка: маючи послідовність амінокислот, визначити, яку тривимірну структуру сформує білок. Це надзвичайно складна задача, оскільки структура молекули визначає значну частину її біологічної функції.
У 2020 році AlphaFold 2 від DeepMind продемонстрував результат, який став переломним моментом у цій галузі. Під час CASP14 система досягла точності, яку організатори фактично визнали розв'язанням 50-річного завдання прогнозування структури білка. У 2021 році метод був опублікований у Nature. У 2022 році DeepMind разом з EMBL-EBI відкрила доступ до прогнозованих структур понад 200 мільйонів білків – фактично майже всіх каталогізованих білків, відомих на той момент науці.
Це був тріумф.
Але саме тут починається лемівська проблема.
AlphaFold не створив повної фізико-хімічної теорії процесу згортання білка. Він не дає нам повного покрокового пояснення того, як конкретний білок проходить через всі проміжні конформаційні стани. Його сила в іншому: він навчився надзвичайно точно прогнозувати структуру.
Ми отримали відповідь. Але відповідь не тотожна поясненню. Це принципово важлива різниця.
Можна знати, що структура буде саме такою, і водночас не мати повної людської інтерпретації того, як нейромережа прийшла до конкретного прогнозу.
Саме тут Лем виявляється напрочуд сучасним.
Він передбачав не "машину, яка думає як людина". Він передбачав систему, якою можна користуватися, не знаючи її алгоритму.
У "Summa Technologiae" Лем писав про підсилювач інтелекту: ми можемо не знати детальної внутрішньої конструкції такого пристрою, якщо нас цікавить кінцевий результат. Між входом і виходом виникає "сіра зона нашого незнання". В одному з англомовних перекладів це сформульовано так: "Between them stretches the gray zone of our ignorance".
Сьогодні ця "сіра зона" має мільярди параметрів. І це вже не метафора. Це архітектура сучасних нейронних мереж.
Водночас було б неправильно говорити, що сучасні AI-системи ніхто не розуміє. Це популярний міф. Ми знаємо архітектуру нейромереж, алгоритми навчання, функції втрат, параметри, набори даних і математичні операції. Проблема полягає в іншому: ми часто не можемо перевести конкретний набір мільярдів числових параметрів у просте причинне пояснення конкретного рішення.
І саме ця різниця робить сучасний AI лемівським чорним ящиком.
Другий великий приклад – автомобіль.
Тут особливо цікаво послухати самого Ілона Маска.
У січні 2025 року під час конференції за підсумками четвертого кварталу 2024 року Маска прямо запитали, чи він і надалі вважає LiDAR для автономного водіння "милицею" і "дурною справою". Маск відповів: "Yes".
Після цього він пояснив позицію Tesla ще цікавіше. Він сказав, що Tesla навіть має радар, але його вимкнули. А далі сформулював принцип: люди керують автомобілем за допомогою очей і нейронної мережі мозку, тому цифровим еквівалентом очей є камери, а цифровим еквівалентом мозку – нейронні мережі та AI.
Це дуже важлива цитата. Тому що Маск фактично описав ту саму логіку, яку Лем передбачив у 1964 році.
Людині не потрібно розуміти на рівні окремого нейрона, як мозок перетворює зображення дороги на рішення натиснути на гальмо. Вона просто це робить.
Ідея Tesla полягає в тому, щоб побудувати цифровий аналог цієї схеми.
Камера – очі. Нейронна мережа – мозок. Автомобіль – тіло. А рішення – результат роботи всієї системи.
Але тут виникає фундаментальна проблема. Якщо система помилилася, ми можемо побачити причину на рівні входу та виходу. Ми бачимо картинку. Ми бачимо траєкторію. Ми бачимо команду гальмування. Але між ними знаходиться складна система обчислень, яку не можна пояснити так само просто, як класичний алгоритм із послідовністю "якщо – то".
Саме тому розвиток нейромережевих систем поступово змінює сам принцип інженерії.
Класична інженерія говорить: зрозумій систему, спроєктуй її, перевір її.
Машинне навчання дедалі частіше працює інакше: дай системі величезний масив даних, сформулюй критерій успіху, навчи її і перевір результат на нових даних.
Це працює. І саме тому це небезпечно. Тому що практична ефективність поступово стає заміною повному поясненню.
Якщо система правильно прогнозує структуру білка – ми нею користуємося.
Якщо система правильно розпізнає дорожню ситуацію – ми нею користуємося.
Якщо система краще за людину знаходить патологію на медичному зображенні – ми нею користуємося.
Питання "чому?" поступово замінюється питанням "наскільки часто вона помиляється?". Це і є цивілізаційний перелом. Ми переходимо від світу причин до світу статистично підтверджених результатів.
І тут Лем стає ще актуальнішим. Бо його цікавив не сам комп'ютер. Його цікавило, що станеться з людським контролем, коли складність системи перевищить можливість її повного інтелектуального освоєння.
У цьому сенсі AlphaFold і Tesla – лише два приклади однієї тенденції. Перший працює з молекулярним світом. Другий – із фізичним світом. Наступний рівень – рішення, що безпосередньо стосуються людей.
Тут ми підходимо до військової сфери. І лемівський чорний ящик перестає бути філософською проблемою. Він стає питанням життя і смерті.
Міжнародний комітет Червоного Хреста прямо визначає автономні системи зброї як системи, які після активації можуть самостійно обирати й уражати цілі без подальшого втручання людини. ICRC наголошує, що проблема полягає не лише в самій автономності, а в складності передбачити, обмежити та пояснити наслідки роботи таких систем.
Особливо важливо, що ICRC прямо використовує термін "black box" щодо систем машинного навчання. Такі моделі можуть бути надзвичайно складними для людини з точки зору прогнозування, розуміння та пояснення того, як і на якій підставі система прийшла до конкретного висновку.
Тобто тепер це вже не філософська інтерпретація Лема. Міжнародна гуманітарна організація описує фактично ту саму проблему мовою сучасних технологій.
І тут виникає найнебезпечніший сценарій. На дорозі машина помиляється – і відбувається аварія. У медицині машина помиляється – і пацієнт отримує неправильний діагноз. У фінансовій системі машина помиляється – і втрачаються гроші. У військовій системі машина помиляється – і людина може загинути.
Саме тому ICRC наголошує на необхідності зберігати людський контроль над застосуванням сили. У своїх документах організація прямо зазначає, що юридична відповідальність за рішення про застосування сили не може бути передана машині.
У 2026 році ця проблема вже стала ще актуальнішою. У березні ICRC опублікував новий позиційний документ щодо автономних систем зброї та міжнародного гуманітарного права, а в серпні знову закликав до міжнародних правил регулювання таких систем.
І саме тут потрібно зробити принципове уточнення. Лем не передбачив конкретно AlphaFold. Лем не передбачив Tesla FSD. Лем не передбачив сучасну архітектуру transformer. Лем не знав слова "machine learning" у тому значенні, яке воно має сьогодні.
Але він передбачив механізм.
Людина створює систему. Система стає складнішою за можливість повного людського пояснення. Система починає давати результат, який перевищує можливості окремої людини. Людина перестає вимагати повного розуміння. А потім починає передавати системі дедалі більше функцій.
Саме тому найсильніша частина прогнозу Лема – не технічна. Вона епістемологічна. Він передбачив зміну самого поняття знання.
У класичній науці ідеальна схема мала приблизно такий вигляд: ми знаємо закон, розуміємо механізм, будуємо модель і отримуємо прогноз.
Штучний інтелект пропонує іншу послідовність: ми маємо дані, навчаємо систему, перевіряємо прогноз і лише потім намагаємося зрозуміти, що саме вона вивчила.
Це принципово інша наукова культура. І вона вже працює.
AlphaFold – один із найкращих прикладів. Tesla – один із найвидиміших. Автономні військові системи – потенційно найнебезпечніший. Але є ще один рівень, який Лем передбачив не менш точно. Інформація.
Він розумів, що проблема майбутнього полягатиме не лише в нестачі інформації. Її стане надто багато. Сьогодні це видно буквально щосекунди.
Google індексує величезні масиви знань. AI перетворює їх на відповіді. Tesla перетворює мільйони кілометрів відео на навчальний матеріал. Наукові моделі перетворюють величезні масиви біологічних даних на прогнози.
Але чим більше інформації ми передаємо машинам, тим сильніше залежимо від їхньої здатності цю інформацію структурувати.
Виникає парадокс.
Машини допомагають нам долати інформаційну перевантаженість. Утім, одночасно ми передаємо їм право визначати, яка частина інформації є важливою.
І тут чорний ящик перетворюється на механізм формування реальності. Пошукова система визначає, що ми побачимо. Рекомендаційна система визначає, що приверне нашу увагу. AI-модель визначає, яку відповідь ми отримаємо. Автономна система визначає, як діятиме машина. А військова автономна система потенційно може визначати, яка ціль буде атакована.
Тобто питання вже не в тому, чи буде машина розумнішою за людину. Питання в тому, наскільки далеко людина готова делегувати їй право діяти.
І тут прогноз Лема стає майже моторошно точним. Він не передбачив повстання машин. І це принципово. Для реалізації його сценарію машина взагалі не повинна мати свідомості. Їй не потрібно ненавидіти людину. Їй не потрібно хотіти влади. Їй не потрібно мати власну мету. Достатньо, щоб вона була достатньо ефективною.
Спочатку людина використовує машину як інструмент. Потім машина стає радником. Потім – оператором. Потім – автономним виконавцем. А після цього виникає найнебезпечніша стадія: людина вже не здатна повністю пояснити, чому машина зробила те, що зробила, але все одно довіряє їй, тому що статистично машина помиляється рідше.
Це і є справжня "лемівська проблема чорного ящика". Сьогодні ми можемо вже виставити її на експериментальну перевірку.
AlphaFold показав, що машина може давати надзвичайно точний результат у сфері, де традиційні методи не справлялися з масштабом задачі. Tesla демонструє спробу перенести принцип біологічного зору на автономне керування автомобілем. Сучасна AI-діагностика показує, що алгоритм може знаходити закономірності, які людина не завжди бачить. Автономні системи зброї ставлять питання, чи можна дозволити алгоритму самостійно визначати момент застосування сили.
І саме тут ми підходимо до головного висновку.
Точність прогнозу Лема полягає не в тому, що він вгадав конкретні технології. Він вгадав напрямок.
У 1964 році письменник побачив майбутнє, в якому технологія перестане бути просто інструментом, зрозумілим своєму творцю. Вона стане системою, результат роботи якої можна використовувати навіть тоді, коли її внутрішня логіка перевищує людську здатність до повного пояснення.
Лем фактично передбачив перехід від алгоритмічної цивілізації до цивілізації статистичної довіри. Ми дедалі частіше говоримо не "я розумію, як це працює", а "я знаю, що це працює". Це величезна різниця. І саме вона може стати головною технологічною проблемою XXI століття.
Бо якщо машина помиляється, ми хочемо знати не тільки те, що вона помилилася. Ми хочемо знати чому.
А якщо машина виявиться кращою за людину саме тому, що вона використовує закономірності, яких людина не здатна побачити? Тоді перед нами постане ще складніше питання. Чи готові ми довіряти знанню, яке не можемо самі відтворити?
Лем відповів на це питання ще понад шістдесят років тому. Він просто назвав таку систему чорним ящиком. І сьогодні цей чорний ящик уже не стоїть десь у далекому майбутньому. Він лежить у лабораторії біолога. Стоїть у комп'ютері автомобіля. Працює на сервері Google. Допомагає ухвалювати медичні рішення. А завтра може отримати доступ до зброї.
Найстрашніше в цьому сценарії не те, що машини стануть розумнішими за людей. Найстрашніше те, що люди можуть добровільно віддати їм право вирішувати просто тому, що машина робить це краще.
Саме це Лем побачив першим.
І саме тому сьогодні, у день його 105-річчя, "Summa Technologiae" читається вже не як футурологічна фантазія. Це інструкція з розуміння світу, у якому ми вже живемо.
До речі: ця стаття верифікована і відреагована двома ШІ: Gemini та ChatGPT і я довірився їхнім алгоритмам, а не власній пам'яті.
