У світі, де автономні системи керують транспортом, енергетикою та критичною інфраструктурою, вже недостатньо говорити окремо про надійність чи кібербезпеку. Потрібна інтегрована концепція, що об’єднує безвідмовність, функційну безпечність, довірчоздатність і стійкість до кібератак в єдину системну властивість. Саме такий підхід розвивають науковці Національного аерокосмічного університету «Харківський авіаційний інститут» спільно з фахівцями НВП «Радій» (зокрема — НТЦ аналізу та досліджень інфраструктурної безпеки), формуючи підґрунтя для створення гарантоздатних систем штучного інтелекту, яким можна довіряти навіть у найвідповідальніших застосуваннях. Нещодавно на засіданні Президії Національної академії наук України з доповіддю «Наукові засади, методи створення та впровадження гарантоздатних систем штучного інтелекту» виступив завідувач кафедри кібербезпеки та інтелектуальних інформаційних технологій ХАІ член-кореспондент НАНУ В’ячеслав ХАРЧЕНКО.
Як ішлося у виступі, впровадження штучного інтелекту в оборону, енергетику та логістику — особливо в умовах війни та повоєнного відновлення — відкриває безпрецедентні можливості: від предиктивної аналітики, що запобігає катастрофам, до управління гетерогенними групами безпілотників.
Однак стрімкий розвиток випереджає методи контролю. За оцінками міжнародних баз даних інцидентів ШІ та профільних урядових структур, кількість інцидентів та аварій за участю штучного інтелекту за останній рік зросла втричі. Це ставить суспільство перед викликом: як перетворити ШІ з непередбачуваного об’єкта на гарантоздатну систему, де надійність, кібербезпека та прогнозована поведінка є не бажаними параметрами, а стандартом.
У цьому контексті В’ячеслав Харченко згадав резонансний інцидент 2022 року в китайському місті Чаочжоу. Електромобіль Tesla Model Y, який мав зупинитися для паркування, раптово почав неконтрольовано прискорюватися. У результаті аварії загинули двоє людей, ще кілька осіб зазнали травм. Інцидент став предметом тривалих технічних дискусій і показав, наскільки небезпечними можуть бути непередбачувані збої в складних інтелектуальних системах. За однією із версій, аварія сталася через програмний збій штучного інтелекту, який сам розганяв автівку і відключив гальма. Цей випадок ще раз довів: без впровадження концепції гарантоздатності, де інтелектуальні підсистеми мають жорстко визначені рамки безпечної поведінки, подібні катастрофи відбуватимуться знову і знову.
Як йшлося в доповіді, сучасний розвиток штучного інтелекту — глибоке навчання, великі мовні моделі та синтетичні дані — демонструє вражаючі темпи, проте переважно екстенсивним шляхом. Професор Харченко зазначає, що накопичення технологій випереджає їхнє впорядкування: виникає «модельна невизначеність», яка є критично небезпечною для стратегічних галузей.
Рішенням стає концепція гарантоздатності. За словами доповідача, це «федеративний» термін, що об’єднує надійність, безпеку та кіберзахист. ШІ додав до класичних проблем (дефектів «заліза» чи коду) третій вимір — специфічні вразливості алгоритмів перед кібератаками. Саме тому гарантоздатність стає мірою якості для інтелектуальних систем.
На міцному фундаменті
Як зауважив доповідач, цей напрям має в Україні міцний фундамент. Зокрема, з 2006 року в країні проводиться міжнародна конференція з гарантоздатних систем (DESSERT). Ще у 2011 році за наукового керівництва В’ячеслава Харченка було розроблено галузеву настанову Національного космічного агентства України (ГНД 1-05.01.01:2011), що визначила засади гарантоздатності для критичних комплексів.
Дослідження, які висвітлив доповідач, стали основою для створення концептуальних засад гарантоздатних систем ШІ. Це дозволяє не просто накопичувати обчислювальну потужність, а розробляти методи математичного оцінювання та дотримання безпеки, перетворюючи ШІ на прогнозований і надійний інструмент.
Як розповів В’ячеслав Харченко, на основі аналізу нормативних документів та таксономічних моделей, що раніше використовувалися для комп’ютерних систем, сформовано концептуальні засади та розроблено модель гарантоздатних інтелектуальних обчислень. Запропонована модель дозволяє впорядкувати та гармонізувати класичні параметри комп’ютингу зі специфічними характеристиками ШІ. За словами професора Харченка, гарантоздатність тут розглядається як комплекс, що забезпечує: безвідмовність та готовність, функціональну безпечність, кібербезпеку (цілісність, доступність, конфіденційність), живучість та резильєнтність.
— Ми дослідили і показали, що в принципі системи ШІ є природньо резильєнтними, тобто здатними еволюціонувати в умовах вимог, параметрів середовища і виникнення так званих неспецифікованих відмов, — зауважив доповідач.
Також науковці розробили і дослідили множину сценаріїв і моделей поведінки систем штучного інтелекту. Як наголосив В’ячеслав Харченко, в основі досліджень лежить комплексний підхід — аналіз ШІ через триєдність його ролей у сучасних кіберфізичних системах: як об’єкта, що потребує захисту і може відмовляти; як інструмента, що підсилює механізми захисту та відмовобезпечності; як потенційного чинника, здатного посилювати кіберфізичні впливи на системи.
Для практичного застосування цієї моделі розроблено набір змагальних сценаріїв взаємодії інтелектуальних систем, що дозволяє досліджувати їхню поведінку в умовах конфліктних або загрозливих середовищ.
Як нагадав доповідач, цей науковий підхід базується на розвитку ідеї Джона фон Неймана, сформульованої майже 70 років тому. Йдеться про синтез гарантоздатних систем із компонентів або підсистем, які самі по собі не мають достатньої гарантоздатності. Науковці обґрунтували і розвинули принцип комбінованої диверсності. За словами В’ячеслава Харченка, цей метод, як і в атомній енергетиці, передбачає використання різних варіантів реалізації каналів: різних програмно-апаратних платформ та різних процесів розробки й тестування замість простого резервування.
Результатом досліджень, як зауважив доповідач, є формування теорії синергетичного інтелекту, який поєднує можливості ШІ та людського розуму як багатоверсійних систем, а головна мета такого поєднання — мінімізація ризиків «відмов за загальною причиною». «Це критично важливо для систем аварійного захисту реакторів та бортових комп’ютерів безпілотних систем, де надійність є визначальною», — додав В’ячеслав Харченко.
Практичне застосування
Сферами застосування результатів, які разом з партнерами отримали науковці ХАІ, є системи аварійного захисту реакторів АЕС, аерокосмічні та безпілотні інтелектуальні системи, мобільні системи екологічного моніторингу та розмінування.
Як розповів В’ячеслав Харченко, одним із прикладів є мультисенсорні інтелектуальні системи для пошуку вибухонебезпечних предметів. У таких комплексах використовуються різні типи сенсорів, для яких створюються спеціалізовані нейромережеві моделі. Дані з них інтегруються та аналізуються спільно, що дозволяє значно підвищити достовірність виявлення вибухонебезпечних предметів. На основі цих моделей формуються вимоги до систем, що дає змогу зменшити ризики, пов’язані із застосуванням компонентів штучного інтелекту.
— Інший напрям пов’язаний із використанням технологій доповненої реальності, — зауважив доповідач. — Результати обстеження територій та їх тривимірного картографування передаються саперам у вигляді 3D-моделей у шарі доповненої реальності. Це підвищує безпеку роботи та прискорює процес розмінування.
Принцип диверсності, як вже йшлося вище, широко використовується в системах безпеки критичного призначення, зокрема в системах аварійного захисту реакторів. Як розповів В’ячеслав Харченко, Науково-технічний центр аналізу та досліджень інфраструктурної безпеки науково-виробничого підприємства «Радій» протягом багатьох років бере участь у розробці та впровадженні таких систем для атомних електростанцій України та інших країн. За словами доповідача, ці системи безпеки будуються за принципом диверсності: основна та диверсна системи виконують однакові функції, але реалізовані на різних програмно-апаратних платформах.
Прикладом є платформа RadICS, сертифікована відповідно до жорстких вимог американського ядерного регулятора — U.S. Nuclear Regulatory Commission. До речі, технології платформи RadICS успішно адаптовані не лише для енергетики, а й для аерокосмічної галузі та кіберзахисту споживчої електроніки.
— Для таких систем ми розробили класифікатор видів диверсності — різних варіантів надмірності, які доповнюють традиційне резервування і дозволяють мінімізувати ризик так званих відмов за загальною причиною, — розповів В’ячеслав Харченко. — Диверсність може реалізовуватися через використання різної елементної бази, програмного забезпечення, алгоритмів, сенсорів або незалежних процесів розробки.
У доповіді наголошувалося, що принцип диверсності, який понад два десятиліття успішно застосовується у системах функціональної безпеки, сьогодні активно адаптується до систем штучного інтелекту. Зокрема, розроблено і запатентовано спосіб резервування систем ШІ, що ґрунтується на використанні різних джерел і наборів даних для навчання, альтернативних моделей і алгоритмів, а також незалежних каналів контролю їхньої працездатності. Такий підхід дозволяє створювати кілька незалежних версій системи, результати роботи яких можна порівнювати та перевіряти.
За словами В’ячеслава Харченка, застосування диверсності на різних етапах — від формування навчальних датасетів і побудови моделей до контролю функціонування систем — дає змогу істотно знизити ризики помилок, невизначеної або небезпечної поведінки штучного інтелекту. Комбінація цих методів підвищує надійність і стійкість інтелектуальних систем, що особливо важливо для їх використання у критично важливих сферах, де навіть поодинокі збої можуть мати серйозні наслідки.
Стандарти і проєкти «Горизонту»
Як розповів професор Харченко, у співпраці з науковими та промисловими партнерами було розроблено 12 національних і галузевих стандартів, що визначають вимоги до функційної безпечності та кібербезпеки інформаційно-керувальних систем атомних електростанцій. Ці стандарти сформували методологічну основу для подальшого розвитку підходів до забезпечення надійності та безпеки складних технічних систем, зокрема систем штучного інтелекту. Упродовж 2000–2020 років також виконано низку досліджень і розробок, спрямованих на створення програмно-технічних комплексів космічних систем, методів регулювання, проєктування, верифікації та забезпечення ІТ-безпеки і гарантоздатності критичних інформаційно-керувальних систем.
Важливим напрямом міжнародної співпраці стала участь у проєкті ECHO, який реалізовувався у межах програми Horizon 2020 у 2019–2023 роках. Проєкт був одним із чотирьох пілотних ініціатив Європейського Союзу зі створення європейської мережі центрів компетенцій у сфері кібербезпеки. У його межах ХАІ разом із науковою школою В’ячеслава Харченка брали участь у розробленні моделей оцінювання надійності та безпеки для мультисекторальних сценаріїв застосування, зокрема у сфері критичної інфраструктури та автономних систем.
Крім того, виконувались й інші дослідницькі та прикладні проєкти, спрямовані на розвиток сучасних технологій кібербезпеки та інтелектуальних систем. Серед них — проєкт SI-CyberEDU, присвячений підготовці фахівців і розвитку методів кіберзахисту індустріальних інформаційно-керувальних систем, а також проєкт IFF-AUTODRONE, у межах якого розробляються мультисенсорні мобільні системи для автоматизованого розмінування. Ці ініціативи поєднують фундаментальні дослідження з практичним впровадженням і спрямовані на підвищення безпеки критичних технологій у різних галузях.
Від безпілотників до інтерактивного мистецтва
Як резюмував В’ячеслав Харченко, головним результатом досліджень стало створення концептуальних моделей, що заклали фундамент нового наукового напряму — теорії критичного інтелектуального комп’ютингу. Цей напрям орієнтований на системи та інфраструктури, де помилка неприпустима, а безпека є найвищим пріоритетом. Щодо подальшого розвитку теорії гарантоздатного штучного інтелекту то за словами доповідача, він буде зосереджений на створенні систем із «природною резильєнтністю», здатних стабільно працювати навіть в умовах обмежених ресурсів.
Щодо перспективи, то, як зауважив В’ячеслав Харченко, особлива увага приділятиметься розробці інтелектуальних мобільних комплексів, що об’єднують безпілотники та наземну робототехніку. Крім того, паралельно розвиватимуться методи оцінювання ШІ як сервісу та впровадження інтелектуальної діагностики в енергетику. Також важливим етапом стане формування жорстких регулювальних вимог до програмного забезпечення та розвиток ідей «ноокомп’ютингу» — синергії людського та штучного розуму. Нарешті, поєднання ШІ з інтернетом речей та доповненою реальністю відкриє нові горизонти навіть у таких сферах, як інтерактивне мистецтво.
Не відстати у стратегічній галузі
Голова Державної служби спеціального зв’язку і захисту інформації України, доктор технічних наук Олександр Потій наголосив, що штучний інтелект належить до критичних технологій, які визначатимуть спроможність держав і суспільств у майбутньому. Наявність власних наукових і інженерних шкіл, здатних досліджувати, розробляти та впроваджувати такі технології, посилює потенціал держави, особливо в умовах війни, зокрема у сфері національної безпеки та загальної стійкості суспільства. Володіння цими інструментами відкриває можливості для створення проривних технологічних рішень у різних галузях, передусім у критичній інфраструктурі — енергетичному та нафтогазовому секторі, а також у розвитку сучасних систем озброєння, зокрема безпілотних морських, наземних і повітряних комплексів.
Окремо доповідач відзначив внесок наукової школи В’ячеслава Харченка, яка зосередилася на дослідженні гарантоздатності систем штучного інтелекту — аспекту, що досі недостатньо опрацьований розробниками сучасних інтелектуальних моделей. Науковці змогли адаптувати напрацьовані підходи до забезпечення надійності технічних і автоматизованих систем до нового класу — систем штучного інтелекту. Це створює передумови для їх безпечного використання у критичних сферах — від управління енергетичними та промисловими об’єктами до систем озброєння і кіберзахисту. За словами Олександра Потія, представлені результати мають як наукову новизну, так і практичну значущість, а тому подальша підтримка прикладних досліджень у цій сфері з боку наукової спільноти, держави та приватного сектору є надзвичайно важливою.
Генеральний директор ПАТ «Науково-виробниче підприємство «Радій» кандидат технічних наук Аліна Бегун наголосила, що значна частина досягнень компанії стала можливою завдяки багаторічній співпраці підприємства з науковою школою В’ячеслава Харченка та кафедрою кібербезпеки й інтелектуальних інформаційних систем ХАІ. Спільно було створено науково-технічний центр, що опікується питаннями кібербезпеки, надійності, диверсності систем і застосування штучного інтелекту в атомній енергетиці. За словами Аліни Бегун, використання штучного інтелекту може підвищити конкурентоспроможність галузі, однак для критичної інфраструктури воно потребує особливо ретельного наукового опрацювання.
Директор Інституту проблем моделювання в енергетиці ім. Г.Є. Пухова НАН України член-кореспондент НАН України Володимир Мохор навів приклад із практики: у 2016 році Інститут розробляв для НАЕК «Енергоатом» концепцію галузевої системи збору та обробки інформації про технічний стан обладнання атомних електростанцій. Уже тоді стало очевидно, що обсяги даних і швидкість їхнього зростання є настільки значними, що традиційні технології та людські ресурси не здатні ефективно їх опрацьовувати.
На думку Володимира Мохора, нові можливості для розв’язання цієї проблеми відкриває застосування штучного інтелекту, однак його використання в критично важливих галузях, зокрема ядерній енергетиці, потребує особливої обережності, адже відповідальність за рішення та їхні наслідки має залишатися за людиною. У цьому контексті науковець відзначив запропонований В’ячеславом Харченком підхід диверсності, який передбачає використання кількох незалежних систем штучного інтелекту для перевірки та зіставлення результатів. Такий підхід, за його словами, відкриває перспективний науково-технічний напрям і може стати основою для підвищення довіри до рішень, сформованих ШІ. Він висловив переконання, що ці дослідження мають значну фундаментальну перспективу та заслуговують на підтримку, а Інститут проблем моделювання в енергетиці готовий долучатися до їх розвитку.
Академік-секретар Відділення інформатики НАН України Олександр Хіміч наголосив, що дослідження В’ячеслава Харченка у сфері гарантоздатних систем штучного інтелекту розглядаються як один із пріоритетних міждисциплінарних напрямів для НАНУ. Він зазначив, що стрімкий розвиток штучного інтелекту, зумовлений прогресом обчислювальної техніки, накопиченням великих масивів даних та поширенням нейромережевих технологій, зробив цю сферу одним із ключових трендів сучасної науки. Водночас поряд із революційними досягненнями постають і серйозні виклики, пов’язані з надійністю результатів, які продукують системи штучного інтелекту. Серед основних проблем Олександр Хіміч назвав якість і репрезентативність даних, оскільки навіть досконалі алгоритми не можуть забезпечити надійний результат за наявності неповних або неточних даних.
Додатковими чинниками ризику є нестійкість моделей і так звані «погано обумовлені задачі», а також необхідність системного аудиту й оцінювання моделей штучного інтелекту.
Підсумовуючи, президент НАН України академік Анатолій Загородній наголосив на потребі інституційної підтримки цього напряму досліджень. Він висловив переконання, що Академії варто започаткувати спеціальну наукову програму з досліджень штучного інтелекту, оскільки без системної підтримки Україна ризикує відстати у цій стратегічно важливій галузі науки і технологій.
Підготував Дмитро Шулікін
Фото автора