Інтелектуальний кластерний аналіз даних
Завдання класифікації є одними з найважливіших як у науково-технічних дослідженнях, які у біології, медицині, геології, і у соціально-економічних. За своєю постановкою такі завдання різноманітні та численні. Один із них – класифікація без навчання – полягає у розбиття сукупності об'єктів, які описуються набором ознак, на однорідні групи, звані кластерами. Для вирішення такого завдання використовують методи кластерного аналізу, які дозволяють виділити в р-мірному просторі ознак багатовимірних об'єктів різної природи кластери, що володіють спеціальними властивостями (компактністю, зв'язковістю та іншими). При класифікації багатовимірних спостережень результати кластерного аналізу дозволяють досліднику більш обґрунтовано відносити невідомий об'єкт до того чи іншого відомого класу.
Кластерний аналіз (кластеризація, таксономія, самонавчання, навчання без вчителя) призначений для розбиття безлічі об'єктів на задану чи невідому число класів на підставі деякого математичного критерію якості класифікації (cluster — гроно, пучок, скупчення, група елементів, що характеризуються якоюсь загальною властивістю) . Критерій якості кластеризації (функціонал якості розбиття) тією чи іншою мірою відображає такі неформальні вимоги:
усередині груп об'єкти мають бути тісно пов'язані між собою;
об'єкти різних груп мають бути далекі один від одного;
за інших рівних умов розподілу об'єктів за групами мають бути рівномірними.
В алгоритмах кластеризації найбільш важливим і найменш формалізованим є визначення поняття однорідності, або міри близькості об'єктів, кластерів та якості розбиття об'єктів на групи (об'єктивності угруповань, що отримуються), чому переважно залежить остаточний результат класифікації. У кожній конкретній задачі ця проблема вирішується по-своєму і залежить в основному від цілей дослідження, структури, виду вихідних даних та значною мірою спирається на інтуїцію дослідника. Усе це свідчить про те, що реалізація таких алгоритмів як прикладних програм у пакетному режимі малоефективна. Тому для оптимального евристичного вирішення завдань кластеризації дослідник має активно використовувати знання експертів кластерного аналізу.
Отже, кластеризація об'єктів, кожен із яких описується набором ознак, передбачає перебування однорідних груп об'єктів (кластерів), виділення їх прихованої структури без точного знання типових представників. Є багато методів та алгоритмів кластеризації, які орієнтовані рішення різних завдань класифікації. Проблема кластеризації у тому, що кожного конкретного типу даних, структури розташування об'єктів у просторі ознак треба або правильно підібрати відомий алгоритм, або його адаптувати чи розробити новий. Для вирішення цієї проблеми широко застосовують знання експертів.
Система "КАРКАС" має модуль інтелектуальної кластеризації багатовимірних даних – для вибору алгоритму кластеризації використовується база знань.
Модель бази знань з кластерного аналізу охоплює застосування низки алгоритмів автоматичної класифікації, таких, як ітеративний алгоритм К-внутрішньогрупових середніх, алгоритм ISODATA, метод динамічних згущень, ієрархічна процедура та інші.
Процес кластеризації можна розбити ряд етапів, які характеризуються завданням міри подібності для об'єктів у просторі ознак, вибором стратегії освіти кластерів (наприклад, ієрархічна, використання різних заходів подібності між кластерами), вибором оцінки якості розбиття об'єктів на кластери і деякими евристичними міркуваннями.
При формалізації знань про кластеризацію можна виділити атрибути, наприклад, ознаки, відстань, міжкластерну відстань, число кластерів. Кожен із них набуває конкретного значення у різних алгоритмах кластеризації. Наприклад, атрибут "ознаки" залежно від значень (кількісні, порядкові, номінальні, дихотомічні) визначає відповідну метрику у просторі ознак або міру подібності між об'єктами. До того ж деякі атрибути, наприклад число кластерів, можуть динамічно змінюватися в ході роботи алгоритму.
