Щодня обсяг корпоративних даних стрімко зростає. Всю інформацію потрібно певним чином збирати, структурувати й десь зберігати. Про це далі й поговоримо у статті. Ви дізнаєтесь, які властивості мають корпоративні дані та що врахувати при їх оцифруванні й зберіганні. Згадаємо тут і про можливості штучного інтелекту.
Сучасні компанії генерують більше даних, аніж можуть ефективно обробити
Зазвичай близько 20% даних охоплюють 80% суттєвих бізнес-процесів. Щоб не витрачати багато зусиль на спробу охопити всі доступні процеси, компанії мають визначати пріоритети в обробці даних.
І тут перший крок – обрати правильні дані та сконцентруватися саме на них.
Для цього існує кілька підходів:
- Залучити сусідні бізнес-процеси. Стосуються задач, які виконують кілька відділів або філіалів компанії. У такому випадку часто з’являються проблеми на кшталт дублювання інформації чи помилок у введенні даних. Слід звести до мінімуму ручну обробку даних, аби оптимізувати роботу команд.
- Звернути увагу на відділи, що співпрацюють. Коли за процесом в одній команді слідує процес в іншій, може утворитися довгий ланцюжок із передачі даних між відділами. Так зростає ймовірність помилок при обміні й обробці інформації.
- Взаємодіяти з партнерами. Кожна компанія (контрагент) має свої формати даних і правила роботи з ними. Тому при інтеграції продуктів різних бізнесів під час обміну або об’єднання даних перевірте відсутність дублів та узгодженість форматів.
Цифрова трансформація бізнесу: виклики та підходи
Лише 25% компаній почуваються задоволеними своїми процесами менеджменту даних та їх інфраструктурою. І цей показник зрозумілий. Адже бізнес усвідомлює, скільки можливостей для удосконалення дають сучасні технології. При цьому тільки 44% організацій мають IT-команду, яка може впроваджувати цю оптимізацію. Та все ж у світовій практиці закріпилися два дієвих рішення для оцифрування корпоративних даних:
• Традиційний
Зазвичай починається з топ-менеджменту. Вони заявляють про потребу в оптимізації, яка перетворюється на завдання для керівництва середнього рівня. Ця ланка співробітників зі свого боку визначає тих, хто й буде реалізовувати ідею. Однак нижня ланка часто не розуміє важливості такої задачі. Це сповільнює зміни, а часом призводить до конфліктів.
• Ініціативний
Це протилежна історія. Все починається з відгуку користувача на продукт. Далі працівник, який контактує з клієнтом, ініціює зміни у процесах відповідно до отриманого фідбеку. Спілкування з аудиторією дає змогу зрозуміти, в чому полягає користувальницький досвід, як сприймається продукт і як його покращити. Тож має сенс заохочувати співробітників до ініціативи, яка піднімається до топ-менеджменту. На цьому рівні ухвалять остаточне рішення і розподілять бюджет для оптимізації.
Грамотний менеджмент даних має свої умови:
• Видимість/доступність
Йдеться про швидкість і легкість пошуку даних. Найпростіше підвищити видимість можна за допомогою маркування. Мітки дають змогу легко фільтрувати пошук та обробляти масиви даних. А звідси – якісніша та наочна звітність. Можете навіть додати візуалізацію для показу результатів пошуку.
• Надійність
Ви маєте впевнитися у надійності джерела даних. Без цього неможливо управляти й обробляти дані, інтегрувати їх з іншими даними. Треба чітко розуміти, звідки надходять дані. Також слід переконатися, що дані є узгодженими у відповідному форматі.
• Безпека
Це важливо для всіх бізнесів, а для деяких організацій, які працюють з особистими даними клієнтів, фінансовими даними й інформацією про здоров’я людей, безпека даних є чи не найголовнішим фактором. Тим паче норми зберігання інформації стають дедалі жорсткішими.
• Масштабованість
Дає змогу автоматизувати повторювані процеси. Так ви позбавляєтесь від дублювання даних при обробці інформації різними відділами й співробітниками. У результаті покращується узгодженість даних і знижується кількість помилок.
Якість корпоративних даних
Часто про якість даних говорять із точки зору упорядкованості. Але у випадку з корпоративними даними йдеться про їхню цінність. Аби повністю відповідати цьому показнику, дані повинні мати такі властивості:
- Релевантність. Час від часу проговорюйте з клієнтом: чи дійсно ті чи інші дані потрібні для розвитку його бізнесу?
- Повнота. Компанія повинна збирати достатньо даних для досягнення бізнес-цілей і розвитку бізнесу. Не врахувавши важливі дані, ви можете припуститися помилок в аналізі та подальших діях.
- Структура. Дані мають бути структурованими для обробки. Наприклад, документи слід зберігати не просто як PDF-файли, а й у вигляді форм, доступних для аналізу. Інакше робота з ними ускладниться.
- Точність. Цей показник демонструє, наскільки дані надійні та повні для досягнення бізнес-цілей.
Збереження даних. Створювати власне рішення чи купувати готове?
Усі бізнеси існують на різних етапах розвитку і переслідують різні цілі. На ухвалення рішення можуть впливати бюджет, наявність фахівців, безпека тощо. І кожен фактор має свій рівень впливу. Наприклад, для бізнесу, що працює давно, час на розробку власного рішення не є критичним. Адже вдосконалення стосується одного з продуктів чи процесів, що піде на користь користувальницькому досвіду.
Зовсім інша ситуація у стартапу. Йому треба швидко вийти на ринок. Запізнення на кілька тижнів може призвести до збитків. Тому ще на старті краще інтегрувати готовий інструмент.
У будь-якому разі розробка власного рішення починається з вибору типу сховища:
- On-premise. Це базовий тип сховища, яке повністю належить бізнесу. Всі дані зберігаються й обробляються на локальних потужностях, розташованих у приміщеннях компанії, і зазвичай не виходять за її межі. Задля посиленої безпеки таке сховище може бути не підключене до загального інтернету. Обмін даними відбувається виключно в локальній мережі.
- Cloud. Хмарне сховище надає вибір між Private Cloud і Public Cloud. Приватна хмара схожа з On-premise, але віддалене апаратне забезпечення розташоване у сторонньому дата-центрі. Ви ні з ким не ділите ані сховище даних, ані серверні потужності. На публічній хмарі сервер загальнодоступний. Розподіл фізичних пристроїв і ресурсів відбувається за допомогою програмних засобів (повне обмеження доступу чи дозволів окремим користувачам).
При виборі сховища даних зверніть увагу на його основні характеристики:
• Розгортання
При використанні локальної машини ви маєте самостійно виконувати деплой проєкту. Лише ваша IT-команда відповідає за забезпечення умов безперервної інтеграції. З хмарним середовищем частину цих завдань можна перекласти на постачальника послуги. В AWS, Azure та Google Cloud Platform є багато готових рішень, які спростять розгортання у хмарі згідно з процесами CI/CD.
• Вартість
Локальні сервери тягнуть за собою значні початкові витрати. Стартувати з хмарним сховищем доступніше. У подальшій перспективі наявність власних потужностей може виявитися вигіднішим рішенням. Однак усе залежить від особливостей конкретного проєкту.
• Контроль
У хмарі дані зберігаються в іншому місці, тому у вас немає фізичного доступу до них. Натомість повний контроль надає локальне сховище.
• Безпека
Рівень захисту хмарних сховищ нижче, ніж у локальних (особливо тих, що не підключені до інтернету). Проте сьогодні основні ризики вирішені, і робота хмар відповідає стандартам. Сховища провідних провайдерів використовуються в таких чутливих доменах, як охорона здоров’я, страхування і фінанси. Наприклад, сховище Amazon має рівень безпеки 3+ при максимально можливих 4. Тому це рішення можна назвати захищеним фактично так само, як і локальне.
Поряд із локальним і хмарним сховищами існує компроміс – гібридний формат збереження даних. У такому випадку конфіденційні дані зберігаються локально, а всі інші – відправляються до хмари. Так ви отримуєте максимум безпеки та контролю там, де це критично важливо, і відповідну до сучасних вимог гнучкість управління даними. Вартість рішення також стає оптимізованою.
Приклад побудови BI-платформи для дата-аналізу на AWS
Один із наших замовників, мережа супермаркетів, хотів покращити маркетингову рентабельність інвестицій та підвищити видимість даних. Для цього необхідно було створити BI-платформу для їх аналізу, але ресурси були обмеженими.
Наша команда запропонувала компроміс. Ми не стали використовувати готові рішення з певними обмеженнями, а створили свій інструмент у хмарній інфраструктурі. За основу взяли хмарні сервіси Amazon: сховище S3, механізми обробки даних, лямбда-тригери. Також використовували AWS Glue для обробки даних і Redshift для їх зберігання. У результаті нам вдалося досягти високої гнучкості у реалізації кількох бізнес-потреб і ще й тримати низькі витрати.
Утворився data pipeline – потік даних. Спочатку магазин із власних джерел отримує дані: про пропозиції, замовлення, продажі, клієнтів тощо. Ці дані обробляються в кілька кроків за схемою, яку ви бачите на ілюстрації вище.
Потім дані виводяться на інформаційну BI-панель:
Так ми виявили демографічний розподіл клієнтів, що спростило розуміння сегментації. А це вже допомагає при створенні персоналізованих маркетингових стратегій, відстежуванні результатів та оптимізації нових рекламних кампаній.
Безпека даних
Якщо глибше досліджувати хмарних провайдерів, то можна побачити, що чимало базових стандартів безпеки вони вже передбачили у своїй інфраструктурі. Це брандмауери, системи шифрування даних, протоколи HTTPS, антивірусне ПЗ, контроль доступу користувачів до своїх даних тощо.
Важливо сказати і про захист даних у робочому середовищі:
- Фізичний захист. Передусім це обмеження доступу для співробітників компанії та будь-яких інших осіб до сховищ даних і машин обробки.
- Спеціальний софт. Важливим є захист програмного забезпечення від шкідливих програм, який буде діяти ще до фаєрволу й інших систем.
- Обізнаність співробітників. Наскільки б розвиненою у компанії не була система безпеки, зашкодити її захисту може людина. Через брак знань чи відсутність правильних звичок у працівників завжди може статися витік даних.
Окреме питання – комунікаційна гігієна. Всі знають про фішингові атаки через електронні листи з покликаннями на шахрайські сайти. Після переходу за лінком зловмисник отримує доступ до даних користувача на його комп’ютері. Сьогодні такі атаки відбуваються і в месенджерах. А в корпоративному спілкуванні чати майже витіснили інші формати спілкування й обміну даними. Тож норми інформаційної безпеки варто поширювати на всі платформи, де можуть бути конфіденційні дані.
Переваги штучного інтелекту в аналізі даних
Сьогодні без цього складно досягти успіху на фоні конкурентів. Зазвичай тут використовують трирівневий підхід:
- Рівень даних. Базовий рівень, де відбувається збір даних та їх підготовка для подальшого аналізу.
- Рівень аналітики та розробки. На цьому етапі співробітник проводить аналіз даних і створює візуалізацію. Це може бути той, хто ініціює зміни за ініціативною моделлю.
- Рівень ухвалення рішення. Тут відбувається модифікація й оптимізація продукту. Чим більше даних, тим глибшою є аналітика й тим серйозніше можуть бути зміни.
Крім описової аналітики, коли ви чітко бачите всі дані, ще є прогнозування. Завдяки розширеній обробці даних і машинному навчанню можна виділити очікувані результати. Наприклад, яке обслуговування може знадобитися чи як зміняться продажі за пів року. Так ви отримуєте нові дані, важливі для ухвалення правильних бізнес-рішень.
Приклад покращення RPA за допомогою інструментів ШІ
Наш замовник, один із лідерів на ринку Robotic Process Automation, зіткнувся з проблемами інфраструктури даних. Клієнт шукав спосіб оптимізувати систему так, щоб підвищити конкурентоспроможність свого продукту.
Наша команда допомогла спланувати й реалізувати перехід до хмари та запровадити автоматизацію пайплайнів CI/CD. Також ми додали інноваційні функції до інструментів RPA, зокрема автоматизовану платформу для смарт-аналітики з дашбордами, де користувачі можуть фільтрувати дані за власною потребою. Наприклад, перетягувати таблицю з діаграмами й створювати певне середовище для аналізу даних.
Крім того, ми створили інтелектуальну систему обробки документів з оптичним розпізнаванням символів. Це дало змогу обробляти й структурувати ті корпоративні документи, які раніше були неструктурованими. Наші розробники запровадили механізм комп’ютерного бачення, аби фіксувати User Flow. У результаті система навчилась замінювати ці флоу автоматизованими сценаріями. З частини працівників це зняло тягар ручної роботи, і вони переорієнтувалися на більш креативні задачі.
Як бачите, грамотна робота з даними дає змогу значно підвищити продуктивність бізнесу й ефективність самих працівників. Головне – правильно розставити пріоритети та мати підтримку кваліфікованих фахівців. Тоді побудова комплексної системи управління даними принесе компанії відчутну користь.
