Даніель Різеа, маючи понад 15 років досвіду роботи в глобальних технологічних компаніях, зазначає, що стрімкий розвиток штучного інтелекту збільшує потребу в інженерах з обробки даних. Інженери з обробки даних повинні знати правила відповідності та насолоджуватися дослідженням бізнесу.
Даніель Різеа – директор з інженерії в Google, який керував командами в стартапах споживчих технологій та великих компаніях. У всіх випадках команди інженерів з обробки даних відігравали критичну роль у бізнесі.
Коли він прийшов в індустрію понад 12 років тому, організації в основному зосереджувалися на переході до хмарних технологій. Цей перехід створив нові можливості, компанії працювали швидше, ефективніше та генерували більше даних. Поле обробки даних стало привертати більше уваги.
Останні розробки у сфері ШІ вивели дані на передній план, оскільки якість наборів даних визначає якість моделей ШІ. Іншими словами, стрімкий розвиток ШІ збільшує потребу в нових вакансіях для інженерів з обробки даних.
Кожна організація має величезну кількість неструктурованих даних, які приховують цінні інсайти. Один з таких інсайтів може швидко збільшити прибуток, зменшити витрати або поліпшити добробут. Проблема полягає в тому, що ці дані приховані серед великої кількості шуму. Ваша робота як інженера з обробки даних – видалити цей шум, структурувавши та обробивши великі обсяги даних.
Але перед тим як увійти в цю галузь, врахуйте ці чотири речі.
1. Якщо ви не любите занурюватися в бізнес, вам може не сподобатися обробка даних
Якщо ви любите писати код, але не дуже захоплюєтесь бізнесом, обробка даних може виявитися як захоплюючою, так і розчаровуючою. Це захоплююче, оскільки вам доведеться створювати великі системи в масштабі, але перед тим як писати код, ви повинні зрозуміти бізнес-контекст організації та її продукти.
Вам потрібно тісно співпрацювати з продуктовими менеджерами та бізнес-аналітиками. Іноді ви повинні співпрацювати з багатьма, щоб зрозуміти всі бізнес-одиниці. Навіть якщо компанія має багато підрозділів, система даних, яку ви будуєте, повинна обслуговувати всі з них.
Перш ніж написати рядок коду, ви повинні з’ясувати:
- Які дані потрібно зібрати?
- Як організація планує використовувати ці дані?
- Наскільки свіжими повинні бути дані?
Усі ці питання мають технічні, архітектурні та ефективні наслідки. Хороший інженер з обробки даних надає найкращу систему, яка балансує потреби організації, витрати та терміни.
Кращі інженери з обробки даних враховують майбутні потреби і проектують системи з урахуванням цих потреб.
2. Це швидкоплинна робота, яка постійно змінюється
Якщо ви не любите постійні виклики, обробка даних може бути не для вас. Поле обробки даних розвивається дуже швидко, і вам потрібно йти в ногу з ним. Дані ростуть експоненціально, і нові системи та техніки потрібні для управління великими обсягами даних. Системи вчорашнього дня стають застарілими, і це може здатися непосильним через швидкість змін.
Це сталося зі мною на ранніх етапах моєї кар’єри. Було так багато, що потрібно було вивчити, і так мало часу. Я працював у стартапі й повинен був швидко включитися в роботу. Спочатку я читав і навчався ночами, а розробляв протягом дня. Це допомогло мені краще зрозуміти програмну інженерію, ніж моїм колегам.
Зараз я виділяю кілька годин на тиждень, щоб переглядати та читати про останні розробки у своїй галузі. Я знаю, що не покриваю все, але намагаюся залишатися в курсі.
Останні тренди у сфері ШІ принесли генеративний ШІ та технології, такі як векторні бази даних та методики доповненого отримання. Вони відкривають нові можливості, але також приносять нові виклики.
Ви не зможете встигати за всім, але це не повинно вас зупиняти. Підписуйтеся на технічні розсилки. Ви можете отримувати щотижневий або щомісячний дайджест нових трендів у вашій галузі. Будьте відкриті до експериментів і випробовування нових речей. Це дасть вам і вашій організації конкурентну перевагу.
3. Знання правил відповідності – обов’язкове
Як інженер з обробки даних, ви повинні враховувати конфіденційність даних і будувати внутрішні системи, які відповідають юридичним і нормативним вимогам, не піддаючи компанію ризику. Ви повинні ознайомитися з GDPR, CCPA, HIPPA та іншими регулюваннями, яких бізнес може потребувати дотримуватися.
Я пам’ятаю, коли набув чинності дедлайн GDPR у 2018 році. Всі компанії поспішали стати відповідними вимогам. Інженерні команди працювали цілодобово, щоб зробити свої системи відповідними. Найбільший тягар ліг на команди даних і функцій, щоб впровадити відповідні функціональні можливості.
Забезпечення безпеки даних користувачів і прозорості всіх обробок і політик для користувачів є вирішальним для побудови та підтримки довіри клієнтів. Найлегший спосіб втратити довіру клієнтів – не керувати їхніми даними належним чином.
Інженери з обробки даних повинні співпрацювати з юридичними відділами та продуктовими менеджерами, щоб переконатися, що всі потоки даних відповідають нормативам конфіденційності даних, і оновлювати ці потоки, коли нормативи змінюються.
4. Споживачі не побачать вашої роботи
Якщо ви думаєте, що обробка даних передбачає створення функцій, які бачать споживачі, то, швидше за все, ви помиляєтеся.
Продукти, над якими працюють інженери з обробки даних, здебільшого є системами та можливостями платформи даних. Ці системи підтримують бізнес-потреби організації. У більшості компаній команда даних – це горизонтальна команда, яка будує системи та конвеєри для структурування та обробки даних.
Природа горизонтальної роботи передбачає, що інженери з обробки даних мають різноманітних внутрішніх клієнтів, від інших програмних команд до продуктових менеджерів, аналітиків та керівників, які потребують цінної інформації про те, як керувати бізнесом.
Інженери з обробки даних будуть працювати над функціями та можливостями, які побічно стосуються споживачів. Проте їхні дії впливатимуть на напрямок розвитку продукту, надаючи аналітику та інсайти про ринок і те, як споживачі використовують продукт.
Обробка даних – захоплююча галузь, яка швидко розвивається
Швидка еволюція обробки даних є ключем до створення кращих моделей ШІ. Але перед тим, як зануритися в цю галузь, майте на увазі чотири представлені пункти. Це допоможе вам налаштувати свої очікування і зрозуміти, до чого ви готуєтеся.
Обробка даних – це робота, яка дозволить вам взаємодіяти з різними зацікавленими сторонами, від інженерних команд до продуктових менеджерів, юридичних відділів та керівників. Це основна роль для будь-якої сучасної організації.