Оскільки центри обробки даних ШІ наближаються до обмежень електромереж
Тоді як інші шукають ядерного рішення
Швидке розширення генеративних моделей штучного інтелекту потребує більш потужного апаратного забезпечення, і з появою центрів обробки даних із сотнями тисяч графічних процесорів штучного інтелекту вони швидко розширюють межі поточної інфраструктури центрів обробки даних і незабаром можуть досягти межі електромережі. У той час як AWS, Microsoft і Oracle планують використовувати атомні електростанції для живлення своїх центрів обробки даних, головний технічний директор Microsoft Azure Марк Руссінович припускає, що підключення кількох центрів обробки даних незабаром може знадобитися для навчання передових моделей ШІ, повідомляє Semafor.
Сучасні центри обробки даних зі штучним інтелектом, такі як ті, що створені компаніями Ілона Маска Tesla або xAI, можуть вмістити 100 000 графічних процесорів Nvidia H100 або H200, і оскільки американські гіганти конкурують за навчання найкращих у галузі моделей штучного інтелекту, їм знадобиться ще більше робочих процесорів штучного інтелекту. разом як єдина система. Як наслідок, центри обробки даних стають ще більш енергоємними через збільшення кількості процесорів, високе енергоспоживання цих процесорів і кількість енергії, яка потрібна для їх охолодження. У результаті незабаром можуть стати реальними центри обробки даних, які споживають кілька гігават електроенергії. Але енергетична мережа США вже відчуває навантаження, особливо в періоди високого попиту, наприклад у спекотні літні дні, є побоювання, що мережа може не встигати за попитом.
Щоб вирішити ці проблеми, Microsoft робить значні інвестиції в енергетичну інфраструктуру. Нещодавно компанія підписала угоду про відновлення атомної електростанції Three Mile Island для забезпечення більш стабільного енергопостачання, і до загрози компанія інвестувала десятки мільярдів доларів у розвиток інфраструктури ШІ. Але цього може виявитися недостатньо, і в якийсь момент величезним компаніям доведеться об’єднати кілька центрів обробки даних, щоб навчати свої найскладніші моделі, каже технічний директор Microsoft Azure.
"Я вважаю, що це неминуче, особливо коли ви досягаєте такого масштабу, якого досягають ці речі", - сказав Руссинович Семафору. «У деяких випадках це може бути єдиним можливим способом їх навчання — це відвідувати центри обробки даних або навіть регіони. […] Я не думаю, що ми надто далеко».
На папері цей підхід дозволить вирішити зростаюче навантаження на електромережі та подолати технічні проблеми, пов’язані з централізованим навчанням ШІ. Однак ця стратегія пов’язана з серйозними технічними проблемами, зокрема щодо забезпечення синхронізації центрів обробки даних і підтримки високих швидкостей зв’язку, необхідних для ефективного навчання ШІ.
Зв’язок між тисячами процесорів штучного інтелекту в одному центрі обробки даних уже є проблемою, а поширення цього процесу на кількох сайтах лише ускладнює процес. Удосконалення волоконно-оптичної технології пришвидшило передачу даних на великі відстані, але керування цим у багатьох місцях залишається значною перешкодою. Щоб пом’якшити ці проблеми, Руссінович припускає, що центри обробки даних у розподіленій системі мають бути відносно близько один до одного. Крім того, реалізація цього підходу з декількома центрами обробки даних вимагатиме співпраці між кількома командами в Microsoft та її партнері OpenAI, що означає, що децентралізовані методи навчання ШІ повинні бути розроблені в Microsoft.
Є заковика щодо децентралізованих методів навчання ШІ. Після розробки вони пропонують потенційне рішення для зменшення залежності від найсучасніших графічних процесорів і великих центрів обробки даних. Це може знизити бар’єр для входу на ринок невеликих компаній і окремих осіб, які хочуть навчати моделі штучного інтелекту без потреби у величезних обчислювальних ресурсах. Цікаво, але китайські дослідники вже використовували децентралізовані методи для навчання своїх моделей ШІ в кількох центрах обробки даних. Проте подробиць мало.