Uncategorized

Google представляет новые виртуальные машины Cloud TPU для рабочих нагрузок искусственного интеллекта

Недавно Google анонсировала новые виртуальные машины (ВМ) Cloud TPU, которые обеспечивают прямой доступ к хост-машинам TPU. С помощью этих виртуальных машин компания предлагает новый и улучшенный пользовательский интерфейс для разработки и развертывания TensorFlow, PyTorch и JAX on Cloud TPU.

Клиенты уже могли настраивать виртуальные экземпляры в Google Cloud с наборами микросхем TPU. Однако это имело некоторые недостатки, поскольку экземпляры не запускались в одной серверной среде. TPU были подключены к чипсетам удаленно через сетевое соединение, что снизило скорость обработки, поскольку приложениям приходилось отправлять данные по сети на TPU, а затем ждать, пока обработанные данные будут отправлены обратно.

Благодаря предварительной версии виртуальных машин Cloud TPU клиенты могут подключать свои наборы микросхем TPU непосредственно к развернутым экземплярам, ​​предотвращая сетевую задержку между различными приложениями и экземплярами Google Cloud при использовании наборов микросхем TPU. Александр Спиридонов, менеджер по продукту Google AI, заявил в своем блоге о новых виртуальных машинах Cloud TPU:

Эта новая системная архитектура Cloud TPU проще и гибче. В дополнение к основным преимуществам удобства использования вы также можете добиться повышения производительности, поскольку вашему коду больше не нужно совершать круговые обходы по сети центра обработки данных для достижения TPU. Кроме того, вы также можете увидеть значительную экономию затрат: если ранее вам требовался парк мощных виртуальных машин Compute Engine для передачи данных на удаленные хосты в срезе модуля Cloud TPU Pod, теперь вы можете запустить эту обработку данных непосредственно на хостах Cloud TPU и исключить необходимость в дополнительных виртуальных машинах Compute Engine.


Источник: https://cloud.google.com/blog/products/compute/introduction-cloud-tpu-vms.

Google предлагает виртуальные машины Cloud TPU в двух вариантах. Первый вариант – это Cloud TPU v2, основанный на наборах микросхем TPU второго поколения, и более новая версия Cloud TPU v3 – на основе TPU третьего поколения. Разница между ними, согласно Google Cloud, заключается в производительности. Cloud TPU v2 может выполнять до 180 терафлопс, а TPU v3 – до 420 терафлопс.

Пример использования виртуальных машин Cloud TPU – разработка алгоритмов на уже существующих модулях Cloud TPU. Это большие кластеры серверов AI на основе TPU. В частности, эти решения подходят для запуска очень сложных моделей машинного обучения. Например, самый быстрый кластер предлагает производительность более 100 петафлопс в секунду, что значительно удешевляет построение алгоритмов на этих кластерах. При запуске в производство клиентам нужно будет оплатить только аренду модуля и затраты на переход на более мощное оборудование. Кроме того, Google Cloud планирует использовать виртуальные машины Cloud TPU в своих планах квантовых вычислений.

Обнимающее лицо, аккаунт Twitter сообщества AI, указанный в твитнуть:

Благодаря мощности JAX / Flax и новому облачному TPU V3-8 теперь вы можете предварительно обучить LM в маске всего за 18 часов!

В настоящее время предварительная версия виртуальных машин Cloud TPU доступна в us-central1 а также европа-запад4 регионы. Эти виртуальные машины доступны по цене от 1,35 доллара в час за хост-машину TPU с предложениями Google с вытеснением и выше – более подробная информация доступна на странице цен. И, наконец, клиенты могут быстро начать обучение моделей машинного обучения с помощью JAX, PyTorch и TensorFlow с использованием облачных TPU и облачных TPU-модулей, используя документацию и краткие руководства по JAX, PyTorch и TensorFlow.

Related Articles

Leave a Reply

Your email address will not be published. Required fields are marked *

Back to top button