Sobre o Hyperdisk ML

Mantenha tudo organizado com as coleções Salve e categorize o conteúdo com base nas suas preferências.

---

Este documento descreve os recursos do Hyperdisk ML, que oferece a maior capacidade de processamento de todos os tipos de Google Cloud Hyperdisk. O Google recomenda o uso do Hyperdisk ML para machine learning e para cargas de trabalho que exigem alta capacidade de leitura em conjuntos de dados imutáveis. O Hyperdisk ML de alta capacidade de processamento oferece resultados em tempos de carregamento de dados mais rápidos, tempos de inatividade do acelerador mais curtos e custos de computação mais baixos.

Para grandes cargas de trabalho de inferência, treinamento e HPC, é possível anexar um único volume do Hyperdisk ML a várias instâncias de computação no modo somente leitura.

É possível especificar até 1.200.000 MiB/s de capacidade de processamento para um único volume do Hyperdisk ML. Não é possível provisionar um nível de IOPS, mas cada MiB/s de capacidade de processamento provisionada vem com 16 IOPS, até 19.200.000 IOPS.

Para mais informações sobre o Hyperdisk e os outros tipos de Hyperdisk, consulte Sobre o Hyperdisk.

Para criar um volume de ML do Hyperdisk, consulte Criar um volume do Hyperdisk.

Casos de uso

O ML do Hyperdisk é adequado para os seguintes casos de uso:

• Cargas de trabalho de HPC
• Machine learning
• Cargas de trabalho otimizadas para aceleradores

Suporte a séries de máquinas

É possível usar o Hyperdisk ML com as seguintes séries de máquinas:

• C3
• C3D
• A3 (H100)
• A2
• G2

Sobre a performance provisionada

Não é necessário provisionar a performance ao criar volumes do Hyperdisk. Se você não provisionar a performance, o Compute Engine vai criar o volume com valores padrão que podem ser modificados mais tarde. Para saber mais sobre os valores padrão, consulte Valores de IOPS e throughput padrão.

Se você souber suas necessidades de desempenho, poderá especificar os limites de IOPS e de capacidade para um volume do Hyperdisk ML ao criar o volume e mudar os valores provisionados depois. Não é possível especificar um nível de IOPS ou de capacidade se você não especificar um tamanho.

Limites de tamanho e desempenho

Os limites a seguir se aplicam aos valores de tamanho, throughput e IOPS que podem ser especificados para um volume do Hyperdisk ML.

• Tamanho: entre 4 GiB e 64 TiB. O tamanho padrão é 100 GiB.

• Capacidade de processamento: entre 400 e 1.200.000 MiB/s. A capacidade de processamento mínima e máxima têm limites próprios com base no tamanho do volume, conforme descrito abaixo:

  • Taxa de transferência mínima: para volumes de 4 a 3.341 GiB, o valor mínimo é 400 MiB/s. Para volumes de 3.342 GiB ou mais, o valor mínimo depende do tamanho e varia entre 401 e 7.680 MiB/s.

  • Capacidade de processamento máxima: para volumes de 750 GiB ou mais, o valor máximo é de 1.200.000 MiB/s. Para volumes de 749 GiB ou menores, o valor máximo depende do tamanho e varia de 6.400 a 1.199.999 MiB/s.

  Para conferir exemplos, consulte Limites de throughput provisionado.

• IOPS: não é possível especificar um limite de IOPS para volumes do Hyperdisk ML. Em vez disso, as IOPS provisionadas dependem da capacidade provisionada. Cada volume do Hyperdisk ML é provisionado com 16 IOPS para cada MiB/s de capacidade de processamento, até um máximo de 19.200.000 IOPS.

Limites da capacidade de processamento provisionada

A tabela a seguir lista os limites de capacidade provisionada para tamanhos de volume comuns. Se um tamanho não estiver listado, use a fórmula abaixo para calcular os valores permitidos, em que x é o tamanho do volume em GiB:

• Capacidade configurável mínima: MAX (400, 0.12x)
• Capacidade configurável máxima: MIN (1200000, 1600x)

Tamanho	Capacidade mínima	Capacidade máxima
4	400	6.400
10	400	16.000
50	400	80.000
64	400	102.400
100	400	160.000
300	400	480.000
500	400	800.000
1.000	400	1200000
5.000	600	1200000
25.000	3.000	1200000
64.000	7.680	1200000

Valores de IOPS e capacidade de processamento padrão

Se você não especificar um limite de IOPS ou de capacidade ao criar um volume do Hyperdisk ML, o Compute Engine vai atribuir valores padrão. O valor atribuído é baseado nas seguintes fórmulas, em que x é o tamanho do volume em GiB.

• Capacidade padrão: MAX (24x, 400) MiB/s
• Tamanho padrão: 100 GiB

Mudar o desempenho ou o tamanho provisionado

É possível mudar o tamanho provisionado a cada quatro horas e a capacidade de processamento a cada seis horas. Para instruções sobre como modificar o tamanho ou o desempenho, consulte Modificar um volume do Hyperdisk.

Limites de desempenho quando anexado a uma instância

Esta seção lista os limites de desempenho do ML do Hyperdisk. É possível especificar até 1.200.000 MiB/s de capacidade de processamento para um único volume do Hyperdisk ML. Não é possível provisionar um nível de IOPS, mas cada MiB/s de capacidade de processamento provisionada vem com 16 IOPS, até 19.200.000 IOPS.

A tabela a seguir lista o desempenho máximo que os volumes do Hyperdisk ML podem alcançar para cada instância com suporte. O desempenho de um volume do Hyperdisk ML quando ele está anexado a uma instância não pode exceder os limites do tipo de máquina da instância. Os limites de desempenho também são compartilhados em todos os volumes do Hyperdisk ML anexados à mesma instância, independentemente do desempenho provisionado de cada volume.

Cenários que exigem várias instâncias para alcançar o desempenho provisionado

A capacidade de processamento provisionada de um volume do Hyperdisk ML é compartilhada entre cada instância a que o volume está anexado, até o limite máximo do tipo de máquina listado na tabela a seguir. Se o desempenho provisionado de um volume do Hyperdisk ML for maior que o limite de desempenho de uma instância, o volume só poderá alcançar o desempenho provisionado se for anexado a várias instâncias. As instâncias a3-ultragpu-8 têm um limite de transferência de 4.000 MiB/s.

Por exemplo, suponha que você tenha um volume do Hyperdisk ML provisionado com 500.000 MiB/s de capacidade de processamento e queira anexar o volume a instâncias a3-ultragpu-8. Uma única instância do a3-ultragpu-8 não pode alcançar mais de 4.000 MiB/s de capacidade. Portanto, para alcançar a capacidade de processamento provisionada do volume, é necessário anexar o volume a pelo menos 125 (500.000/4.000) instâncias a3-ultragpu-8. Por outro lado, para o tipo de máquina a2-highgpu-1g, você precisa de 272 instâncias.

Disponibilidade regional do Hyperdisk ML

O Hyperdisk ML está disponível nas seguintes regiões e zonas:

Região	Zonas disponíveis
Changhua County, Taiwan—asia-east1	asia-east1-a
	asia-east1-b
	asia-east1-c
Tóquio, Japão—asia-northeast1	asia-northeast1-a
	asia-northeast1-b
	asia-northeast1-c
Seul, Coreia do Sul—asia-northeast3	asia-northeast3-a
	asia-northeast3-b
Jurong West, Singapura—asia-southeast1	asia-southeast1-a
	asia-southeast1-b
	asia-southeast1-c
Mumbai, Índia—asia-south1	asia-south1-b
	asia-south1-c
St. Ghislain, Bélgica—europe-west1	europe-west1-b
	europe-west1-c
Londres, Inglaterra—europe-west2	europe-west2-a
	europe-west2-b
	europe-west3-b
Eemshaven, Países Baixos—europe-west4	europe-west4-a
	europe-west4-b
	europe-west4-c
Zurique, Suíça—europe-west6	europe-west6-b
	europe-west6-c
Tel Aviv, Israel—me-west1	me-west1-b
	me-west1-c
Council Bluffs, Iowa—us-central1	us-central1-a
	us-central1-b
	us-central1-c
	us-central1-f
Moncks Corner, Carolina do Sul—us-east1	us-east1-b
	us-east1-c
	us-east1-d
Ashburn, Virgínia—us-east4	us-east4-a
	us-east4-b
	us-east4-c
Columbus, Ohio—us-east5	us-east5-a
	us-east5-b
	us-east5-c
Dallas, Texas—us-south1	us-south1-a
The Dalles, Oregon—us-west1	us-west1-a
	us-west1-b
	us-west1-c
Salt Lake City, Utah—us-west3	us-west3-b
Las Vegas, Nevada—us-west4	us-west4-a
	us-west4-b
	us-west4-c

Proteção contra desastres para volumes do Hyperdisk ML

É possível fazer backup de um volume do Hyperdisk ML com snapshots padrão. Os snapshots fazem backup dos dados em um volume do Hyperdisk ML em um momento específico.

Replicação entre zonas

Não é possível replicar volumes do Hyperdisk ML em outra zona. Para replicar dados em outra zona na mesma região, use volumes do Hyperdisk Balanced High Availability.

Compartilhar um volume de ML do Hyperdisk entre VMs

Para cargas de trabalho de machine learning otimizadas para aceleradores, é possível anexar o mesmo volume do Hyperdisk ML a várias instâncias. Isso permite o acesso simultâneo e somente leitura a um único volume em várias VMs. Isso é mais econômico do que ter vários discos com os mesmos dados.

Não há custos adicionais associados ao compartilhamento de um disco entre VMs. Anexar um disco no modo somente leitura a várias VMs não afeta o desempenho do disco. Cada VM ainda pode alcançar o desempenho máximo de disco possível para a série de máquinas da VM.

Limitações para compartilhar o Hyperdisk ML entre VMs

• Os volumes do Hyperdisk ML não oferecem suporte ao modo de vários gravadores. É possível compartilhar um volume do Hyperdisk ML entre várias instâncias se ele estiver no modo somente leitura.
• Os volumes do Hyperdisk ML não podem ser anexados a uma única instância no modo somente leitura.
• Se você compartilhar um volume do Hyperdisk ML no modo somente leitura, não será possível reativar o acesso de gravação ao disco.
• É possível anexar um volume do Hyperdisk ML a até 100 instâncias durante cada intervalo de 30 segundos.
• Para volumes do Hyperdisk ML, o número máximo de instâncias depende de
o tamanho provisionado, da seguinte maneira:
• Volumes com menos de 256 GiB: 2.500 VMs
• Volumes com capacidade entre 256 GiB e 1 TiB: 1.500 VMs
• Volumes com capacidade entre 1 TiB e 2 TiB: 600 VMs
• Volumes com mais de 2 TiB de capacidade: 30 VMs

Se o volume estiver conectado a mais de 20 VMs, será necessário provisionar pelo menos 100 MiB/s de capacidade de processamento para cada VM. Por exemplo, se você anexar um disco a 500 VMs, será necessário provisionar o volume com pelo menos 50.000 MiB/s de capacidade de processamento.

Para saber mais, consulte Modo somente leitura para Hyperdisk.

Preços

Você vai receber cobranças pelo tamanho total provisionado e pela capacidade de processamento dos volumes de ML do Hyperdisk até que eles sejam excluídos. As cobranças são feitas mesmo se o volume não estiver conectado a nenhuma instância ou se a instância estiver suspensa ou interrompida. Para mais informações, consulte Preços de disco.

Limitações

• Os volumes do Hyperdisk ML são zonais e só podem ser acessados na zona em que você criou o volume.
• Não é possível criar uma imagem de máquina em um volume do Hyperdisk.
• Não é possível criar um Instant Snapshot de um volume do Hyperdisk ML.
• Não é possível usar o Hyperdisk ML como discos de inicialização.
• Não é possível criar um disco Hyperdisk ML no modo de leitura e gravação com base em um snapshot ou uma imagem de disco. É necessário criar o disco no modo de leitura para muitos.
• É possível mudar o tamanho de um volume do Hyperdisk ML a cada 4 horas e a capacidade de processamento a cada 6 horas.

A seguir

Adicionar um volume do Hyperdisk ML à VM