Что такое шардинг и какие его виды?

Шардинг — это горизонтальное разделение данных на несколько независимых узлов (шардов) для масштабирования системы за пределы одного сервера с точки зрения объема данных, нагрузки и пропускной способности.

Почему используется шардинг:

1. Снимите ограничения с одного узла (ЦП/ОЗУ/диск/Ввод-вывод).

2. Увеличение пропускной способности записи/чтения за счет параллельной работы шардов.

3. Локализуйте «горячие» наборы данных и уменьшите конкуренцию за ресурсы.

Основные виды шардинга:

1. Шардирование на основе диапазона

• данные секционируются по ключевым диапазонам (например, по дате или интервалу идентификатора);

• простой для сценариев временных рядов;

• риск «горячих» диапазонов.

1. Шардинг на основе хеша

• шард определяется по хешу ключа;

• более равномерно распределяет нагрузку;

• сложнее делать запросы по диапазону.

1. Фрагментирование каталогов/поиска

• отдельный ключ карты/сервиса → шард;

• гибкая маршрутизация и миграции;

• дополнительная сложность и зависимость от слоя поиска.

1. Шардинг на основе географического местоположения или арендатора

• данные делятся по региону или клиенту (арендатору);

• хорошо подходит для изоляции, соответствия требованиям и многопользовательских архитектур;

• возможный дисбаланс между шардами.

Архитектурные проблемы шардинга:

1. Ребалансировка данных во время роста.

2. Межшардовые запросы, соединения и транзакции.

3. Сложности резервного копирования/восстановления и аварийного переключения.

4. Повышенная сложность наблюдения и оперативного обеспечения.

Заключение:

Шардинг — это инструмент масштабирования, который обеспечивает значительный прирост производительности, но за счет усложнения архитектуры. Выбор типа шардинга должен основываться на схеме доступа к данным, модели предметной области и плане развития системы.

Пример:

Пример

func shardForUser(userID int64, shards int) int {
	if shards <= 0 {
		return 0
	}
	return int(userID % int64(shards)) // hash/range-логіку змінюють під домен
}

Итог

Шардинг — это горизонтальное разделение данных на несколько независимых узлов (шардов) для масштабирования системы за пределы одного сервера с точки зрения объема данных, нагрузки и пропускной способности.