Разделение блокчейна на более управляемые сегменты позволяет увеличить пропускную способность транзакций и тем самым решить проблему масштабируемости, с которой сталкивается большинство современных блокчейнов. Шардирование данных реализуется с помощью распределенных таблиц — таблиц на движке Distributed.Распределенная таблица не хранит данные. Данные хранятся в https://www.xcritical.com/ локальных таблицах, которые находятся на серверах каждого шарда. Распределенная таблица обеспечивает маршрутизацию запросов к локальным таблицам, другими словами, позволяет обрабатывать запросы распределённо на нескольких серверах. Мы можем хранить все данные и обрабатывать запросы на одном сервере и сделать его реплику с копией данных. В случае сбоев отвалятся только отдельные серверы с некоторыми наборами данных.
Разделяя сеть на более мелкие, управляемые части, шардинг минимизирует перегрузку, что приводит к более быстрому подтверждению транзакций и улучшению пользовательского опыта. Это демократизирует доступ и поощряет более широкое участие в экосистеме. Одни проекты наподобие Ethereum 2.zero, внедряют шардинг для улучшения масштабируемости. Другие блокчейн-платформы, такие, как Zilliqa, успешно использовали шардинг для повышения производительности.
Между независимыми серверами нельзя просто так обеспечить ACID-гарантии. Для этого нужны сложные и медленные механизмы координации, например двухфазный коммит (2PC). Либо приходится идти на компромисс и использовать eventual consistency — когда данные приходят в согласованное состояние с небольшой задержкой. При решардинге часто приходится перегонять большие объёмы данных между серверами.
Типы Шардинга
- Эти шарды распределяются по другим серверам и связываются в одну систему.
- На рисунке выше пять валидаторов, три из которых под контролем атакующего.
- Рост транзакционной активности требует от нод интенсифицировать процесс верификации транзакций.
Но внедрение шардинга, как и любых новшеств имеет свои преимущества и недостатки, а также не является единственным способом достижения масштабируемости блокчейна. Оригинальная технология Ethereum работает (пока) на протоколе Proof-of-Work и предполагает, что все узлы сети должны подтверждать внесение в блок новой информации. Учитывая масштаб сети — это и тормозит процесс обработки транзакций. Шардинг предполагает, что вычислительная и накопительная нагрузка распределяется таким образом, что каждый узел обрабатывает и хранит информацию только о своем шарде. Экосистема блокчейна Near что такое шард позволяет разработчикам создавать и применять децентрализованные приложения.
Минусы Шардинга
При таком подходе удобнее перемещать данные между шардами, изолировать их и менять логику. Это полезно, когда у таблицы очень много столбцов или когда группы столбцов имеют совершенно разные паттерны доступа. Мы можем улучшить производительность запросов, так как они работают с таблицами меньшей ширины. Горизонтальный sharding — идеальный вариант, когда основная проблема — это огромное количество строк в таблицах и высокая нагрузка на чтение/запись. Ethereum предлагает решение этой проблемы с помощью случайной выборки — протоколы осколка рандомно назначаются в разные секции для подтверждения аутентификации блоков (для этого и нужен был переход на PoS). Если один шард выходит из строя, это не приводит к сбою всей базы данных.
Шардинг может применяться к любой системе, если для ее работы требуется все больше ресурсов, но его не стоит применять без явной необходимости. Честные валидаторы продолжат строить поверх последнего валидного блока, и все участники сети будут видеть их цепь как каноническую. Если участник смог получить контроль над достаточно большим количеством валидаторов в шарде, он может попытаться создать совершенно невалидный блок.
Шардирование используется, если система требует все больше ресурсов, но вертикальное масштабирование кластера не может быть использовано из-за физических пределов. Чтобы этого избежать, приходится либо более въедливо продумывать ключи шардирования, либо вручную разделять слишком нагруженный шард. В базе данных есть таблица orders, её мы и хотим шардировать по customer_id при помощи хеширования (hash-based sharding). Если горизонтальный шардинг режет таблицу поперёк (по строкам), то вертикальный — вдоль, разделяя столбцы. Обычно они группируются по частоте использования или по смысловой нагрузке. Например, в таблице юзеров можно выделить часто запрашиваемые user_id, username, e mail в одну таблицу, а редко используемые — biography, preferences, last_login_details — в другую.
Шардирование — это принцип проектирования базы данных, при котором части одной таблицы размещаются на разных шардах. Шард — узел кластера, который может состоять из одной или нескольких реплик. Реплики — это серверы, на которых дублируются данные в рамках шарда. Запрос на чтение или запись в шард может быть отправлен на любую его реплику, выделенного мастера нет. Поэтому необходимо внимательно оценить преимущества и недостатки перед внедрением шардирования в систему. У этой проблемы есть много решений, самое простое криптовалютный шлюз из которых иногда сохранять хеш последнего блока в шарде в центральный блокчейн.
Поэтому создание кластера и распределение в нём нагрузки при помощи шардинга — часто более выигрышное решение, чем один сервер. Со временем может потребоваться изменить количество шардов или способ разделения данных. Например, добавить серверы для увеличения мощности или изменить ключ шардирования. Когда группа узлов отвечает за определенный сегмент реестра, то каждой ноде в сети уже не нужно поддерживать весь блокчейн для выполнения каждой транзакции. Валидация операций проводится параллельно, а не линейно, а это повышает пропускную способность сети.
Использует службу поиска или каталог для отслеживания того, на каком шарде хранятся те или иные данные. Опционально можно добавить метрику для отслеживания частоты запросов по старому маппингу, которая будет сигнализировать нам о том, что данные перетащились и можно отключать дублирующий легаси-флоу. Для полноты картины разберём вариант решардинга в условиях, когда нам не хотелось бы останавливать сервис. Писать данные будем только в новый маппинг шардов, а вот читать их будем сразу из старого и нового. Описанный выше сценарий — одна из больших проблем в шардинге, у которой все предложенные решения не оптимальны.
Эти шарды распределяются по другим серверам и связываются в одну систему. Подходит для баз данных, в которых к определенным таблицам обращаются чаще, чем к другим, что позволяет снизить нагрузку на таблицы, в которые направляется большое количество запросов. Например, в веб-приложении данные аутентификации пользователей могут храниться в одном шарде, а журналы активности — в другом, что оптимизирует производительность часто используемых таблиц. Шардинг (сегментирование) — паттерн архитектуры базы данных, предполагающий разбиение базы данных на более мелкие, быстрые и управляемые части, называемые шардами (сегментами). Каждый шард представляет собой отдельную базу данных, а в совокупности эти шарды составляют единую базу данных.