Еволюція індексації даних Блокчейн: від Ноди до повноцінної AI бази даних
1. Вступ
З моменту появи перших децентралізованих застосунків (dApp) у 2017 році, екосистема Блокчейн значно розвинулася, з'явилося безліч фінансових, ігрових та соціальних dApp на основі різних Блокчейн. Однак, різні джерела даних, на які покладаються ці застосунки під час взаємодії, заслуговують на глибше осмислення.
У 2024 році штучний інтелект та Web3 стануть гарячими темами. У сфері ШІ дані є джерелом життя, що рухає навчанням і еволюцією системи. Без масивних даних навіть найвишуканіші алгоритми ШІ не зможуть реалізувати свій потенціал.
Ця стаття детально аналізує еволюцію індексації даних у процесі розвитку галузі з точки зору доступності даних Блокчейн. Ми також порівняємо традиційний протокол індексації даних The Graph з новими протоколами Блокчейн-сервісів Chainbase та Space and Time, обговорюючи схожості та відмінності цих нових протоколів, що поєднують технології ШІ в сфері даних та архітектури продуктів.
2. Еволюція індексації даних: від нод Блокчейн до повноцінної бази даних
2.1 Джерело даних: Блокчейн Нода
Блокчейн називається децентралізованою бухгалтерською книгою, а нода є основою цієї мережі. Кожна нода зберігає повну копію даних блокчейну, забезпечуючи децентралізовані характеристики мережі. Однак для звичайних користувачів створення та обслуговування нод не лише має високий технічний бар'єр, але й вимагає нести дорогі витрати на апаратуру та пропускну здатність.
Щоб вирішити цю проблему, з'явилися постачальники RPC-нод. Вони відповідають за експлуатацію нод, надаючи користувачам доступ до даних через RPC-інтерфейси. Хоча публічні RPC-інтерфейси безкоштовні, вони мають обмеження швидкості, що може вплинути на досвід користувачів dApp. Приватні RPC-інтерфейси, хоча мають кращу продуктивність, все ж не відрізняються високою ефективністю для складних запитів і важко масштабуються через мережі. Незважаючи на це, стандартизований API інтерфейс постачальників нод знизив бар'єри для користувачів щодо доступу до даних на блокчейні, заклавши основу для подальшої обробки даних і застосувань.
2.2 Аналіз даних: від сирих даних до придатних для використання даних
Дані, що надаються нодами блокчейну, зазвичай проходять процеси шифрування та кодування, хоча це забезпечує цілісність і безпеку даних, однак також ускладнює їх розшифровку. Для звичайних користувачів та розробників безпосередня робота з цими даними вимагає значних професійних знань та обчислювальних ресурсів.
Отже, процес аналізу даних стає надзвичайно важливим. Перетворюючи складні сирі дані в зрозумілий і зручний для використання формат, користувачі можуть більш інтуїтивно використовувати ці дані. Якість аналізу даних безпосередньо впливає на ефективність і результати застосування даних Блокчейн, є ключовим етапом у всьому процесі індексації даних.
2.3 Еволюція індексатора даних
З ростом обсягу даних Блокчейн, потреба в індексаторах стає дедалі більш нагальною. Індексатори відповідають за організацію даних на ланцюгу та їх зберігання в базі даних для запитів. Вони індексують дані Блокчейн і надають запитувальну мову, схожу на SQL (, таку як GraphQL ) інтерфейс, що робить дані завжди доступними. Індексатори надають розробникам єдиний інтерфейс запиту, що значно спрощує процес отримання даних.
Різні типи індексаторів мають свої переваги:
Повний індексатор нод: безпосередньо витягує дані з повного вузла, забезпечуючи повноту та точність даних, але потребує великої пам'яті та обчислювальної потужності.
Легкий індексатор: залежить від повних нод для отримання конкретних даних на вимогу, зменшує потребу в зберіганні, але може збільшити час запиту.
Спеціалізований індексатор: оптимізація для конкретних типів даних або Блокчейн, таких як дані NFT або DeFi-транзакції.
Агент агрегування: витягує дані з кількох Блокчейн і джерел, включаючи поза ланцюгова інформація, надає єдиний інтерфейс для запитів, підходить для багатоплатформних dApp.
Наразі зберігання даних еталонних вузлів Ethereum в різних клієнтах варіюється від 3TB до 13.5TB. В умовах такої великої кількості даних, основні протоколи індексації підтримують не тільки багатоланцюговий індекс, але й налаштовують рамки解析 даних відповідно до різних потреб застосувань, такі як "підграф" The Graph (Subgraph).
Поява індексаторів значно підвищила ефективність індексації та запитів даних. На відміну від традиційних RPC-інтерфейсів, індексатори можуть ефективно обробляти величезні обсяги даних, підтримуючи складні запити та фільтрацію даних. Деякі індексатори також підтримують агрегацію джерел даних з кількох блокчейнів, що усуває проблему необхідності розгортання кількох API для багатоланкових dApp. Завдяки розподіленій роботі індексатори не лише забезпечують більшу безпеку та продуктивність, а й знижують ризик перерв, які можуть виникнути через централізованих постачальників RPC.
2.4 Всі ланцюги бази даних: перехід до режиму пріоритету потоку
З розвитком все більш складних вимог до застосувань, первинні індексатори даних та їх стандартизовані формати індексації поступово перестають задовольняти різноманітні запити, такі як кросчейн доступ або мапування даних поза ланцюгом.
У сучасній архітектурі даних "потоковий пріоритет" став рішенням для обмежень традиційної пакетної обробки, що дозволяє реалізувати обробку та аналіз даних у реальному часі. Постачальники даних Блокчейн також розвиваються в напрямку створення потоків даних, таких як Substreams від The Graph, Mirror від Goldsky, а також реальні озера даних, які пропонують Chainbase та SubSquid.
Ці послуги призначені для задоволення потреб у реальному аналізі транзакцій Блокчейн та всебічному запитуванні. Переглядаючи виклики даних на ланцюгу з точки зору сучасних даних, ми можемо по-новому оцінити потенціал управління, зберігання та надання даних. Вважаючи індексатором потік даних, а не кінцевий вихід, ми можемо уявити можливість створення високопродуктивних наборів даних, адаптованих до будь-яких бізнес-випадків.
3. AI + База даних: глибоке порівняння The Graph, Chainbase та Space and Time
3.1 Граф
Мережа The Graph надає послуги індексації та запиту даних міжмережевих через децентралізовану мережу нод. Її основні продукти включають ринок виконання запитів даних та ринок кешування індексів даних, що відповідає потребам користувачів у запитах продуктів.
Підграфи ( є основною структурою даних мережі The Graph, що визначає, як витягувати та перетворювати дані з Блокчейн у запитуваний формат. Мережа складається з чотирьох ключових ролей: індексаторів, кураторів, делегаторів та розробників, які спільно забезпечують підтримку даних для веб3 додатків.
The Graph повністю перейшов на децентралізовану службу хостингу підграфів, учасники забезпечують роботу системи через економічні стимули. Нещодавно основна команда розробників екосистеми The Graph Semiotic Labs використала технології штучного інтелекту для оптимізації ціноутворення на індексацію та досвіду запитів користувачів, розробивши такі інструменти, як AutoAgora, Allocation Optimizer та AgentC, що ще більше підвищили інтелектуальність системи та зручність для користувачів.
![Зчитування, індексація до аналізу, короткий опис гонки індексації даних Web3])https://img-cdn.gateio.im/webp-social/moments-cf9a002b9b094fbbe3be7f611001b5c1.webp(
) 3.2 Ланцюгова база
Chainbase є мережею даних усіх блоків, що інтегрує всі дані блокчейну в одну платформу. Його особливі функції включають:
Реальний дата-озеро: надає спеціалізоване дата-озеро для потоків даних Блокчейн.
Подвійна архітектура: побудована на базі Eigenlayer AVS виконавчого шару, що утворює паралельну подвійна архітектура з алгоритмом консенсусу CometBFT.
Інноваційний стандарт формату даних: впровадження стандарту формату даних "manuscripts".
Модель крипто-світу: поєднуючи технології AI-моделей, створюємо AI-модель Theia, здатну розуміти та прогнозувати блокчейн-транзакції.
AI-модель Theia від Chainbase базується на моделі DORA від NVIDIA, поєднуючи аналіз даних на ланцюзі та поза ланцюгом, використовуючи криптографічні моделі, для реагування через причинно-наслідкове мислення, забезпечуючи користувачів інтелектуальними даними послугами.
![Читання, індексація до аналізу, короткий опис сектора індексації даних Web3]###https://img-cdn.gateio.im/webp-social/moments-b343cab5112c1a3d52f4e72122ae0df2.webp(
) 3.3 Простір і Час
Space and Time ###SxT( прагне створити перевірний обчислювальний рівень, розширюючи нульові знання в децентралізованому сховищі даних. Його основна технологія Proof of SQL є інноваційною технологією нульових знань, що забезпечує незмінність і перевірність SQL-запитів, виконуваних у децентралізованому сховищі даних.
SxT співпрацює з лабораторією інновацій Microsoft AI, розробляючи генеративні AI інструменти, що дозволяють користувачам обробляти дані блокчейн за допомогою природної мови. У Space and Time Studio користувачі можуть випробувати введення запитів природною мовою, AI автоматично перетворює їх у SQL і виконує запит.
![Читання, індексація та аналіз, короткий огляд сектора індексації даних Web3])https://img-cdn.gateio.im/webp-social/moments-97443cbd177ac4ffd1665da670ffbf12.webp(
Висновок та перспективи
Технологія індексації даних Блокчейн спочатку починалася з джерел даних ноди, пройшла через розвиток аналізу даних і індексаторів, і врешті-решт еволюціонувала в повноцінний сервіс даних з підтримкою ШІ, пройшовши поступовий процес вдосконалення. Ця постійна еволюція технологій не лише підвищила ефективність та точність доступу до даних, але й принесла користувачам безпрецедентний інтелектуальний досвід.
Прагнучи до майбутнього, з розвитком нових технологій, таких як технології ШІ та нульові докази, послуги блокчейн-даних стануть ще більш інтелектуальними та безпечними. Як інфраструктура, послуги блокчейн-даних продовжать відігравати важливу роль у прогресі та інноваціях в галузі.
![Читання, індексація до аналізу, короткий опис сектора індексації даних Web3])https://img-cdn.gateio.im/webp-social/moments-0742180b7da8a9dcddafc465a4dba9cb.webp(
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
11 лайків
Нагородити
11
6
Репост
Поділіться
Прокоментувати
0/400
BtcDailyResearcher
· 19год тому
Всі дані блокчейну хоч і дивовижні, але не можуть зрівнятися з ростом ціни монети.
Переглянути оригіналвідповісти на0
ZKSherlock
· 19год тому
насправді... тут серйозно недооцінюються наслідки конфіденційності індексації блокчейну на базі ШІ. де архітектура zkp?
Переглянути оригіналвідповісти на0
gas_guzzler
· 19год тому
Слухаєш, і вже втомлюєшся. Нода не працює.
Переглянути оригіналвідповісти на0
DarkPoolWatcher
· 19год тому
Відсутність центра не має сенсу
Переглянути оригіналвідповісти на0
FlashLoanKing
· 19год тому
Ще одна стаття про розкрутку ШІ.
Переглянути оригіналвідповісти на0
DefiEngineerJack
· 19год тому
*сумно* ще один наївний погляд на індексацію даних... покажіть мені фактичні бенчмарки, сер
Історія еволюції індексації даних Блокчейн: від Нод до AI-уповноваженої повноцінної бази даних
Еволюція індексації даних Блокчейн: від Ноди до повноцінної AI бази даних
1. Вступ
З моменту появи перших децентралізованих застосунків (dApp) у 2017 році, екосистема Блокчейн значно розвинулася, з'явилося безліч фінансових, ігрових та соціальних dApp на основі різних Блокчейн. Однак, різні джерела даних, на які покладаються ці застосунки під час взаємодії, заслуговують на глибше осмислення.
У 2024 році штучний інтелект та Web3 стануть гарячими темами. У сфері ШІ дані є джерелом життя, що рухає навчанням і еволюцією системи. Без масивних даних навіть найвишуканіші алгоритми ШІ не зможуть реалізувати свій потенціал.
Ця стаття детально аналізує еволюцію індексації даних у процесі розвитку галузі з точки зору доступності даних Блокчейн. Ми також порівняємо традиційний протокол індексації даних The Graph з новими протоколами Блокчейн-сервісів Chainbase та Space and Time, обговорюючи схожості та відмінності цих нових протоколів, що поєднують технології ШІ в сфері даних та архітектури продуктів.
2. Еволюція індексації даних: від нод Блокчейн до повноцінної бази даних
2.1 Джерело даних: Блокчейн Нода
Блокчейн називається децентралізованою бухгалтерською книгою, а нода є основою цієї мережі. Кожна нода зберігає повну копію даних блокчейну, забезпечуючи децентралізовані характеристики мережі. Однак для звичайних користувачів створення та обслуговування нод не лише має високий технічний бар'єр, але й вимагає нести дорогі витрати на апаратуру та пропускну здатність.
Щоб вирішити цю проблему, з'явилися постачальники RPC-нод. Вони відповідають за експлуатацію нод, надаючи користувачам доступ до даних через RPC-інтерфейси. Хоча публічні RPC-інтерфейси безкоштовні, вони мають обмеження швидкості, що може вплинути на досвід користувачів dApp. Приватні RPC-інтерфейси, хоча мають кращу продуктивність, все ж не відрізняються високою ефективністю для складних запитів і важко масштабуються через мережі. Незважаючи на це, стандартизований API інтерфейс постачальників нод знизив бар'єри для користувачів щодо доступу до даних на блокчейні, заклавши основу для подальшої обробки даних і застосувань.
2.2 Аналіз даних: від сирих даних до придатних для використання даних
Дані, що надаються нодами блокчейну, зазвичай проходять процеси шифрування та кодування, хоча це забезпечує цілісність і безпеку даних, однак також ускладнює їх розшифровку. Для звичайних користувачів та розробників безпосередня робота з цими даними вимагає значних професійних знань та обчислювальних ресурсів.
Отже, процес аналізу даних стає надзвичайно важливим. Перетворюючи складні сирі дані в зрозумілий і зручний для використання формат, користувачі можуть більш інтуїтивно використовувати ці дані. Якість аналізу даних безпосередньо впливає на ефективність і результати застосування даних Блокчейн, є ключовим етапом у всьому процесі індексації даних.
2.3 Еволюція індексатора даних
З ростом обсягу даних Блокчейн, потреба в індексаторах стає дедалі більш нагальною. Індексатори відповідають за організацію даних на ланцюгу та їх зберігання в базі даних для запитів. Вони індексують дані Блокчейн і надають запитувальну мову, схожу на SQL (, таку як GraphQL ) інтерфейс, що робить дані завжди доступними. Індексатори надають розробникам єдиний інтерфейс запиту, що значно спрощує процес отримання даних.
Різні типи індексаторів мають свої переваги:
Наразі зберігання даних еталонних вузлів Ethereum в різних клієнтах варіюється від 3TB до 13.5TB. В умовах такої великої кількості даних, основні протоколи індексації підтримують не тільки багатоланцюговий індекс, але й налаштовують рамки解析 даних відповідно до різних потреб застосувань, такі як "підграф" The Graph (Subgraph).
Поява індексаторів значно підвищила ефективність індексації та запитів даних. На відміну від традиційних RPC-інтерфейсів, індексатори можуть ефективно обробляти величезні обсяги даних, підтримуючи складні запити та фільтрацію даних. Деякі індексатори також підтримують агрегацію джерел даних з кількох блокчейнів, що усуває проблему необхідності розгортання кількох API для багатоланкових dApp. Завдяки розподіленій роботі індексатори не лише забезпечують більшу безпеку та продуктивність, а й знижують ризик перерв, які можуть виникнути через централізованих постачальників RPC.
2.4 Всі ланцюги бази даних: перехід до режиму пріоритету потоку
З розвитком все більш складних вимог до застосувань, первинні індексатори даних та їх стандартизовані формати індексації поступово перестають задовольняти різноманітні запити, такі як кросчейн доступ або мапування даних поза ланцюгом.
У сучасній архітектурі даних "потоковий пріоритет" став рішенням для обмежень традиційної пакетної обробки, що дозволяє реалізувати обробку та аналіз даних у реальному часі. Постачальники даних Блокчейн також розвиваються в напрямку створення потоків даних, таких як Substreams від The Graph, Mirror від Goldsky, а також реальні озера даних, які пропонують Chainbase та SubSquid.
Ці послуги призначені для задоволення потреб у реальному аналізі транзакцій Блокчейн та всебічному запитуванні. Переглядаючи виклики даних на ланцюгу з точки зору сучасних даних, ми можемо по-новому оцінити потенціал управління, зберігання та надання даних. Вважаючи індексатором потік даних, а не кінцевий вихід, ми можемо уявити можливість створення високопродуктивних наборів даних, адаптованих до будь-яких бізнес-випадків.
3. AI + База даних: глибоке порівняння The Graph, Chainbase та Space and Time
3.1 Граф
Мережа The Graph надає послуги індексації та запиту даних міжмережевих через децентралізовану мережу нод. Її основні продукти включають ринок виконання запитів даних та ринок кешування індексів даних, що відповідає потребам користувачів у запитах продуктів.
Підграфи ( є основною структурою даних мережі The Graph, що визначає, як витягувати та перетворювати дані з Блокчейн у запитуваний формат. Мережа складається з чотирьох ключових ролей: індексаторів, кураторів, делегаторів та розробників, які спільно забезпечують підтримку даних для веб3 додатків.
The Graph повністю перейшов на децентралізовану службу хостингу підграфів, учасники забезпечують роботу системи через економічні стимули. Нещодавно основна команда розробників екосистеми The Graph Semiotic Labs використала технології штучного інтелекту для оптимізації ціноутворення на індексацію та досвіду запитів користувачів, розробивши такі інструменти, як AutoAgora, Allocation Optimizer та AgentC, що ще більше підвищили інтелектуальність системи та зручність для користувачів.
![Зчитування, індексація до аналізу, короткий опис гонки індексації даних Web3])https://img-cdn.gateio.im/webp-social/moments-cf9a002b9b094fbbe3be7f611001b5c1.webp(
) 3.2 Ланцюгова база
Chainbase є мережею даних усіх блоків, що інтегрує всі дані блокчейну в одну платформу. Його особливі функції включають:
AI-модель Theia від Chainbase базується на моделі DORA від NVIDIA, поєднуючи аналіз даних на ланцюзі та поза ланцюгом, використовуючи криптографічні моделі, для реагування через причинно-наслідкове мислення, забезпечуючи користувачів інтелектуальними даними послугами.
![Читання, індексація до аналізу, короткий опис сектора індексації даних Web3]###https://img-cdn.gateio.im/webp-social/moments-b343cab5112c1a3d52f4e72122ae0df2.webp(
) 3.3 Простір і Час
Space and Time ###SxT( прагне створити перевірний обчислювальний рівень, розширюючи нульові знання в децентралізованому сховищі даних. Його основна технологія Proof of SQL є інноваційною технологією нульових знань, що забезпечує незмінність і перевірність SQL-запитів, виконуваних у децентралізованому сховищі даних.
SxT співпрацює з лабораторією інновацій Microsoft AI, розробляючи генеративні AI інструменти, що дозволяють користувачам обробляти дані блокчейн за допомогою природної мови. У Space and Time Studio користувачі можуть випробувати введення запитів природною мовою, AI автоматично перетворює їх у SQL і виконує запит.
![Читання, індексація та аналіз, короткий огляд сектора індексації даних Web3])https://img-cdn.gateio.im/webp-social/moments-97443cbd177ac4ffd1665da670ffbf12.webp(
Висновок та перспективи
Технологія індексації даних Блокчейн спочатку починалася з джерел даних ноди, пройшла через розвиток аналізу даних і індексаторів, і врешті-решт еволюціонувала в повноцінний сервіс даних з підтримкою ШІ, пройшовши поступовий процес вдосконалення. Ця постійна еволюція технологій не лише підвищила ефективність та точність доступу до даних, але й принесла користувачам безпрецедентний інтелектуальний досвід.
Прагнучи до майбутнього, з розвитком нових технологій, таких як технології ШІ та нульові докази, послуги блокчейн-даних стануть ще більш інтелектуальними та безпечними. Як інфраструктура, послуги блокчейн-даних продовжать відігравати важливу роль у прогресі та інноваціях в галузі.
![Читання, індексація до аналізу, короткий опис сектора індексації даних Web3])https://img-cdn.gateio.im/webp-social/moments-0742180b7da8a9dcddafc465a4dba9cb.webp(