Вчера я засыпал не в лучшем состоянии.
С тяжёлыми мыслями о будущем, с жуткой головной и зубной болью. Я не знал, что принесёт новое утро. Просто понадеялся на чудо, помолился и лёг спать.
И утром чудо действительно случилось.
Головную и зубную боль как рукой сняло. За это огромное спасибо моей жене Виктории и моему дантисту Алине — её золотым рукам, вниманию и искреннему переживанию за моё здоровье.
Но это утро подарило мне ещё одно чудо. Уже совсем другого масштаба.
Cubrim наконец-то вышел на первые места в мировых бенчмарках по сжатию данных.
Для меня это не просто техническая новость. Это история, которая началась много лет назад.
Идея, которая захватила меня в студенчестве
Ещё в студенчестве я был одержим идеей, что смогу решить одну из фундаментальных практических алгоритмических задач — задачу сжатия данных.
Есть несколько направлений, которые можно назвать базовыми столпами прикладных алгоритмов: поиск данных, сортировка данных и сжатие данных.
Поиск и сортировка казались мне тогда слишком большими, слишком зрелыми и слишком далёкими от того, где я чувствовал свою силу. А вот сжатие данных меня буквально захватило. Мне всегда казалось, что человечество ещё не до конца исследовало эту область. Что где-то там, за существующими алгоритмами, есть другие подходы. Более сильные, более красивые, более универсальные.
Я думал об этом днями и ночами.
Иногда просыпался среди ночи с очередной «гениальной» идеей, быстро записывал её, а потом, уже при реализации на компьютере, понимал, что придумал велосипед. Или просто плохой алгоритм. Или идею, которая красиво звучит в голове, но разваливается при первом же столкновении с реальными данными.
Но я продолжал.
Через много месяцев таких экспериментов у меня появились идеи, которые я уже не мог до конца осмыслить. Честно скажу: это было очень сложно. Да, у меня математическое образование, но моей подготовки всё равно не хватало. А ещё тогда не было ни вычислительных мощностей, ни инструментов, ни помощников, которые могли бы за разумное время проверить мои гипотезы.
И я отложил эти идеи «на потом».
Прошли годы.
И это «потом» наконец наступило
К нам пришли агенты искусственного интеллекта. И для исследователей, которые годами носят в голове сложные идеи, это настоящее спасение.
Потому что теперь рядом есть не просто инструмент, который выполняет команды. Есть помощники, которые могут реализовывать гипотезы, проверять варианты, искать ошибки, предлагать другие ходы, спорить с тобой, улучшать код, проводить эксперименты и делать то, на что раньше у одного человека просто не хватало жизни.
Так появился мой новый продукт в экосистеме Arcanada.
Он называется Cubrim. По-русски — Кубрим.
Cubrim — это локальный архиватор данных. Первым делом я реализовал в нём свою старую идею в области архивации. И она заработала. Она действительно дала результат по сжатию.
Но чтобы понять, насколько этот результат хорош, нужно было сделать гораздо больше, чем просто написать алгоритм.
Нужно было разобраться, как сегодня в мире сравнивают архиваторы. Какие существуют бенчмарки. Как устроены наборы тестовых данных. Какие метрики считаются важными. Где заканчивается «кажется, хорошо» и начинается честное сравнение с мировыми лидерами.
Я нашёл три ведущих бенчмарка, на которые решил ориентироваться. Воспроизвёл их на своём мощном выделенном сервере и начал гонять Cubrim на этих данных.
Настоящая исследовательская работа
Дальше началась настоящая исследовательская работа.
Я оптимизировал алгоритм. Менял подходы к хранению матриц разворачивания. Пересматривал анализ данных. Искал новые способы обработки. Проверял гипотезы одну за другой.
Постепенно позиции начали улучшаться.
Сначала Cubrim был на десятом месте. Потом на девятом. Потом на восьмом. Потом на седьмом.
Шаг за шагом он начал догонять и обгонять лидеров.
Параллельно работали десятки агентов, которые исследовали мои гипотезы. Сейчас таких гипотез уже больше восьмидесяти. Большинство из них опубликованы на сайте. Там же можно увидеть весь прогресс развития архиватора, результаты экспериментов и движение Cubrim по мировым бенчмаркам.
И сегодня произошло то самое чудо
Накопленные гипотезы, которые требовали долгого времени на обсчёт, наконец были завершены. Был опубликован свежий рейтинг бенчмарков.
И оказалось, что Cubrim уже занимает первые места в нескольких ключевых сравнениях. В одном бенчмарке он вышел на первое место. В других — на второе. А по большинству отдельных типов данных Cubrim находится на первом или втором месте.
Для меня это очень сильный момент.
Конечно, впереди ещё много работы. Я вижу, где можно улучшать результат. Хочется добиться первого места по каждому значимому показателю. Хочется сделать архиватор не только сильным, но и быстрым, стабильным, удобным, промышленным.
Но даже текущий результат уже очень важен.
Потому что он доказывает для меня одну простую вещь: агенты искусственного интеллекта нужны не только для того, чтобы быстро собрать очередной MVP или Proof of Concept.
С их помощью можно реализовывать старые мечты.
Те идеи, которые много лет лежали в голове, в блокнотах, в старых файлах, в незавершённых проектах. Те исследования, которые раньше казались слишком сложными для одного человека. Те задачи, которые требовали команды, бюджета, времени, серверов, терпения и десятков попыток.
Теперь это становится возможно.
Почему Cubrim вообще важен для меня
Мне нужен собственный носитель данных для Arcanada. Внутри экосистемы будет слишком много данных. Они будут храниться распределённо, на разных серверах, в разных средах, в разных форматах. Мне нужен архиватор, который будет принадлежать этой экосистеме. Желательно — быстрый, сильный и независимый.
Я не начинал Cubrim с идеей «победить всех». Мне было достаточно создать собственный алгоритм, который реально сжимает данные и за который не нужно платить чужую лицензию.
Cubrim будет бесплатным для частных пользователей. Скоро я планирую выложить его для скачивания на сайте. Для коммерческого использования будет отдельная лицензия — ориентировочно в пределах 30–50 долларов в год за рабочее место.
Но сейчас даже это не главная цель.
Главная идея Cubrim гораздо шире
Та самая идея, которую я придумал ещё в студенческие годы, касается не просто локального архиватора. Она касается глобального сжатия данных, глобальной адресации данных и передачи огромных объёмов информации на огромные расстояния.
В том числе — на космические расстояния.
Или в условиях критически плохой радиосвязи.
Этот проект мы развиваем вместе с моей дочерью Екатериной. Она инженер аэрокосмической техники, и для меня это особенно ценно. Потому что Cubrim постепенно превращается не просто в архиватор, а в исследовательский проект о будущем хранения, передачи и адресации данных.
Этой теме будет посвящена вторая статья цикла.
В ней я расскажу о Глобальном Адресаторе и Универсальных Таблицах Данных Валентовых — о той части Cubrim, где начинается уже не просто сжатие файлов, а попытка по-новому посмотреть на передачу данных в мире, где расстояния, каналы связи и объёмы информации становятся критическими ограничениями.
А третья статья будет посвящена более прикладной стороне: алгоритмам Cubrim, рынку архиваторов и тому, как вообще можно монетизировать такие технологии в современном мире.
Сегодня же я просто хочу поделиться радостью
Мечты действительно иногда сбываются.
Не всегда быстро. Не всегда так, как мы ожидаем. Иногда им нужно пролежать в голове много лет, дождаться правильного времени, правильных инструментов, правильных людей и правильной боли.
Но если идея живая — она возвращается.
И сегодня для меня Cubrim стал именно таким возвращением.
Спасибо, что следите за моими новостями.