Еженедельный выпуск Databend с открытым исходным кодом 117

От данных к применению больших моделей: 25 ноября в Ханчжоу прошла конференция Yuanchuang, на которой были обменяны советами по разработке.

Databend — современное облачное хранилище данных. Создан для обеспечения гибкости и эффективности для удовлетворения ваших потребностей в крупномасштабном анализе. Бесплатный и с открытым исходным кодом. Испытайте облачный сервис прямо сейчас: https://app.databend.cn .

Что происходит в Databend

Изучите новые разработки Databend на этой неделе и познакомьтесь с Databend, который ближе вашему сердцу.

Предварительный просмотр функции: ПРИСОЕДИНИТЬ ТАБЛИЦУ только для чтения

Для нескольких крупномасштабных запросов необходимо поддерживать большое количество резидентных ресурсов, что приводит к высоким затратам на обслуживание для предприятия. Как совместить локальные и облачные рабочие нагрузки и использовать мгновенную масштабируемость Databend Cloud, чтобы еще больше сократить количество резидентных частных экземпляров и сократить расходы на обслуживание, обеспечивая при этом надежность запросов?

Недавно Databend предоставила возможность ATTACH TABLE только для чтения, что позволяет пользователям, которые развертывают Databend локально, обмениваться данными таблицы с Databend Cloud только для чтения:

Все данные таблицы доступны только для чтения.
Изменения таблиц, включая изменения данных и схемы, выполняются и отслеживаются на локальной платформе пользователя.

ATTACH TABLE <target_table_name> '<source-table-data-URI>' CONNECTION=(<connection_parameters>) READ_ONLY

При ATTACH TABLEдобавлении параметра к оператору целевая таблица будет использовать последний файл подсказок моментального снимка READ_ONLY, хранящийся в указанных данных исходной таблицы, для сопоставления данных и структуры таблицы, а доступ к целевой таблице можно будет получить только в режиме только для чтения.URI

Если вы хотите узнать больше, свяжитесь с командой Databend или посетите ресурсы, перечисленные ниже.

Уголок кода

Давайте рассмотрим фрагменты кода или проекты в Databend и окружающей экосистеме.

Используйте OpenTelemetry Collector для замены агента Jaeger

Jaeger — это комплексный распределенный инструмент отслеживания с открытым исходным кодом от Uber, который помогает отслеживать и устранять неполадки в приложениях на основе микросервисов.

Из-за изменений порта в последнем образе Docker All-in-One от Jaeger исходная возможность распределенной трассировки недействительна. Вышестоящая компания также рассматривает возможность прекращения поддержки opentelemetry-jaeger и поощрения пользователей к переходу на opentelemetry-otlp , см. Рассмотрение возможности прекращения поддержки opentelemetry-jaeger #995 .

Databend активно отреагировал на восходящий вызов. Восстанавливая доступность возможностей распределенной трассировки, он opentelemetry-otlpреконструировал исходный механизм экспорта трассировки, используя соответствующие переменные среды, также были изменены на DATABEND_OTEL_EXPORTER_OTLP_ENDPOINT.

Если вы хотите узнать больше, посетите ресурсы, перечисленные ниже.

Основные моменты

Вот несколько примечательных событий, возможно, вы найдете что-то интересное.

Добавлена функция таблицы quantile_tdigest_weighted.
Recluster поддерживает распределенное выполнение.
DELETEОператоры поддерживают псевдонимы таблиц.
SQLsmith поддерживает REPLACE INTOи HINT. Прочтите последний блог «Использование рандомизированного тестирования с помощью SQLsmith для выявления ошибок», чтобы узнать о конструкции SQLsmith компании Databend.
Добавлены новые операторы JSON ->, ->>и #>. #>>Прочтите документацию | Операторы JSON , чтобы узнать больше об этом.

Что дальше

Мы всегда открыты для передовых технологий и инновационных идей и приглашаем вас присоединиться к сообществу и вдохнуть жизнь в Databend.

Определение поддержки`CONNECTION`

Чтобы более элегантно управлять сопоставлением ролей пользователей между моделями контроля доступа экземпляров вычислительного кластера и службами хранения, Databend планирует предоставить CONNECTIONвозможность определения и управления.

CONNECTION может сохранять учетные данные и объекты управления доступом (IAM), созданные внешними службами хранения, обеспечивая удобный и последовательный контроль доступа. Кроме того, введение CONNECTIONтакже может упростить сложные конфигурации в таких процессах, как создание STAGE.

Спецификации эталонного синтаксиса следующие:

CREATE CONNECTION [IF NOT EXISTS]
    ENDPOINT_URL = 'http://localhost:9000',
    ACCESS_KEY_ID = 'ROOTUSER',
    SECRET_ACCESS_KEY = 'CHANGEME123'
...

Выпуск № 13489 | подвиг: СОЗДАТЬ СОЕДИНЕНИЕ

Если вам интересна эта тема, вы можете попробовать решить некоторые проблемы или поучаствовать в дискуссиях и PR-обзорах. Кроме того, вы можете нажать на https://link.databend.rs/im-feeling-lucky , чтобы выбрать случайный вопрос, удачи!

Журнал изменений

Ознакомьтесь с журналом изменений ежедневных сборок Databend, чтобы быть в курсе последних событий.

Адрес: https://github.com/datafuselabs/databend/releases

Авторы

Большое спасибо авторам за их прекрасную работу на этой неделе.

Связаться с нами

Databend — это гибкое и недорогое новое хранилище данных с открытым исходным кодом, основанное на объектном хранилище, которое также может выполнять анализ в реальном времени. Мы с нетерпением ждем вашего внимания и совместного изучения облачных решений для хранения данных, чтобы создать новое поколение облака данных с открытым исходным кодом.