HF Storage Buckets for Spark

API: новая интеграция от Hugging Face для оптимизированного доступа к AI-датасетам через Apache Spark.

Инструмент позволяет эффективно считывать и обрабатывать данные напрямую из хранилищ Hugging Face. Решение предназначено для инженеров данных, которым требуется высокая производительность при работе с крупными ML-датасетами в Spark-кластерах.

Источник: @huggingface, 15-04-2026