Annoncé en mai 2025 : Dataproc Serverless est désormais Google Cloud Serverless pour Apache Spark
Google Cloud Serverless pour Apache Spark
Concentrez-vous sur le code plutôt que sur l'infrastructure
Exécutez vos jobs Apache Spark plus facilement sur une plate-forme personnalisable sans opérations, plus intelligemment avec l'aide de Gemini et plus rapidement grâce aux performances de Lightning Engine.
Apache Spark est une marque de l'Apache Software Foundation.
Points forts du produit
Aucune gestion de cluster, démarrage rapide et autoscaling
Obtenez des requêtes 4,3 fois plus rapides avec Lightning Engine
Accélérez la productivité et les opérations avec Gemini
S'intégrer parfaitement à BigQuery et Vertex AI
Entièrement compatible avec les logiciels Open Source
Fonctionnalités
Des performances de pointe
Optimisez vos jobs avec Lightning Engine, notre moteur vectorisé nouvelle génération. Obtenez des performances plus de 4,3 fois supérieures et réduisez le coût total de possession de vos charges de travail Spark sans serveur, automatiquement.
Zéro opération avec l'autoscaling intelligent
Éliminez la gestion des clusters grâce à l'autoscaling intelligent. Les ressources font automatiquement l'objet d'un scaling à la hausse ou à la baisse pour s'adapter parfaitement aux besoins de votre job, ce qui garantit des performances et une rentabilité maximales, sans que vous ayez à payer pour les périodes d'inactivité.
Développement optimisé par l'IA
Accélérez l'ensemble de votre workflow. Écrivez et déboguez du code PySpark, Scala et Java avec Gemini Code Assist dans BigQuery Studio, et lancez des environnements accélérés par GPU avec des environnements d'exécution de ML préconfigurés.
Expérience Spark et SQL unifiée
Éliminez les changements de contexte. Développez et exécutez vos charges de travail dans un environnement unique comme BigQuery Studio, en combinant de manière fluide la puissance de SQL et la flexibilité de PySpark dans le même notebook.
Deux niveaux de performances
| Deux niveaux de performances | Des niveaux adaptés à vos besoins spécifiques, du traitement par lot standard aux jobs les plus exigeants et critiques en termes de performances. |
|---|---|
| Niveau | Application idéale |
Standard | Idéal pour le traitement par lot économique, les transformations de données et les jobs Spark à usage général.
|
Premium | Offre des performances optimales pour les charges de travail les plus exigeantes avec Lightning Engine, l'accélération de l'IA/du ML et des fonctionnalités interactives.
|
Deux niveaux de performances
Des niveaux adaptés à vos besoins spécifiques, du traitement par lot standard aux jobs les plus exigeants et critiques en termes de performances.
Standard
Idéal pour le traitement par lot économique, les transformations de données et les jobs Spark à usage général.
- ETL Spark à usage général
- Pipelines de données planifiés
- Jobs par lot économiques
Premium
Offre des performances optimales pour les charges de travail les plus exigeantes avec Lightning Engine, l'accélération de l'IA/du ML et des fonctionnalités interactives.
- Jobs critiques optimisés par Lightning Engine pour des performances 4,3 fois supérieures
- Data science et analyses interactives
- IA et ML accélérés par GPU
- Traitement de données complexes à grande échelle
Utilisations courantes
Data science interactive
Data science interactive
Permettez aux data scientists d'explorer les données et d'itérer rapidement les modèles de ML Spark. Unifiez SQL et Spark dans un seul notebook BigQuery Studio, en passant facilement de l'exploration de données avec SQL à la création de modèles avec PySpark, sans jamais avoir à gérer l'infrastructure.
Tutoriels, guides de démarrage rapide et ateliers
Data science interactive
Data science interactive
Permettez aux data scientists d'explorer les données et d'itérer rapidement les modèles de ML Spark. Unifiez SQL et Spark dans un seul notebook BigQuery Studio, en passant facilement de l'exploration de données avec SQL à la création de modèles avec PySpark, sans jamais avoir à gérer l'infrastructure.
Tarification
| Une tarification transparente et axée sur la valeur | Les tarifs de Serverless pour Apache Spark sont basés sur une utilisation à la seconde des ressources de calcul (DCUs), des GPU et de l'espace de stockage aléatoire. | |
|---|---|---|
| Services et utilisation | Type d'abonnement | Prix (USD) |
Unité de calcul de données (DCU) | Standard | À partir de 0,06 $ par heure |
Premium | À partir de 0,089 $ par heure | |
Espace de stockage aléatoire | Standard | À partir de 0,04 $ par Go-mois |
Premium | À partir de 0,1 $ par Go-mois | |
Tarifs des accélérateurs | a100 40 Go | À partir de 3,52069 $ par heure |
a100 80 Go | À partir de 4,713696 $ par heure | |
L4 | À partir de 0,672048 $ par heure | |
Consultez le détail des tarifs de l'infrastructure sans serveur de Google Cloud pour Apache Spark.
Une tarification transparente et axée sur la valeur
Les tarifs de Serverless pour Apache Spark sont basés sur une utilisation à la seconde des ressources de calcul (DCUs), des GPU et de l'espace de stockage aléatoire.
Unité de calcul de données (DCU)
Standard
Starting at
0,06 $
par heure
Premium
Starting at
0,089 $
par heure
Espace de stockage aléatoire
Standard
Starting at
0,04 $
par Go-mois
Premium
Starting at
0,1 $
par Go-mois
Tarifs des accélérateurs
a100 40 Go
Starting at
3,52069 $
par heure
a100 80 Go
Starting at
4,713696 $
par heure
L4
Starting at
0,672048 $
par heure
Consultez le détail des tarifs de l'infrastructure sans serveur de Google Cloud pour Apache Spark.
Cas d'utilisation métier
Élaborez votre cas d'utilisation métier pour Google Cloud Serverless pour Apache Spark
Avantages économiques de Google Cloud Dataproc et Spark sans serveur par rapport aux autres solutions
Découvrez comment Serverless pour Apache Spark permet de réaliser des économies considérables sur le coût total de possession et de générer de la valeur commerciale par rapport aux solutions sur site et aux autres solutions cloud.
Dans le rapport :
Découvrez comment Dataproc et Serverless pour Apache Spark peuvent permettre de réaliser des économies de 18 % à 60 % par rapport aux autres solutions cloud Spark.
Découvrez comment Google Cloud Serverless pour Apache Spark peut offrir une amélioration du rapport prix/performances de 21 à 55 % par rapport à d'autres offres Spark sans serveur.
Découvrez comment Dataproc et Google Cloud Serverless pour Apache Spark simplifient les déploiements Spark et contribuent à réduire la complexité opérationnelle.
Questions fréquentes
Quand dois-je choisir Serverless pour Apache Spark plutôt que Dataproc ?
Choisissez Serverless pour Apache Spark si vous souhaitez vous concentrer sur votre code et éliminer toute gestion de l'infrastructure. Cette solution est idéale pour les nouveaux pipelines Spark, les analyses interactives et les jobs dont la demande est imprévisible et pour lesquels la rapidité et la simplicité sont prioritaires.
Dois-je installer mes propres bibliothèques comme PyTorch ou XGBoost ?
Le niveau Premium est conçu pour l'IA/le ML et inclut des environnements d'exécution de ML préconfigurés qui intègrent des bibliothèques courantes telles que PyTorch, XGBoost et scikit-learn. Cela élimine la complexité liée à la configuration et vous permet de lancer vos charges de travail de data science en quelques minutes.
Découvrez les charges de travail et les environnements d'exécution GPU.
Comment obtenir les meilleures performances et comment fonctionne la tarification ?
Pour des performances optimales, vous pouvez sélectionner le niveau Premium qui est optimisé par Lightning Engine. La tarification repose sur un modèle de paiement à l'usage, dans lequel la facturation s'effectue à la seconde uniquement pendant la durée d'exécution de votre job. Cette approche est très rentable, car elle élimine les coûts liés aux clusters inactifs.
