Identifiez-vous pour voir le profil complet de César
ou
Déjà sur LinkedIn ? S’identifier
En cliquant sur Continuer pour vous inscrire ou vous identifier, vous acceptez les Conditions d’utilisation, la Politique de confidentialité et la Politique relative aux cookies de LinkedIn.
Identifiez-vous pour voir le profil complet de César
ou
Déjà sur LinkedIn ? S’identifier
En cliquant sur Continuer pour vous inscrire ou vous identifier, vous acceptez les Conditions d’utilisation, la Politique de confidentialité et la Politique relative aux cookies de LinkedIn.
Paris, Île-de-France, France
Identifiez-vous pour voir le profil complet de César
César peut vous mettre en relation avec plus de 10 personnes chez Devoteam
S’inscrire avec une adresse e-mail
ou
Déjà sur LinkedIn ? S’identifier
En cliquant sur Continuer pour vous inscrire ou vous identifier, vous acceptez les Conditions d’utilisation, la Politique de confidentialité et la Politique relative aux cookies de LinkedIn.
1 k abonnés
+ de 500 relations
Identifiez-vous pour voir le profil complet de César
ou
Déjà sur LinkedIn ? S’identifier
En cliquant sur Continuer pour vous inscrire ou vous identifier, vous acceptez les Conditions d’utilisation, la Politique de confidentialité et la Politique relative aux cookies de LinkedIn.
Voir les relations en commun avec César
César peut vous mettre en relation avec plus de 10 personnes chez Devoteam
S’inscrire avec une adresse e-mail
ou
Déjà sur LinkedIn ? S’identifier
En cliquant sur Continuer pour vous inscrire ou vous identifier, vous acceptez les Conditions d’utilisation, la Politique de confidentialité et la Politique relative aux cookies de LinkedIn.
Voir les relations en commun avec César
ou
Déjà sur LinkedIn ? S’identifier
En cliquant sur Continuer pour vous inscrire ou vous identifier, vous acceptez les Conditions d’utilisation, la Politique de confidentialité et la Politique relative aux cookies de LinkedIn.
Identifiez-vous pour voir le profil complet de César
ou
Déjà sur LinkedIn ? S’identifier
En cliquant sur Continuer pour vous inscrire ou vous identifier, vous acceptez les Conditions d’utilisation, la Politique de confidentialité et la Politique relative aux cookies de LinkedIn.
À propos
Bon retour parmi nous
En cliquant sur Continuer pour vous inscrire ou vous identifier, vous acceptez les Conditions d’utilisation, la Politique de confidentialité et la Politique relative aux cookies de LinkedIn.
Nouveau sur LinkedIn ? Inscrivez-vous maintenant
Activité
1 k abonnés
-
César CLAVÉ a partagé ceciYour dbt job runs every hour. ⏱️ But most of your data hasn't changed. Result: you're rebuilding models for nothing. 📉 ❌ Wasted compute ❌ Longer pipelines ❌ Consumers seeing a build with no fresh data This is exactly what State-Aware Orchestration on dbt Platform with Fusion solves. 🚀 The idea is straightforward: only build what actually changed. 💡 Take a dbt project with 3 sources: 🔹 A products table (new data every ~6h) 🔹 A customers table (new data every ~3h) 🔹 An orders table (new data every ~30min) Your production job runs every hour. ⚠️ Without State-Aware Orchestration: every run rebuilds all models. Even the ones where sources haven't moved. ✅ With Fusion: dbt automatically detects whether code or data has changed before triggering a build. If nothing changed, the model is reused. And guess what? It also works on the testing side. Fewer unnecessary queries, less compute, same coverage. ⚡ You want to try yourself? (needs dbt Fusion) 🛠️ -> Here is the link to my repo: https://lnkd.in/eKbK744y Special thanks to Katie Brown and Hicham Babahmed for the Technical Enablement webinar that helped me dig deeper into this. 🙏 If you have dbt jobs running "for nothing" half the time, look into State-Aware Orchestration. The savings in compute and clarity are real. 💎 #dbtLabs #dbtFusion #Snowflake #DataEngineering #Analytics #StateAwareOrchestration #PartnerMomentumChallenge
-
César CLAVÉ a partagé ceciReady to take your dbt project from dev to production-ready 🚀 In Part 2 of my hands-on dbt series, I explore how to enrich your project with the features that matter most for reliability and trust: ✅ In-depth documentation ✅ Automated data tests ✅ Source freshness monitoring See how these elements come together visually in the dbt Catalog to give you a complete picture of your data's health. Read it now: https://lnkd.in/eiyA_Pwa dbt Labs Snowflake #AnalyticsEngineering #DataEngineering #dbt #dbtPlatform #Snowflake
-
César CLAVÉ a partagé ceciSo glad to be part of this group of dbt Architect certification winners! 🥂 Thanks dbt Labs for the support and the amazing vest !César CLAVÉ a partagé ceciHelp us celebrate our Winter Quest for the Vest winners from across the dbt Labs partner ecosystem 👏 These individuals went above and beyond to earn their dbt Architect certification: • Alexander Lecocq – Senior Consultant, Analytics8 | Data & Analytics Consultancy • André Pegoraro Neto – Analytics Engineer, Indicium AI • Aniruddha Aggarwal – Senior Consultant, Analytics8 | Data & Analytics Consultancy • Carlos Manuel Perales Gómez – Data Engineer, Cívica • César CLAVÉ – Data Engineer, Devoteam • Daniel Eduardo Rivero Jiménez – Analytics Engineer, SDG Group • David Aas Correia – Manager & Senior Consultant, Crayon Consulting • Elmo Pimentel – Data Engineer, Vivanti Consulting • Victoria Gallerano – CEO, Dynamic Data • Marko Laitinen – Data Engineer, Recordly • Meagan Palmer – Principal Consultant, Altis Consulting • Michael Carlone – Director, Analytics Engineering, Brooklyn Data (Velir's data studio) • Oscar Siauw – Sr Consultant, Slalom • Simon Hannemann – Head of Marketing Science, Hopmann Marketing Analytics GmbH • Tero Toropainen – Senior Consultant, Twoday • Thomas FRANCOIS-RAKETAMANGA – Data Engineer, SFEIR • William Guicheney – Principal Analytics Engineer, Aimpoint Digital The dbt Architect exam assesses your ability to design secure, scalable dbt implementations, with a focus on environment orchestration, role-based access control, integrations with other tools, and collaborative development workflows aligned with best practices. Congratulations and thank you to all of our partners who joined the quest and raised the bar for dbt best practices.
-
César CLAVÉ a republié ceciCésar CLAVÉ a republié ceciDSP pour Devoteam Snowflake Partner... Et oui, encore, nous continuons notre belle histoire et ouvrons à nouveau 40 postes. Allan SOUHARD ne sait plus où donner de la tête, mais c'est pour son plus grand plaisir. Avec Thomas CHHUN Tanguy Maréchal Maxime Argentin 💡Frédéric Adet, on est là pour partager sur nos projets respectifs. Pourquoi rejoindre l'équipe maintenant ? Pour les plus belles des raisons : - Nous venons juste d'être nommés partenaire dbt Labs Visionary, le plus haut niveau de partenariat, premier en France - Toujours à la pointe de l'innovation avec notre tout dernier badge Snowflake #CortexCode #PreferredPartner Data Product Owners, Tech Leads, Data Architects, Analytics Engineer, vous voulez grandir à nos côtés et aux côtés de nos partenaires Snowflake, dbt Labs, Fivetran Contactez moi en direct ou Allan SOUHARD #Recrutement #40DataJobs #Snowflake #dbtLabs #Devoteam
-
César CLAVÉ a partagé ceciI’m now dbt Fusion Migration Accredited! 🚀 I am very happy to share that I have officially earned the Fusion Accreditation Migration credential from dbt Labs. This accreditation validates my ability to design, plan, and execute successful Fusion migrations with the technical rigor and operational discipline required to support customer success. A special thank you to Katie Brown and Hicham Babahmed for the Technical Enablement Session and to dbt Labs Partnerships Team for the recognition.
-
César CLAVÉ a partagé ceciForget the Jaffle Shop 🚀 3 steps to start learning modern data stack with dbt Platform and Snowflake ❄️ 1. Create a Snowflake Free Trial account and set up the users, roles and databases (with datas) 2. Create a git repository 3. Create a dbt Platform Free Trial account and set up your project. Read the full details in my article below to build you first living project 100% free: https://lnkd.in/eY3PXD6Q dbt Labs Snowflake #dbt #Snowflake #DataEngineering #AnalyticsEngineering
-
César CLAVÉ a republié ceciOyez oyez, membres et futurs membres du Snowflake Paris User Group Nous lançons un appel à contribution pour faire vivre la communauté entre deux événements. Proposez vos articles, vos publications, vos meilleurs liens https://lnkd.in/e3ikmkSc A très vite sur le PSUGCésar CLAVÉ a republié ceciEt si la prochaine voix mise en avant sur cette page était la vôtre ? La communauté Snowflake à Paris grandit. Les échanges s’intensifient. Les cas d’usage se multiplient. Les retours d’expérience deviennent de plus en plus riches. Il est temps de les rendre visibles. Nous lançons un appel à contribution : Chaque semaine, nous souhaitons republier sur cette page un article écrit par un membre de la communauté. Cela peut être : – un retour d’expérience projet – un point de vue sur une évolution de l’écosystème Snowflake – un décryptage technique (architecture, data products, gouvernance, IA…) – un tutoriel – une réflexion stratégique – ou même une prise de position argumentée Ce ne sont pas les nouveautés qui manquent dans l'écosystème Snowflake ! L’objectif est simple : faire rayonner l’expertise locale et donner la parole à celles et ceux qui construisent concrètement la data platform de demain. Vous êtes utilisateurs, entreprise cliente, partenaire, architecte, data engineer, analyste, CTO, partenaire, client, étudiant passionné ? Vous avez publié (ou souhaitez publier) un article LinkedIn pertinent pour la communauté ? Envoyez-nous votre article en message privé ou partagez-le en commentaire. Chaque semaine, nous mettrons un contributeur à l’honneur. La communauté ne se résume pas à des événements. Elle vit à travers ceux qui partagent. Envoyer un message sur cette page, tout simplement. À vous de jouer.
-
César CLAVÉ a partagé ceciBig news 💥 I am now officially a certified dbt Cloud Architect 🎓 This was a great challenge that allowed me to dive deeper into dbt. A huge thank you to dbt Labs for providing such a comprehensive certification. I am particularly grateful to Nina Anderson and Hicham Babahmed for their help and guidance during the Office Hours sessions. I’m now looking forward to applying these advanced architectural patterns and best practices to help my clients build more robust data workflows. #dbt #dbtCloud #DataEngineering #AnalyticsEngineering #CloudArchitect #DataAnalytics #ModernDataStack
-
César CLAVÉ a partagé ceciHier c'était le dernier Jeudi Givré de 2025. ❄️ Merci à Chenail Thomas et Adrien Combes pour l'accueil et l'organisation. Je suis ravi d'avoir pu tester la nouvelle application Jeudi Givré et d'avoir pu échanger avec des passionnés de Snowflake. Rendez-vous en 2026 pour relever de nouveaux challenges encore plus givrés ! 🚀
-
César CLAVÉ a aimé ceciCésar CLAVÉ a aimé ceci🎉 Excited to share that I’m officially ** dbt Developer Certified! ** dbt Labs This certification wasn’t easy to crack — it truly tests your understanding of dbt’s core concepts and practical implementation. The journey was challenging but incredibly rewarding, and I’ve gained deeper insights into building efficient and scalable data transformation pipelines. #dbt #dataengineering #analytics #certification
-
César CLAVÉ a aimé ceciCésar CLAVÉ a aimé ceciJ’ai complètement raté le lancement marketing de SQL Pro. Malgré tout, je suis à 27 ventes à l'heure où je poste. Mon marketing email a - en grosse partie - fail: → J’avais (pour la première fois de ma vie) créé une séquence logique d’emails pour expliquer l’interêt de la solution, pour qui c’était etc. et j’ai eu un bug (de ma faute) qui a fait foirer l’envoi du premier email. → Dans le second email, j’avais ajouté le lien vers la plateforme … et je me suis gourré dans le lien associé. → Le 3ème email (le témoignage sur la plateforme, super important) est parti ce Dimanche … alors que je ne l’avais pas du tout prévu. → Le 4ème - et dernier - email (la fin du early bird) est parti à 16h hier … alors que dans l'email j'affiche qu'il ne reste que 24h avant la fin de l'earlybird (ce qui est faux, donc). Bref, je m’attendais à des fails, mais des comme ça, jamais ! Malgré ça, j’ai fait 27 ventes en un peu moins de 7 jours. Ça montre que le produit plaît et a du potentiel. J’ai déjà reçu des bons / très bons retours (et des bugs … heureusement rapidement réparés). La leçon : un bon produit vend même quand tout fout le camp autour. Si tu veux rejoindre ces 27 early adopters pour ne plus jamais rater un entretien SQL, le lien est en commentaire. ⚠️ Attention: l’offre early bird se termine ce soir minuit ! Après le prix passe de 49 → 79€.
-
César CLAVÉ a aimé ceciCésar CLAVÉ a aimé ceciAujourd'hui, lors de notre #DSPDay mensuel avec les équipes réunies, nous avons eu le plaisir d'avoir une présentation pointue sur la sécurité et la gouvernance de la data et de l'IA sur Snowflake par Pierre Lewandowski et Amine A.. Un moment précieux, riche en questions permettant d'affûter toutes les équipes à ces domaines. Pour les Data architects et DevOps, deux sessions d'expertise et de bonnes pratiques ont aussi été dispensées. L'objectif : Répondre à tout besoin d'audit, de diagnostic, de formation d'équipes clientes à la sécurisation 'à la Snowflake'. Nous voilà maintenant aussi armés d'une forte expertise en sécurité pour accompagner nos clients à tirer profit de leur plateforme data & IA en toute sérénité. Un très grand merci à Pierre Lewandowski et Amine A. pour votre pédagogie et votre dynamisme. Avec vous, c'est vraiment plus simple ;)
-
César CLAVÉ a aimé ceciCésar CLAVÉ a aimé cecidbt Labs has been named a 2026 Google Cloud Partner of the Year for Data Pipelines and Governance 🏆 Thousands of organizations run dbt on BigQuery -- This recognition reflects the real impact we're having helping customers build trusted, AI-ready data foundations. Proud to be part of a team pushing the standard for what great data looks like. #dbtLabs #GoogleCloud #BigQuery #DataPipelines #AIReady https://lnkd.in/gv3XMDnJdbt Labs Wins a 2026 Google Cloud Partner of the Year Award | dbt Labsdbt Labs Wins a 2026 Google Cloud Partner of the Year Award | dbt Labs
-
César CLAVÉ a aimé ceciCésar CLAVÉ a aimé ceci🔐✨ DSPDay : Sécurité Snowflake au cœur de nos échanges ! Aujourd’hui, c’était notre DSPDay, la journée où tous les collaborateurs de Devoteam Snowflake Partner se retrouvent chaque mois pour explorer un sujet d’actualité, partager, apprendre et monter en expertise. Et cette édition était 100% orientée #Sécurité #Snowflake 🔥 Nous avons eu la chance d’être accompagnés par Snowflake : 👨🏫 Pierre Lewandowski 🛡️ Amine A. 🎯 Au programme : - Les bonnes pratiques de sécurité dans Snowflake - Les nouveautés autour de la gouvernance et du Zero Trust - Les mécanismes avancés de contrôle d’accès - Le rôle clé de Snowflake dans les architectures data sécurisées - Des retours d’expérience concrets et actionnables 💬 Une session riche, pragmatique, et surtout essentielle pour continuer à accompagner nos clients avec un niveau d’exigence sécurité irréprochable. Chez Devoteam, on ne se contente pas d’être partenaire Snowflake. On investit chaque mois dans la montée en compétence collective pour rester au meilleur niveau. 🚀 Hâte du prochain DSPDay ! #Snowflake #DSPDay #DataSecurity #Governance #Devoteam #DataCloud #SecurityByDesign #Expertise #TeamWork #innovation #snowflakesquad #datasuperhero
-
César CLAVÉ a aimé ceciSi vous hésitez à apprendre DBT en 2026 : Ne cherchez pas la "formation parfaite". Juste : 1. Doc officielle 2. Un projet perso 3. Cassez des trucs 4. GitHub pour tracker La théorie sans pratique = 0. 30 min de code > 2h de vidéo. Démarrez petit. Aujourd'hui.
-
César CLAVÉ a aimé ceciCésar CLAVÉ a aimé ceci⚖️ Post 3 : Scale-Up vs Scale-Out (Le dilemme du Compute) Tips Technique #3 - Certification Snowflake Advanced Data Architect 🏛️ : L'art de dimensionner les Virtual Warehouses. Si l'ingénieur doit faire tourner sa requête, l'Architecte doit s'assurer que les 500 requêtes des utilisateurs tournent sans exploser le budget. L'examen teste votre capacité à diagnostiquer les problèmes de performance et à appliquer la bonne solution. Connaissez la différence sur le bout des doigts : 🚀 Scale-UP (Augmenter la taille : de L à XL) : Symptômes : Requêtes très complexes traitant des Téraoctets de données, ou "Spilling to local/remote storage" visible dans le Query Profile. Action : On donne plus de muscle à la machine. 🛣️ Scale-OUT (Multi-Cluster Warehouse) : Symptômes : Forte concurrence. Le temps d'exécution réel est bon, mais le temps d'attente (Queuing) explose car trop d'utilisateurs lancent des requêtes en même temps. Action : On ouvre de nouvelles caisses au supermarché. Maximized vs Auto-scale ? Choisissez "Auto-scale" avec la politique "Standard" pour réagir vite aux pics. Face à un scénario d'examen, regardez toujours si le problème vient de la lourdeur de la donnée (Scale-Up) ou du nombre d'utilisateurs (Scale-Out). 💡 #Snowflake #FinOps #Performance #Compute #SnowPro #datasuperhero
-
César CLAVÉ a aimé ceciCésar CLAVÉ a aimé ceciHappy to share that I have achieved my certification as a dbt Certified Developer! 🤩 Provided by dbt Labs. Special thanks to two people whose course material greatly supported this achievement: Muizz Lateef, for the excellent publicly available practice material: https://www.qanalabs.com/ Zoltan C. Toth for providing a comprehensive, hands-on Udemy course where you build a real-world project with Airbnb host and guest data. Thank you both!
Expérience et formation
-
Devoteam
**** **********
-
********* **
**** **********
-
**********
**** ******** * **** ******* * *********
-
*** ********* ****** ** *********
****** * ************ *** ************ ********* undefined
-
-
*** ********* ****** ** *********
****** * ******* *********
-
Voir toute l’expérience de César
Découvrez son poste, son ancienneté et plus encore.
Bon retour parmi nous
En cliquant sur Continuer pour vous inscrire ou vous identifier, vous acceptez les Conditions d’utilisation, la Politique de confidentialité et la Politique relative aux cookies de LinkedIn.
Nouveau sur LinkedIn ? Inscrivez-vous maintenant
ou
En cliquant sur Continuer pour vous inscrire ou vous identifier, vous acceptez les Conditions d’utilisation, la Politique de confidentialité et la Politique relative aux cookies de LinkedIn.
Licences et certifications
-
-
-
-
"Méthodes agiles" (3jours) et "Travail en équipe agile" (2jours)
Actinuum
Délivrance le Expiration le -
-
-
-
-
-
Expériences de bénévolat
Langues
-
English
Capacité professionnelle générale
-
French
Bilingue ou langue natale
Recommandations reçues
1 personne a recommandé César
Inscrivez-vous pour y accéderVoir le profil complet de César
-
Découvrir vos relations en commun
-
Être mis en relation
-
Contacter César directement
Découvrir plus de posts
-
Adnan Zahry
Devoteam • 3 k abonnés
If you search ‘Top data engineering tools to learn’, Apache Spark is almost always in the top 5! here I just published a public repo for anyone exploring Kafka + PySpark + Structured Streaming in a microservices-style pipeline! Helps you get hands-on with near real-time streaming pipelines: - Ingests from Kafka, transforms with PySpark Structured Streaming - Uses PostgreSQL as intermediate storage, then sinks to BigQuery or ClickHouse - Modular & extensible for real-world pipelines Highlights - Pydantic Settings to control all app configs cleanly (env-driven, typed) - Docker Compose spins up everything you need to start with Kafka + PySpark - Step-by-step debugging guides in the README for Kafka and Spark (so you can actually see what’s going on) Repo: https://lnkd.in/gngDE4YS Would love to hear feedback from anyone working with real-time data pipelines! #Kafka #PySpark #StructuredStreaming #DataEngineering #DockerCompose #Pydantic #PostgreSQL #BigQuery #ClickHouse #OpenSource #RealTimeData #ETL #Python #SparkStreaming
12
-
Dateonic
39 abonnés
🚀 New to Databricks? Start Here. Creating your first Databricks cluster is the foundational step in your data analytics journey—and we’ve made it easy. Our latest guide walks you through everything: ✅ What Databricks is ✅ How clusters work ✅ Step-by-step setup instructions ✅ Tips for cost control and performance Whether you're experimenting or building at scale, this is your launchpad. 👉 Read the full guide and start building smarter with Databricks. 📎 https://lnkd.in/eFaPc_CZ #Databricks #DataEngineering #BigData #CloudComputing #Dateonic #AIPlatform #DataScience
2
1 commentaire -
Unravel Data
8 k abonnés
Data observability has become essential, but how do you know what solution fits your architecture, scale, and business needs? Our new Databricks Data Observability Buyer's Guide breaks down: 🧠 The 6 most common types of observability tools (and their limitations) 🛠️ How to compare DIY setups, point solutions, native tools, and AI-native platforms 💡 What "comprehensive observability" actually looks like If you're evaluating vendors or even building in-house, this guide will save you hours and deliver clarity! Get the guide now: https://lnkd.in/gayN9ui9 #ModernDataStack #ObservabilityTools #DatabricksOptimization #DataEngineering #UnravelYourData
6
-
Naman Sharma
Currie & Brown • 2 k abonnés
Snowflake or Databricks — which one should YOU actually learn❓ This comparison shows why the answer is not obvious. Snowflake is built for → fast analytics → BI teams → structured & semi-structured data Databricks is built for → big data at scale → Spark, ML & AI workloads → streaming & real-time processing The mistake most people make? Learning a tool without understanding the problem it solves. Analysts ≠ Engineers ≠ ML practitioners The “best” tool depends on your role. #Snowflake #Databricks #DataCareers #Analytics #DataEngineering #TechSkills
37
4 commentaires -
Yash Shah
2 k abonnés
🚀 Snowflake Architecture: Deep Diving Into Its Crucial Layers ❄️ In today’s data-driven world, Snowflake isn’t just a cloud data warehouse—it’s a game-changer in how businesses manage, scale, and secure their data. 🌐📊 🔍 Let’s peel back the layers of Snowflake’s unique architecture and understand why it stands apart: ✨ Key Layers of Snowflake Architecture 1️⃣ Database Storage Layer – Efficiently organizes structured & semi-structured data for seamless access. 📦 2️⃣ Compute Layer – Elastic, independent virtual warehouses powering performance & scalability. ⚡ 3️⃣ Cloud Services Layer – The brain that manages metadata, authentication, optimization & security. 🧠🔐 💡 Why it matters? ✔️ Infinite scalability without complexity ✔️ Pay-per-use model for cost efficiency ✔️ High performance & reliability across workloads 🌟 Snowflake’s architecture is not just about storing data—it’s about unlocking insights faster, smarter, and at scale. 👉 Ready to deep dive into how Snowflake can revolutionize your data strategy? #Snowflake #DataArchitecture #CloudComputing #BigData #Analytics https://shorturl.at/UiEYg
1
-
DataNimbus
42 k abonnés
Introducing CyberAI, built by DataNimbus in partnership with Databricks. Traditional SIEMs can’t keep up with the scale, complexity, and costs of today’s cloud-native world. Security teams need more than log management — they need data intelligence at scale. With CyberAI, you can: ✅ Ask your logs in natural language ✅ Build and enrich cases with AI assistance ✅ Collaborate seamlessly across teams ✅ Reduce false positives and accelerate investigations ✅ Lower TCO with smarter cost controls This is the power of the Databricks Data Intelligence Platform for Cybersecurity — agility, intelligence, and cost efficiency, all in one. Watch the video to see CyberAI in action. #Cybersecurity #AI #Databricks #DataIntelligence #CyberAI #SIEM
42
-
Myridius
40 k abonnés
If you're building for the AI era, your data pipelines can't lag behind. This new eBook is your hands-on guide to modern data engineering on the Databricks Data Intelligence Platform—covering everything from ingestion and transformation to orchestration, governance, and real-time streaming. Explore how to ✅ Build reliable, scalable pipelines with Delta Live Tables ✅ Manage data securely with Unity Catalog ✅ Streamline workflows with LakeFlow ✅ Design an AI-ready architecture that scales Get the eBook - https://hubs.li/Q03qmgFm0 Leslie Holland | Durga C V K #DataEngineering #Databricks #AIReady #ModernDataStack Myridius
27
-
Timbr.ai
2 k abonnés
Still defining the same metrics over and over in Databricks? 😩 You're not alone. Even with powerful tools like SQL, Spark, and Delta Live Tables, metrics still get: • Defined manually • Rebuilt across projects • Optimized by hand • Duplicated in views or notebooks It’s flexible, but far from efficient. Timbr changes the game: ✅ Automatically generate measures ✅ Reuse logic across your ontology ✅ Eliminate JOINs with semantic context ✅ Speed up queries with a 4-tier cache ✅ Make metrics LLM-ready Databricks gives you the engine. Timbr gives you the model that makes it smart. 🧠 🔍 See the full side-by-side comparison → https://lnkd.in/dwAXC7pr #Databricks #SemanticLayer #DataModeling #SQL #Metrics #KnowledgeGraph #AI #BI
13
-
Diggibyte Technologies
8 k abonnés
Ever wished your data pipelines ran like clockwork — fully automated, reliable, and under complete control? With Databricks Workflows, orchestration lives where your data lives: inside the Lakehouse. That means you can combine data engineering, analytics, and machine learning in one seamless platform — without moving data between services or adding unnecessary latency. Why Databricks Workflows stands out: • Runs tasks, SQL, and notebooks directly where the data resides — no extra data hops. • Supports parameters, triggers, and complex dependencies so pipelines behave exactly how you need them to. • Built-in monitoring and alerting for production-grade reliability. • Eliminates many manual scheduling hassles — move from ad-hoc runs to automated, repeatable pipelines. • Integrates ML and analytics pipelines alongside ETL, making end-to-end automation practical and maintainable. In this guide, you’ll get a step-by-step walkthrough to build your first Databricks Workflow — from defining tasks and dependencies to triggering runs and monitoring outcomes. By the end, you’ll know how to shift from manual execution to automated, production-ready pipelines that scale with your business. Read more: https://lnkd.in/gJYJebMn #Databricks #Workflows #DataEngineering #ETL #Orchestration #Lakehouse #MLOps #Analytics #Automation #DataOps #CloudDataPlatform William Rathinasamy Sekhar Reddy Anuj Kumar Sen Lawrance Amburose Satya Srinivas Veerabadrachari R Brindha Sendhil Praveen Kumar C Rashika S Harini R
15
-
Databricks
1 M abonnés
Modernizing legacy data warehouses is critical but notoriously complex — hidden dependencies, undocumented logic, and manual validation can stall even the most strategic projects. Meet Lakebridge — Databricks’ free migration tool that automates up to 80% of the work, accelerating implementation speed by up to 2x. With profiling, SQL conversion, validation, and reconciliation, Lakebridge tackles complexity so your team can spend more time unlocking insights, and less time untangling legacy code. Migrate smarter, faster, and with confidence: https://lnkd.in/g9EgGtwn
475
10 commentaires -
Tyson Cheah
自雇 • 220 abonnés
🚨 Stop juggling 5 different data tools. There's a better way. Most data engineers piece together their stack like this: → One tool for ingestion → Another for transformation → A separate one for orchestration → Yet another for data quality checks → And something else entirely for governance It's a mess. Context-switching kills productivity. And stitching it all together? That's a full-time job in itself. Module 5 of the FREE Data Engineering Zoomcamp just changed the game. In this module, you'll learn how modern data platforms unify the entire data lifecycle under one roof — and build a real end-to-end pipeline on NYC taxi data using Bruin as a hands-on example. Here's what you'll build: ✅ Ingest data with Bruin CLI ✅ Write SQL & Python transformations ✅ Design a 3-layer architecture: ingestion → staging → reporting ✅ Configure pipelines with YAML ✅ Handle orchestration, scheduling & variables ✅ Add data quality checks ✅ Use Bruin MCP inside your dev workflow (yes, AI-assisted pipelines 🤖) This isn't theory. This is a production-style workflow — the kind you'd actually use on the job. Course link: https://lnkd.in/gWSKxnpB Are you currently learning data engineering? Drop a 🙋 below — let's connect! #DataEngineering #DataPlatforms #LearnInPublic #DataTalksClub #FreeCourse #Bruin #ETL #DataPipelines #TechCommunity #CareerGrowth
4
-
EagleAI
106 abonnés
Sharding vs Partitioning in Databricks — Lessons from Netflix & Twitter When your datasets hit 100TB+, every decision about how you store and process data matters. Netflix and Twitter get it right — here’s how you can too. This article breaks down: What sharding is and when to use it How partitioning works in Databricks The billion-row problem and how to solve it Advanced Databricks optimizations (G-Ordering & Liquid Clustering) 🔗 Read here: https://lnkd.in/g4GbXVrR Have you used sharding or partitioning in Databricks? Which worked better for you? #BigData #DataEngineering #Databricks #ApacheSpark #DeltaLake #CloudOptimization #DataArchitectur
2
-
Florence Fennel Informatica Pvt. Ltd.
2 k abonnés
🚀 New resource for Data Engineers, Architects & Tech Leads! We’ve launched a real-world Palantir Data Engineering Track — designed for professionals who want to build at scale, not just learn concepts. This course includes: ✅ Scalable pipeline design & optimization ✅ Data operationalization inside the Palantir Foundry ecosystem ✅ Business-focused outcomes that drive real impact ✅ Led by a trainer with 22+ years of hands-on industry experience The goal? To help serious professionals engineer smarter systems — faster, and with purpose. 💡 Curious how Palantir-level engineering can fit into your org? Let’s connect and walk you through it. #DataEngineering #Palantir #EnterpriseTraining #FlorenceFennel #Foundry #DataTransformation
2
-
Somesh Sidhwani
Challenger School Foundation • 2 k abonnés
💡What if instead of writing a query… you could just talk to your data? That’s what I’ve just built — a #Cortex Analyst inside #Snowflake Intelligence — and honestly, it feels like stepping into data, in God-mode. 🎥 Watch it here, and follow the step-by-step walkthrough to create one yourself: https://lnkd.in/g6a8dxhJ No dashboards. No #SQL. No waiting for someone to “pull a report.” Just you, a question, and instant, intelligent insight. “Which products are driving margin growth this quarter?” “What happens if we shift marketing spend by 10% in the West?” Ask it. Get answers. Visuals. Context. Explanations. On the fly. For execs, strategists, and data-driven teams, it’s a new muscle: 💭 Ad-hoc analysis at the speed of thought 🔍 Infinite perspective shifts 🚀 Decision-making without friction Once you try it, you realize you’re not querying data — you’re collaborating with it. That’s the future of intelligence inside #Snowflake. Not BI. Not dashboards. Dialogue. 👇 Dive into the demo — and tell me: Now that you can build an agent to talk to your data - what use-cases would you build for? #Snowflake #CortexAnalyst #DataIntelligence #AI #DecisionIntelligence #Leadership #AnalyticsReimagined
11
-
Snowflake Developers
67 k abonnés
From raw campaign data to a fully consumable Semantic View in Tableau. This hands-on quickstart walks you through an end-to-end workflow that connects governed data modeling in Snowflake to BI consumption in Tableau. In this guide, you’ll: • Load and explore campaign data in Snowflake • Automatically generate a Semantic View using the Semantic View Wizard • Query it with standard SQL • Generate a Tableau Data Source (.tds) file • Connect Tableau directly to your Semantic View Get started: https://lnkd.in/gmCdk3VH
46
-
Shradhaa Shetty
Frisco Analytics • 10 k abonnés
Gone are the days when you'd be asked: "𝗛𝗼𝘄 𝗱𝗼 𝘆𝗼𝘂 𝗿𝗲𝗮𝗱 𝗮𝗻 𝗘𝘅𝗰𝗲𝗹 𝗳𝗶𝗹𝗲 𝗶𝗻 𝗗𝗮𝘁𝗮𝗯𝗿𝗶𝗰𝗸𝘀?" Today, the real challenge is: "𝗛𝗼𝘄 𝗱𝗼 𝘆𝗼𝘂 𝘀𝗰𝗮𝗹𝗲 𝗘𝘅𝗰𝗲𝗹 𝗶𝗻𝗴𝗲𝘀𝘁𝗶𝗼𝗻 𝗲𝗳𝗳𝗶𝗰𝗶𝗲𝗻𝘁𝗹𝘆 𝗮𝗰𝗿𝗼𝘀𝘀 𝗦𝗽𝗮𝗿𝗸 𝗰𝗹𝘂𝘀𝘁𝗲𝗿𝘀—𝘄𝗶𝘁𝗵𝗼𝘂𝘁 𝗿𝗲𝗹𝘆𝗶𝗻𝗴 𝗼𝗻 𝗽𝗮𝗻𝗱𝗮𝘀 𝗼𝗿 𝗿𝘂𝗻𝗻𝗶𝗻𝗴 𝗶𝗻𝘁𝗼 𝗱𝗿𝗶𝘃𝗲𝗿 𝗺𝗲𝗺𝗼𝗿𝘆 𝗶𝘀𝘀𝘂𝗲𝘀?" Thanks to 𝗔𝗽𝗮𝗰𝗵𝗲 𝗦𝗽𝗮𝗿𝗸 𝟰.𝟬, now we can build 𝗰𝘂𝘀𝘁𝗼𝗺 𝗗𝗮𝘁𝗮𝗦𝗼𝘂𝗿𝗰𝗲 𝗰𝗼𝗻𝗻𝗲𝗰𝘁𝗼𝗿𝘀 in pure Python using the new PySpark-native DataSource API — no Java or Scala required. This solution is: 1. Fully 𝗱𝗶𝘀𝘁𝗿𝗶𝗯𝘂𝘁𝗲𝗱 𝗿𝗲𝗮𝗱/𝘄𝗿𝗶𝘁𝗲 of Excel files 2. Native support for 𝗯𝗮𝘁𝗰𝗵 and 𝘀𝘁𝗿𝗲𝗮𝗺𝗶𝗻𝗴 3. No more driver bottlenecks from pandas.read_excel() 4. Seamless .format("excel") integration in Spark If you’re a data engineer or ML practitioner working in Python and need to integrate with non-standard formats, this is your opportunity to build robust, distributed, production-grade connectors — your way. Try it out on Spark 4.0 or Databricks Runtime 15.3+. There are a lot of updates from Apache Spark and Databricks 😍 let's learn one by one To know more how to achieve this: 🖇️ Medium article: https://lnkd.in/dZGEcGWy 🖇️For further reading: https://lnkd.in/dS2WsqRX #InterviewSeries #DataEngineering #Databricks #ApacheSpark #PySpark #Spark4 #CustomConnector #StreamingData #BigData #ETL #PythonTools #UnityCatalog #ExcelIngestion #DataSource
35
4 commentaires -
Gopi Kiran Gogineni
Podimo • 708 abonnés
🚀 Why BigQuery Table and Column Documentation Matters for AI & Data Teams 🚀 In today’s data-driven world, we know the power of BigQuery — but what if I told you that good documentation can turn your BigQuery tables and columns into an even more powerful asset? 📊 In my latest Medium article, I dive deep into: Why documenting BigQuery tables and columns is crucial for discoverability, reducing mistakes, and accelerating onboarding. How to automate documentation using Python, Terraform, and DBT. The transformative power of AI tools like Gemini in BigQuery — and how good documentation helps these tools understand your data without needing SQL. Key Takeaways: 🔍 AI-driven insights: Proper documentation lets tools like Gemini generate accurate insights from your data autonomously, no SQL required. ⚙️ Automate the process: Use Python and Terraform to keep your data schema up-to-date with minimal effort. 🔑 Scale documentation with DBT: Keep your data documentation version-controlled and collaborative. Check out the full article for practical tips and code examples on how to boost your BigQuery documentation and unlock the full potential of your data and AI tools. 👉 https://lnkd.in/enc93FmP #BigQuery #AI #DataDocumentation #DBT #Python #Automation #GoogleCloud #BigData #MachineLearning #DataScience #Gemini
7