BigQuery يضع مسارات البيانات داخل Git، لكن الميزة ما زالت Preview

أدرجت Google في 31 أغسطس 2026 ميزة تتيح إنشاء مسارات BigQuery وتخزينها وإدارتها داخل مجلدات Git، بحسب ملاحظات إصدار Google Cloud. الإضافة متاحة بصفة Preview، وليست إصدارًا عامًا جاهزًا بضمانات GA.

تعني الميزة أن مستودع GitHub أو GitLab المتصل بـBigQuery Studio عبر Developer Connect يستطيع استضافة مسارات ذات إصدارات، بما في ذلك عدة مسارات مستقلة أو مسار واحد على مستوى الجذر. كما يعرض سجل BigQuery في Updates Hub تحديث 31 أغسطس بالحالة نفسها، ما يوفر تأكيدًا من نطاق مستقل للسجل المنشور.

المستودع يتحول إلى حاوية لعدة مسارات

لا تقتصر الإضافة على حفظ ملفات SQL في مستودع بعيد. توضح وثائق إنشاء مسارات BigQuery أن Git Folder يمثل مستودع GitHub أو GitLab متصلًا بـBigQuery Studio، ويمكن أن يحتوي عدة أدلة يتعامل المنتج مع كل منها بوصفه مسارًا مستقلًا.

عند إنشاء مسار داخل Git Folder، ينشئ BigQuery Studio دليلاً جديدًا ويهيئ ملفين افتراضيين: workflow_settings.yaml لإعدادات المسار، وdefinitions/actions.yaml لتعريفات المهام الأولية. ويظهر الدليل في متصفح الملفات بوصفه Pipeline يمكن فتحه في Pipeline Viewer.

قد يأخذ مستودع افتراضي البنية التالية:

• pipelines/sales_daily/workflow_settings.yaml
• pipelines/sales_daily/definitions/actions.yaml
• pipelines/inventory_sync/workflow_settings.yaml
• pipelines/inventory_sync/definitions/actions.yaml

في هذا المثال المشروط، يمثل كل دليل وحدة مستقلة بإعداداتها وتعريفاتها، رغم وجود الوحدتين في المستودع نفسه. هذه البنية تسمح لفرق البيانات بوضع تعريفات المسارات ضمن تاريخ Git وفروعه ومراجعاته من دون دمج جميع عمليات المستودع في مسار تنفيذي واحد.

موضع ملف الإعداد يفصل المسار الجذري عن المسارات المستقلة

يحدد موضع workflow_settings.yaml حدود المسار التي يتعرف إليها BigQuery Studio. إذا كان الملف في جذر المستودع، يُعامل المستودع كله بوصفه Root-Level Pipeline، ويؤدي فتح مجلد المستودع إلى عرض الرسم الموجّه غير الدوري المترجم لكامل المشروع.

أما وضع الملف داخل أدلة فرعية فينشئ مسارات مستقلة، لكل منها نطاق إعداد وترجمة منفصل. وبذلك يمكن للمستودع أن يكون إما وحدة تنفيذ واحدة تبدأ من الجذر، أو حاوية لعمليات متعددة موزعة على أدلة، وفق مكان ملفات الإعداد.

هذا الفرق مهم عند تصميم المستودع: المجلد الأعلى ليس مجرد وسيلة تنظيم بصري، بل قد يصبح حد المسار نفسه عند وجود ملف الإعداد في الجذر. ولا يحتاج المسار الجذري إلى دليل Pipeline متداخل كي يتعرف إليه المنتج.

Developer Connect لا يستبدل صلاحيات التنفيذ

يمر ربط المستودع عبر Developer Connect، ويحتاج المستخدم الذي ينشئ الاتصال إلى دور Developer Connect OAuth User على مشروع Google Cloud. بعد ذلك تبقى صلاحيات إنشاء المسارات وتحريرها وتشغيلها مرتبطة بأدوار Dataform وBigQuery؛ فالوصول إلى Git لا يمنح تلقائيًا القدرة على تشغيل وظائف البيانات.

تتيح واجهة الإعداد اختيار بيانات اعتماد حساب Google أو حساب خدمة لبعض عمليات التشغيل. لكن Dataform API لا يدعم تشغيل المسار ببيانات اعتماد المستخدم، ولذلك يجب ضبط حساب خدمة قبل تنفيذ المسار برمجيًا عبر API.

تظهر هنا إحدى أهم حدود Preview لفرق الأتمتة: مسار يعمل يدويًا بهوية مستخدم لا ينتقل إلى تشغيل API بالهوية نفسها. كما يتطلب عرض حسابات الخدمة في قائمة الاختيار إذن iam.serviceAccounts.list؛ وعند غيابه يمكن إدخال معرّف حساب الخدمة يدويًا.

موقع المعالجة والنشر يظلان قرارين منفصلين عن Git

يستطيع BigQuery اختيار موقع المعالجة تلقائيًا استنادًا إلى مجموعات البيانات التي يشير إليها الطلب. إذا كانت المجموعات في موقع واحد يُستخدم ذلك الموقع، أما الإشارة إلى مجموعات موزعة على موقعين أو أكثر فتؤدي إلى خطأ. وعندما لا يشير الطلب إلى أي مجموعة بيانات، يكون الإعداد الافتراضي هو النطاق المتعدد المناطق US.

لا يلزم أن يطابق موقع معالجة المسار موقع التخزين الافتراضي لأصول الشفرة، لكن قالب تشغيل Notebook يجب أن يكون في المنطقة نفسها التي يوجد فيها المسار. كذلك قد يؤدي تغيير منطقة المسار أو المشروع إلى إبطال مجموعة البيانات الافتراضية المختارة سابقًا.

أما المسارات المخزنة في Git Folders فتستخدم Dataform deployments للتنسيق والجدولة، بما يشمل إعدادات الإصدارات وسير العمل والتشغيل متعدد البيئات. وعمليًا، لا يجعل دمج فرع Git المسار صالحًا للإنتاج وحده؛ إذ تظل هوية التنفيذ، وأدوار IAM، وموقع البيانات، وإعداد النشر عناصر مستقلة يجب أن تتوافق.

حتى 1 سبتمبر 2026، تظل الميزة خاضعة لشروط عروض ما قبل الإتاحة العامة، التي قد تتضمن دعمًا محدودًا وتوفر الوظيفة بصورتها الحالية. ولم يُنشر موعد للانتقال إلى GA؛ لذا فإن المؤكد الآن هو دعم المستودعات المتصلة والمسارات الجذرية والمستقلة، مع بقاء حدود API والمناطق والنشر جزءًا من تقييم الجاهزية الإنتاجية.

اقرأ أيضًا:

• Google يضع ضوابط لفاتورة وكلاء Gemini قبل أن تتضخم
• شريحة Jalapeño: كفاءة أعلى، لكن OpenAI لم تتخلص من NVIDIA
• Starcloud تجمع 250 مليون دولار لكن عنق الزجاجة هو الوصول إلى المدار