Intel Inference Microservices: OpenAI API σε Xeon, αλλά μόνο σε Linux

Στις 14 Οκτωβρίου 2026 η Intel παρουσίασε τα Inference Microservices, containers για τοπική εξυπηρέτηση γλωσσικών μοντέλων σε servers Xeon. Κάθε container εξυπηρετεί ένα μοντέλο μέσω API συμβατού με OpenAI. Σύμφωνα με την ανακοίνωση της Intel, κατά την εκκίνηση ανιχνεύει τον επεξεργαστή και επιλέγει ρυθμίσεις που η εταιρεία έχει επικυρώσει για τον συνδυασμό μοντέλου και υλικού.

Για έναν υπάρχοντα server, το πρώτο όριο είναι σαφές: η αρχική έκδοση υποστηρίζει Xeon τέταρτης, πέμπτης και έκτης γενιάς και λειτουργεί σε Linux. Η τεκμηρίωση υποστηριζόμενων πλατφορμών προτείνει 32 GB RAM και 50 GB ελεύθερου χώρου για μια αρχική δοκιμή με μικρότερα μοντέλα. Για εκτέλεση σε έναν host ορίζει Docker Engine 20.10 ή νεότερο, ενώ για cluster Kubernetes 1.24 ή νεότερο.

Ποιοι Xeon περιλαμβάνονται

Οι υποστηριζόμενοι επεξεργαστές είναι οι Xeon τέταρτης γενιάς Sapphire Rapids, πέμπτης γενιάς Emerald Rapids και έκτης γενιάς Granite Rapids ή Sierra Forest. Η επάρκεια μνήμης και η εγκατάσταση Linux δεν αρκούν για να εντάξουν έναν παλαιότερο Xeon στον κατάλογο. Η διάκριση έχει σημασία για επιχειρήσεις με servers διαφορετικών γενιών: το ίδιο container μπορεί να αναπτυχθεί σε περισσότερα μηχανήματα, αλλά η εικόνα του μοντέλου χρειάζεται συμβατό προφίλ στον host όπου τελικά θα εκτελεστεί.

Η επιλογή προφίλ βασίζεται στις δυνατότητες που βλέπει το container κατά την εκκίνηση: γενιά CPU, διαθέσιμους πυρήνες, διάταξη μνήμης NUMA και σύνολα εντολών όπως AMX, AVX-512, AVX2 και VNNI. Αν στο container έχουν παραχωρηθεί λιγότεροι πυρήνες από όσους διαθέτει ο server, η διαμόρφωση προσαρμόζεται στους πόρους που του έχουν δοθεί. Δύο hosts με παρόμοια εμπορική ονομασία μπορούν έτσι να καταλήξουν σε διαφορετικές ρυθμίσεις.

Οι εικόνες που προορίζονται για συγκεκριμένο μοντέλο σταματούν με σφάλμα όταν δεν βρίσκουν συμβατό επικυρωμένο προφίλ. Η γενική εικόνα μπορεί τότε να χρησιμοποιήσει προφίλ προσαρμοσμένο στο υλικό, χωρίς ειδική ρύθμιση για το επιλεγμένο μοντέλο. Πρόκειται για ουσιαστική διαφορά όταν ένα cluster περιλαμβάνει ανομοιογενή nodes και η τοποθέτηση του workload δεν είναι προκαθορισμένη.

Πίνακας ετοιμότητας για υπάρχοντα servers

Οι δημοσιευμένες απαιτήσεις καλύπτουν την εκκίνηση της υπηρεσίας, όχι μια ενιαία χωρητικότητα για κάθε γλωσσικό μοντέλο. Ο διαθέσιμος χώρος μνήμης εξαρτάται επίσης από τα βάρη, το μήκος του πλαισίου και τα ταυτόχρονα αιτήματα.

• Επεξεργαστής: Xeon τέταρτης, πέμπτης ή έκτης γενιάς. Η εικόνα συγκεκριμένου μοντέλου χρειάζεται προφίλ που να ταιριάζει στις δυνατότητες και στους πόρους που ανιχνεύει.
• Μνήμη: 32 GB RAM είναι το προτεινόμενο σημείο εκκίνησης για μοντέλα περίπου 4B–8B. Το ποσό αυτό δεν αποτελεί γενικό ελάχιστο για όλα τα μοντέλα του καταλόγου.
• Αποθήκευση: τουλάχιστον 50 GB ελεύθερα για την cache των βαρών. Περισσότερα μοντέλα σε κοινόχρηστο τόμο απαιτούν ανάλογο πρόσθετο χώρο.
• Λειτουργικό: Linux, με Ubuntu 22.04 LTS ή νεότερο ως προτεινόμενη διανομή. Η αρχική έκδοση δεν περιλαμβάνει ανάπτυξη σε Windows.
• Εκτέλεση: Docker Engine 20.10 ή νεότερο σε μεμονωμένο host, ή Kubernetes 1.24 ή νεότερο σε cluster. Και στις δύο περιπτώσεις χρησιμοποιείται η ίδια εικόνα container.
• Σύνδεση εφαρμογής: API συμβατό με OpenAI για chat completions, completions και αναγνώριση μοντέλου, μαζί με διαδρομές ετοιμότητας και μετρικών.

Οι τιμές μνήμης αυξάνονται αισθητά με το μέγεθος του μοντέλου. Η τεκμηρίωση δίνει ως αφετηρία 48 GB για μοντέλα 10B–16B, 64 GB για 17B–24B και 96 GB για 25B–30B, υπολογίζοντας τα βάρη και ένα περιθώριο για περιορισμένο πλαίσιο και χαμηλή ταυτόχρονη χρήση. Η cache KV προστίθεται στα βάρη και μεγαλώνει όταν αυξάνονται το μήκος του πλαισίου ή τα παράλληλα αιτήματα. Έτσι, τα 32 GB περιγράφουν μια μικρή δοκιμή, όχι υπόσχεση ότι κάθε διαθέσιμο μοντέλο θα χωρέσει.

Στην πρώτη εκκίνηση γίνεται λήψη των βαρών, οπότε ο ελεύθερος χώρος αφορά το μοντέλο και όχι μόνο την εικόνα του container. Σε Kubernetes, ένα pod με εικόνα συγκεκριμένου μοντέλου μπορεί να επανεκκινείται συνεχώς αν τοποθετηθεί σε node χωρίς κατάλληλο προφίλ. Η αντιστοίχιση των nodes με το υλικό που ανιχνεύεται είναι μέρος της ανάπτυξης της υπηρεσίας.

Τι καλύπτει η συμβατότητα με OpenAI

Οι βασικές διαδρομές είναι /v1/chat/completions, /v1/completions και /v1/models. Υπάρχουν επίσης /health για την ετοιμότητα και /metrics για μετρικές Prometheus, ενώ υποστηρίζεται η συνεχής ροή απαντήσεων. Clients όπως το OpenAI SDK, το LangChain, το LlamaIndex, το LiteLLM και το Haystack μπορούν να απευθύνονται στο τοπικό endpoint αλλάζοντας το base URL.

Η συμβατότητα αφορά τη διεπαφή των συγκεκριμένων λειτουργιών. Ένα microservice εξυπηρετεί ένα μοντέλο σε έναν host και το /v1/models επιστρέφει το μοντέλο αυτής της υπηρεσίας. Αν μια εφαρμογή πρέπει να επιλέγει μεταξύ πολλών μοντέλων, η δρομολόγηση χρειάζεται ξεχωριστή ρύθμιση στην εφαρμογή ή σε gateway. Αντίστοιχα, περισσότερη κίνηση για το ίδιο μοντέλο μπορεί να κατανεμηθεί σε αντίγραφα της υπηρεσίας πίσω από Kubernetes Service.

Τα σημερινά όρια της πρώτης έκδοσης

Ο κινητήρας inference είναι το vLLM με ακρίβεια BF16 στους υποστηριζόμενους Xeon. Το tool calling και η δομημένη έξοδος μπορούν να ενεργοποιηθούν μέσω ρυθμίσεων του vLLM, αλλά δεν ανήκουν στις λειτουργίες που καλύπτουν τα ενσωματωμένα επικυρωμένα προφίλ. Για εφαρμογή που εξαρτάται από αυτές τις δυνατότητες, η ύπαρξη συμβατού endpoint για chat completions δεν εξασφαλίζει από μόνη της ισοδύναμη συμπεριφορά σε όλο το workload.

Η υπηρεσία εκτελείται στην υποδομή του χρήστη, χωρίς φιλοξενούμενο endpoint της Intel. Η ίδια η θύρα του container δεν παρέχει TLS ή έλεγχο ταυτότητας, επομένως η πρόσβαση από άλλα δίκτυα απαιτεί αντίστοιχο gateway. Η Intel σχεδιάζει υποστήριξη για GPU, πρόσθετους inference engines, άλλες αριθμητικές ακρίβειες, Helm chart και Kubernetes Operator σε μεταγενέστερες εκδόσεις, χωρίς δημοσιευμένο χρονοδιάγραμμα. Μέχρι τότε, ένας Linux server με υποστηριζόμενο Xeon μπορεί να χρησιμοποιήσει την έτοιμη συσκευασία, αλλά η χωρητικότητα και η λειτουργική κάλυψη κρίνονται από το συγκεκριμένο μοντέλο και το φορτίο του.

Διαβάστε επίσης:

• Τοπικό LLM ή cloud API: το cache μπορεί να ανατρέψει το κόστος
• Η ΤΝ εξοικονομεί χρόνο, αλλά ο έλεγχος ποιότητας γίνεται νέα δουλειά
• Google Workspace ή Microsoft 365: η φθηνότερη άδεια δεν μειώνει το κόστος