Gọi GPT-6 Astra qua Bedrock: chọn sai endpoint có thể phá yêu cầu vùng
Để gọi GPT-6 Astra qua Amazon Bedrock, hãy dùng một trong hai cặp cấu hình: bedrock-mantle với openai.gpt-6-astra, hoặc bedrock-runtime với hồ sơ suy luận us.openai.gpt-6-astra hay global.openai.gpt-6-astra. Endpoint và model ID phải được triển khai như một cặp; đổi riêng một thành phần có thể khiến request thất bại hoặc đi ra ngoài phạm vi xử lý đã phê duyệt.
Global chỉ phù hợp khi workload không bị giới hạn về nơi xử lý dữ liệu. Nếu chính sách yêu cầu một AWS Region hoặc một khu vực địa lý cụ thể, cần chọn In-Region hay Geo đáp ứng đúng ranh giới đó; Region trong base URL không phải là cam kết về Region cuối cùng xử lý request Cross-Region.
Ghép endpoint, model ID và phạm vi định tuyến
Model card GPT-6 Astra của AWS xác nhận Mantle chỉ cung cấp mô hình tại us-west-2 dưới dạng In-Region với ID openai.gpt-6-astra; Runtime không có In-Region và phải dùng hồ sơ Geo US hoặc Global với ID tương ứng. Cùng trang này liệt kê Global cho ap-southeast-1, nhưng không liệt kê Geo tại Region Singapore.
- bedrock-mantle: chọn khi us-west-2 nằm trong phạm vi được phép và ứng dụng cần model ID trực tiếp.
- bedrock-runtime với Geo US: chọn khi dữ liệu được phép xử lý trong phạm vi địa lý Mỹ, không nhất thiết cố định tại một Region.
- bedrock-runtime với Global: chỉ chọn khi không có ràng buộc địa lý đối với việc xử lý request.
Đối với hệ thống đặt tại Việt Nam, gửi request vào Runtime ở ap-southeast-1 không có nghĩa suy luận được giữ tại Singapore. Cấu hình Global hợp lệ về kỹ thuật nhưng không chứng minh được yêu cầu “chỉ xử lý tại Việt Nam”, “chỉ tại Singapore” hoặc “chỉ trong châu Á”.
Cấu hình tối thiểu cho bedrock-mantle
Sau khi tạo Amazon Bedrock API key và cài OpenAI SDK cho Python, đặt hai biến môi trường sau trong môi trường chạy ứng dụng:
- OPENAI_API_KEY = Amazon Bedrock API key.
- OPENAI_BASE_URL = https://bedrock-mantle.us-west-2.api.aws/openai/v1
Trong Python, khởi tạo OpenAI(), sau đó gọi client.responses.create với model="openai.gpt-6-astra" và truyền nội dung vào trường input. SDK tự đọc hai biến môi trường, vì vậy không cần lặp lại khóa và base URL trong mã nguồn.
Ba giá trị cần được kiểm tra cùng nhau khi request đầu tiên thất bại: endpoint phải là bedrock-mantle, Region phải là us-west-2 và model ID phải có dạng openai.gpt-6-astra. Không thay ID này bằng gpt-6-astra: đó là tên dùng trên API trực tiếp của OpenAI, không phải model ID AWS công bố cho Mantle.
Cấu hình tối thiểu cho bedrock-runtime
Runtime cũng có thể dùng OpenAI SDK và Amazon Bedrock API key. Một cấu hình tối thiểu gồm:
- OPENAI_API_KEY = Amazon Bedrock API key.
- OPENAI_BASE_URL = https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1
- MODEL_ID = us.openai.gpt-6-astra hoặc global.openai.gpt-6-astra.
Gọi OpenAI().responses.create với giá trị của MODEL_ID. Trong cấu hình này, us-west-2 ở base URL là Region nguồn nhận request; tiền tố us. hoặc global. mới chọn phạm vi mà Bedrock được phép định tuyến suy luận.
Không nên cho phép thay MODEL_ID độc lập bằng một biến tùy ý trong production. Hãy đóng gói base URL, source Region, model ID và chính sách dữ liệu thành một cấu hình triển khai duy nhất, đồng thời giới hạn quyền sử dụng hồ sơ Global nếu tổ chức có kiểm soát vùng.
Chọn Responses, Chat Completions hay Converse
GPT-6 Astra hỗ trợ Responses và Chat Completions trên cả hai endpoint. Converse chỉ có trên Runtime; Messages và Invoke không được model card liệt kê là API được hỗ trợ cho mô hình này trên hai endpoint.
- Responses: phù hợp với tích hợp mới, đặc biệt khi cần tool calling hoặc các khả năng gắn với giao diện Responses.
- Chat Completions: phù hợp khi ứng dụng hiện hữu sử dụng cấu trúc messages và không phụ thuộc vào tính năng chỉ có ở Responses.
- Converse: dùng qua Runtime khi ứng dụng đã chuẩn hóa trên API Bedrock này; không chuyển nguyên payload của OpenAI sang Converse.
Hướng dẫn mô hình của OpenAI xác nhận GPT-6 Astra có Structured Outputs, streaming, Programmatic Tool Calling, prompt caching và compaction, đồng thời yêu cầu Responses cho tool calling. Tuy nhiên, đây là năng lực trên bề mặt API của OpenAI: khi chạy qua Bedrock, phải đối chiếu thêm giới hạn của từng endpoint. Chẳng hạn, AWS ghi Structured Outputs không được hỗ trợ trên Runtime, còn prompt caching của Mantle gắn với Responses.
Kiểm tra quota và cư trú dữ liệu trước production
Trước tiên, gửi một request ngắn, không streaming, rồi ghi lại endpoint, source Region, model ID, mã HTTP và request ID. Chỉ bật streaming, công cụ hoặc đầu vào dài sau khi request cơ bản thành công; như vậy lỗi xác thực, định tuyến và payload không bị trộn lẫn.
Kiểm tra Service Quotas trong đúng tài khoản và source Region dùng để triển khai. Không suy ra hạn mức của Runtime từ Mantle hoặc từ một mô hình khác; hãy thử tải với độ dài đầu ra và mức đồng thời gần workload thực tế.
Về ranh giới dữ liệu, tài liệu Cross-Region inference của AWS nêu rằng Geo chỉ định tuyến trong khu vực địa lý đã chọn, còn Global có thể xử lý request tại bất kỳ AWS commercial Region được hỗ trợ nào trên thế giới. AWS cũng lưu ý traffic Cross-Region vẫn đi trên mạng AWS và được mã hóa, nhưng điều đó không biến Global thành một lựa chọn đáp ứng yêu cầu cư trú theo địa lý.
- Phân loại dữ liệu trong prompt, tệp đính kèm và kết quả do công cụ truy xuất.
- Xác định chính sách cho phép một Region, một khu vực địa lý hay xử lý toàn cầu.
- Đối chiếu chính sách với Mantle In-Region tại us-west-2, Runtime Geo US hoặc Runtime Global.
- Kiểm tra IAM và SCP có cho phép đầy đủ các Region đích của hồ sơ Geo đã chọn hay không.
- Khóa endpoint và model ID thành một cấu hình được phê duyệt; không tự động chuyển sang Global khi Geo bị lỗi hoặc throttling.
Nếu chính sách bắt buộc dữ liệu ở một Region ngoài us-west-2, các lựa chọn được AWS công bố cho GPT-6 Astra chưa đáp ứng điều kiện đó: Runtime không có In-Region, còn Mantle chỉ có tại Oregon. Khi ấy, chuyển sang Global không phải cách khắc phục; cần chọn mô hình hoặc kiến trúc khác có phạm vi xử lý phù hợp.
Đọc thêm:
Đăng ký bản tin
Nhận tin Web3, AI và tiền mã hóa mới nhất ngay trong hộp thư.