Portkey – একাধিক মডেলের অ্যাপের জন্য AI গেটওয়ে ও LLMOps নিয়ন্ত্রণ স্তর | Quasa.io

#Quasa #QUA #Portkey

Portkey হলো একটি AI গেটওয়ে ও LLMOps নিয়ন্ত্রণ স্তর, যা আপনার অ্যাপ ও আপনার ডাকা মডেলগুলোর মাঝখানে থাকে। OpenAI-সামঞ্জস্যপূর্ণ একটি API দিয়ে 1,600+ মডেল ও 40+ সরবরাহকারীর মধ্যে ট্র্যাফিক পাঠানো যায়। এতে রয়েছে বিকল্প ব্যবস্থায় যাওয়া, লোডের ভারসাম্য রক্ষা, পুনঃচেষ্টা, ক্যাশিং, লগ, ট্রেস, খরচের হিসাব, সুরক্ষাবিধি, প্রম্পট ব্যবস্থাপনা ও একটি MCP গেটওয়ে। মূল গেটওয়েটি MIT লাইসেন্সের উন্মুক্ত সোর্স সফটওয়্যার; হোস্ট করা পণ্যটিতে পর্যবেক্ষণ ও পরিচালন নিয়ন্ত্রণের সুবিধা যোগ হয়। বাণিজ্যিক অগ্রগতির পথ এখন Palo Alto Networks / Prisma AIRS-এর সঙ্গে যুক্ত। প্রধান সরঞ্জাম: Universal API, রাউটিং ও বিকল্প ব্যবস্থায় স্থানান্তর, সাধারণ + অর্থভিত্তিক ক্যাশ, পর্যবেক্ষণ (লগ/ট্রেস/খরচ), সুরক্ষাবিধি ও PII আড়াল করা, প্রম্পট স্টুডিও, ভার্চুয়াল কী/বাজেট, MCP গেটওয়ে। মূল্য: Developer বিনামূল্যে (10k লগ/mo, 3 দিন সংরক্ষণ)। Production $49/mo (100k লগ, প্রতি অতিরিক্ত 100k-এর জন্য +$9)। Enterprise প্রয়োজন অনুযায়ী মূল্য নির্ধারণ (VPC, SSO, SOC2/HIPAA)। OSS নিজস্ব অবকাঠামোয় হোস্ট করলে সফটওয়্যার বিনামূল্যে, সঙ্গে আপনার অবকাঠামোর খরচ।

প্রধান শক্তি
• মডেলের বিশাল তালিকার জন্য একটি API
• প্রোডাকশন ব্যবহারের নিয়ন্ত্রণ: বিকল্প ব্যবস্থা, ক্যাশ, বাজেট, সুরক্ষাবিধি
• অনুরোধের গভীর পর্যবেক্ষণ
• বিনামূল্যের স্তর + MIT লাইসেন্সের উন্মুক্ত সোর্স গেটওয়ে
• Prisma AIRS-এর মাধ্যমে এন্টারপ্রাইজ পর্যায়ে যাওয়ার পথ  

যাদের জন্য আদর্শ
একাধিক মডেলের LLM অ্যাপ বা এজেন্ট চালানো দল, যাদের প্রতিটি সরবরাহকারীর সঙ্গে আলাদাভাবে সংযোগ স্থাপন না করেই নির্ভরযোগ্যতা, খরচ নিয়ন্ত্রণ ও পরিচালন নিয়ন্ত্রণ প্রয়োজন।

উল্লেখযোগ্য দিক
• সরাসরি যুক্ত করা যায় এমন OpenAI-সামঞ্জস্যপূর্ণ সংযোগব্যবস্থা
• অর্থভিত্তিক ক্যাশিং টোকেনের খরচ কমাতে পারে
• প্রম্পটের সংস্করণ ব্যবস্থাপনা + পরীক্ষার পরিবেশ
• 3,000+ GenAI দল ব্যবহার করে বলে দাবি  

সম্ভাব্য বিবেচ্য বিষয়
• অর্থের বিনিময়ে মূলত লগ/সংরক্ষণকাল ও পরিচালন নিয়ন্ত্রণের সুবিধা মেলে, সরাসরি অনুরোধ প্রক্রিয়াকরণের ক্ষমতা নয়
• বিনামূল্যের লগ 10k-তে থেমে যায় (অনুরোধ চলতে থাকে)
• অধিগ্রহণ দীর্ঘমেয়াদি পরিকল্পনা বদলে দেয়
• OpenRouter-এর মতো মডেলের বাজার নয়  

সামগ্রিক মূল্যায়ন
4.4/5 তারকা। আপনার নিজের কী আগে থেকেই থাকলে এবং রাউটিংয়ের পাশাপাশি পর্যবেক্ষণ প্রয়োজন হলে এটি প্রোডাকশন ব্যবহারের জন্য একটি শক্তিশালী গেটওয়ে। বিনামূল্যের স্তর দিয়ে শুরু করুন, তারপর কেবল দীর্ঘ সময়ের লগ, অর্থভিত্তিক ক্যাশ ও RBAC প্রয়োজন হলেই $49-এর স্তরে যান। Quasa.io-তে পর্যালোচনা লিখেও 1 QUA পুরস্কার অর্জন করুন!

শুরু করুন: https://quasa.io/projects/portkey