জেমিনি মডেলদের দীর্ঘ প্রেক্ষাপটের সাথে সুপারচার্জিং এআই কোডিং সহকারী

দীর্ঘ-প্রসঙ্গ উইন্ডো প্রয়োগের ক্ষেত্রে সবচেয়ে উত্তেজনাপূর্ণ সীমানাগুলির মধ্যে একটি হল কোড তৈরি এবং বোঝাপড়া। বৃহৎ কোডবেসের জন্য জটিল সম্পর্ক এবং নির্ভরতা সম্পর্কে গভীর ধারণা প্রয়োজন, যা ঐতিহ্যবাহী এআই মডেলগুলি বুঝতে লড়াই করে। বৃহৎ প্রসঙ্গ উইন্ডো ব্যবহার করে কোডের পরিমাণ বৃদ্ধি করে, আমরা কোড তৈরি এবং বোঝাপড়ায় নির্ভুলতা এবং উপযোগিতার একটি নতুন স্তর আনলক করতে পারি।

আমরা Sourcegraph-এর সাথে অংশীদারিত্ব করেছি, Cody AI কোডিং সহকারীর নির্মাতা যা Gemini 1.5 Pro এবং Flash-এর মতো LLM-গুলিকে সমর্থন করে, বাস্তব-বিশ্বের কোডিং পরিস্থিতিতে দীর্ঘ প্রসঙ্গ উইন্ডোর সম্ভাবনা অন্বেষণ করার জন্য। Sourcegraph-এর AI কোড জেনারেশনে কোড অনুসন্ধান এবং বুদ্ধিমত্তাকে একীভূত করার উপর মনোযোগ এবং Palo Alto Networks এবং Leidos-এর মতো বৃহৎ, জটিল কোডবেস সহ উদ্যোগগুলিতে Cody-এর সফল স্থাপনা, তাদের এই অনুসন্ধানের জন্য আদর্শ অংশীদার করে তুলেছে।

সোর্সগ্রাফ কোডির পারফরম্যান্সকে ১ মিলিয়ন টোকেন কনটেক্সট উইন্ডোর (গুগলের জেমিনি ১.৫ ফ্ল্যাশ ব্যবহার করে) সাথে তার প্রোডাকশন ভার্সনের তুলনা করেছে। এই সরাসরি তুলনা তাদের বর্ধিত কনটেক্সটের সুবিধাগুলি আলাদা করতে সাহায্য করেছে। তারা প্রযুক্তিগত প্রশ্নের উত্তর দেওয়ার উপর মনোনিবেশ করেছে, যা বৃহৎ কোডবেস নিয়ে কাজ করা ডেভেলপারদের জন্য একটি গুরুত্বপূর্ণ কাজ। তারা চ্যালেঞ্জিং প্রশ্নের একটি ডেটাসেট ব্যবহার করেছে যার জন্য গভীর কোড বোঝার প্রয়োজন।

ফলাফল ছিল অসাধারণ। সোর্সগ্রাফের তিনটি মূল মানদণ্ড - এসেনশিয়াল রিকল, এসেনশিয়াল কনসিশন এবং হেল্পফুলনেস - দীর্ঘ প্রেক্ষাপট ব্যবহার করার সময় উল্লেখযোগ্য উন্নতি প্রদর্শন করেছে।

• অপরিহার্য প্রত্যাহার: প্রতিক্রিয়ায় গুরুত্বপূর্ণ তথ্যের অনুপাত উল্লেখযোগ্যভাবে বৃদ্ধি পেয়েছে।

• অপরিহার্য সংক্ষিপ্তকরণ: প্রতিক্রিয়ার দৈর্ঘ্যের দ্বারা স্বাভাবিক করা অপরিহার্য তথ্যের অনুপাতও উন্নত হয়েছে, যা আরও সংক্ষিপ্ত এবং প্রাসঙ্গিক উত্তরগুলি নির্দেশ করে।

• সহায়কতা: প্রতিক্রিয়ার দৈর্ঘ্যের ভিত্তিতে স্বাভাবিক করা সামগ্রিক সহায়কতা স্কোর উল্লেখযোগ্যভাবে বৃদ্ধি পেয়েছে, যা আরও ব্যবহারকারী-বান্ধব অভিজ্ঞতা নির্দেশ করে।

অধিকন্তু, দীর্ঘ-প্রসঙ্গ মডেল ব্যবহারের ফলে সামগ্রিক হ্যালুসিনেশন হার (প্রকৃতপক্ষে ভুল তথ্যের উৎপত্তি) মারাত্মকভাবে হ্রাস পেয়েছে। হ্যালুসিনেশন হার ১৮.৯৭% থেকে ১০.৪৮% এ কমেছে, যা নির্ভুলতা এবং নির্ভরযোগ্যতার ক্ষেত্রে উল্লেখযোগ্য উন্নতি।

দীর্ঘ প্রেক্ষাপটের সুবিধাগুলি তাৎপর্যপূর্ণ হলেও, কিছু বিনিময়ও রয়েছে। প্রথম টোকেনের সময় প্রসঙ্গের দৈর্ঘ্যের সাথে রৈখিকভাবে বৃদ্ধি পায়। এটি কমাতে, সোর্সগ্রাফ মডেল এক্সিকিউশন স্টেট ক্যাশিংয়ের জন্য একটি প্রিফেচিং প্রক্রিয়া এবং একটি স্তরযুক্ত প্রেক্ষাপট মডেল আর্কিটেকচার বাস্তবায়ন করেছে। জেমিনি 1.5 ফ্ল্যাশ এবং প্রো দীর্ঘ-প্রেক্ষাপট মডেলগুলির সাহায্যে, এটি 1MB প্রেক্ষাপটের জন্য প্রথম টোকেনের সময়কে 30-40 সেকেন্ড থেকে প্রায় 5 সেকেন্ডে অপ্টিমাইজ করেছে - রিয়েল-টাইম কোড জেনারেশন এবং প্রযুক্তিগত সহায়তার জন্য একটি উল্লেখযোগ্য উন্নতি।

এই সহযোগিতা কোড বোঝাপড়া এবং প্রজন্মের বিপ্লবে দীর্ঘ-প্রসঙ্গ মডেলগুলির রূপান্তরমূলক সম্ভাবনা প্রদর্শন করে। বৃহৎ প্রসঙ্গ উইন্ডোগুলির মাধ্যমে আরও উদ্ভাবনী অ্যাপ্লিকেশন এবং দৃষ্টান্তগুলি আনলক করার জন্য আমরা সোর্সগ্রাফের মতো কোম্পানিগুলির সাথে অংশীদারিত্ব করতে পেরে আনন্দিত।

সোর্সগ্রাফের বিস্তারিত মূল্যায়ন পদ্ধতি, মানদণ্ড এবং বিশ্লেষণ, উদাহরণস্বরূপ উদাহরণ সহ, আরও গভীরভাবে জানতে, তাদের গভীর ব্লগ পোস্টটি মিস করবেন না।