Мета платформалар Калифорниядағы жыл сайынғы Meta Connect іс-шарасында ұсынылған оның танымал қолданбалары үшін бірнеше жаңа AI мүмкіндіктері Facebook, Instagram және WhatsApp, бірақ технологиялық алпауыттың ең әсерлі жаңалығы көпшіліктің назарынан тыс қалған болуы мүмкін. Біз Llama 2 Long AI моделі туралы айтып отырмыз.
Meta компаниясының зерттеушілер тобы қандай да бір түрде мақаланы үнсіз жариялады, онда олар пайдаланушылардың ұзақ сұрауларына дәйекті және сәйкес жауаптар бере алатын Llama 2 Long жасанды интеллектінің жаңа үлгісін ұсынды. Олардың айтуынша, бұл саладағы ең жақсы бәсекелестерден асып түседі.
Llama 2 Long - бұл кеңейтім лама 2, әртүрлі деректер көздерінен үйренетін және кодтау, математика, тілді түсіну және т.б. сияқты әртүрлі тапсырмаларды орындай алатын ашық бастапқы AI үлгісі Meta жазда шығарылды. Дегенмен, Llama 2 Long ұзағырақ мәтіндерді қамтитын көбірек деректерге үйретілді және бұл алгоритм ақпараттың ұзағырақ тізбектерін өңдеу үшін өзгертілді. Бұл оның OpenAI-дің GPT-3.5 Turbo және Claude 2 нұсқаларынан асып түсуіне мүмкіндік береді, олар жауаптарды жасау үшін пайдалана алатын контекст көлеміне шектеулер қояды.
Зерттеушілер Meta Llama 2-нің әртүрлі нұсқаларын пайдаланды - 7 миллиардтан 70 миллиардқа дейін параметрлер, яғни деректерден үйрену арқылы AI моделі өзгерте алатын мәндер. Олар бастапқы үлгі деректер жинағына қарағанда ұзағырақ мәтіндерді қамтитын деректердің тағы 400 миллиард таңбалауышын (мәтін бірлігі) қосты. Сондай-ақ, олар AI моделінің архитектурасын Rotary Positional Embedding (Rotary Positional Embedding) әдісі арқылы аздап өзгертті, осылайша модель басқа әдістерге қарағанда аз ақпарат пен жадты пайдаланып дәл және пайдалы жауаптар жасай алады.
Команда адамның кері байланысынан (RLHF) оқытуды күшейту әдісін қолданды, бұл әдіс AI моделі дұрыс жауаптар үшін марапатталады және адам бағалаушылары түзетеді, ал синтетикалық деректерді Llama 2 чаты өзі жасайды. Оның әртүрлі тапсырмалардағы өнімділігін жақсарту үшін. .
Қағазда модельдің ұзындығы 200 40 таңбаға дейінгі пайдаланушы сұрауларына, шамамен 2 мәтін парағына сәйкес келетін жоғары сапалы жауаптар жасай алатынын мәлімдейді. Зерттеушілердің айтуынша, Llama XNUMX Long - бұл пайдаланушылардың күрделі және әртүрлі қажеттіліктерін қанағаттандыра алатын жалпы және жан-жақты AI үлгілерін жасауға бағытталған қадам. Олар сондай-ақ мұндай үлгілердің әлеуетті этикалық және әлеуметтік салдарын мойындайды және оларды жауапкершілікпен және тиімді пайдалану жолын одан әрі зерттеу мен диалогқа шақырады.
Сондай-ақ оқыңыз: