Phi жасанды интеллект үлгісі Microsoft - кішкентай, арзан және «галлюцинациядан» зардап шекпейді. Болашағы зор болады деп болжанған жаңа тіл үлгісі туралы олар осылай дейді.
GPT өте жақсы, бірақ сонымен бірге ол өте қымбат және ол барлығына мінсіз бола алмайды. Осы және басқа да көптеген себептер бойынша Microsoft әлдеқайда кішірек AI үлгілерімен тәжірибе жасауда. Phi-3-mini OpenAI инженерлерінің жұмысын тіпті ұятқа қалдырады дейді.
Сондай-ақ қызықты: Болашақ транзисторлары: бізді чиптердің жаңа дәуірі күтіп тұр
ChatGPT панацея емес
ChatGPT - қаржыландырылатын, таңдалған және жетілдірілетін өнертабыс Microsoft. Шын мәнінде, ол тиесілі емес Microsoft, және OpenAI компаниясы, ол Microsoft иеленбейді (ол ірі инвестор болмаса да, жетекші болып табылады). GPT тіл үлгісін берді Microsoft қазір қуып жетуге асығып жатқан басқа ірі технологиялық корпорацияларға қарағанда үлкен артықшылық. Дегенмен, GPT-те көптеген мәселелер бар, олардың көпшілігі әлі шешілмейді.
Біріншіден, бұл өте ресурстарды қажет ететін тіл үлгісі. Вебке бағытталған Microsoft OpenAI Copilot немесе ChatGPT өте жоғары операциялық шығындарды тудырады Microsoft. Бұл GPT ғана емес, сонымен қатар барлық негізгі тіл үлгілерінің мүмкіндігі. Сонымен қатар, GPT, бәсекелестері сияқты, «галлюцинацияларға» бейім, яғни ол жалған немесе жаңылыстыратын ақпаратты қамтитын сұрауларға жауаптар жасай алады. Мұндай модель неғұрлым көп деректерді сіңірсе, соғұрлым ол ұқсас мазмұнды жасауға бейім болады. Сондықтан галлюцинациялар мен жалған мәлімдемелер сандық саусақтан сорылған миф емес. Пайдаланушылар үлкен тіл үлгілерінің жиі қателесетінін, дәл емес деректер беретінін және жоқ фактілермен әрекет ететінін жиі атап өтеді.
Екі мәселе де өте маңызды, сондықтан OpenAI, Microsoft, Meta, Google және т.б. Үлкен тіл үлгісі технологиясын ғана емес, сонымен қатар іс жүзінде әлдеқайда жақсы нәтиже беретін шағын тіл үлгісін әзірлеуде.
Сандық бухгалтердің көмекшісіне кванттық физика туралы көп білудің қажеті жоқ. Ол әлдеқайда аз және аз күрделі болуы мүмкін (және, демек, арзан), және тек оның мақсаты үшін қажетті деректерге оқыту арқылы, теориялық галлюцинация аз болуы керек. Дегенмен, бұл айтқаннан гөрі оңай. GenAI технологиясы әлі де жабайы АТ кәсіпорны болып табылады. Жұмыс бұрын-соңды болмаған қарқынмен жүріп жатқанымен, іргелі мәселелер бойынша іс жүзінде серпіліс жасау әлі де қиын. Бірақ компания Microsoft жақында осындай серпіліс жариялады. Біз шағын тілдік модель туралы айтып отырмыз Microsoft Phi.
Сондай-ақ қызықты: Тайвань, Қытай және АҚШ технологиялық үстемдік үшін қалай күресіп жатыр: ұлы чип соғысы
Не туралы белгілі Microsoft Фи
Ең алдымен, эксперимент OpenAI компаниясының қатысуынсыз жүргізілгенін айта кеткен жөн. Яғни, бұл инженерлердің дамуы Microsoft.
Модельдер Microsoft Phi - әртүрлі сынақтарда ерекше нәтижелерге қол жеткізетін шағын тіл үлгілерінің сериясы (SLM). Бірінші модель, Phi-1, 1,3 миллиард параметрге ие болды және қолданыстағы SLM арасында Python кодтауының ең жақсы нәтижелеріне қол жеткізді.
Содан кейін әзірлеушілер тілді түсінуге және ойлауға баса назар аударып, Phi-1.5 моделін жасады, оның да 1,3 миллиард параметрі бар және параметрлері бес есе жоғары үлгілермен салыстырылатын өнімділік көрсетті.
Phi-2 - 2,7 миллиард параметрі бар ең жақсы базалық үлгілер деңгейінде жұмыс істейтін, керемет ойлау және тілді түсіну мүмкіндіктерін көрсететін 13 миллиард параметр үлгісі. Phi-2 басқа модельдерден модельді масштабтаудағы және деректерді өңдеуді үйретудегі инновацияларының арқасында ерекшеленеді.
Ол тіл үлгілері саласындағы зерттеулер мен әзірлемелерді жеңілдететін Azure AI Studio үлгі каталогында қол жетімді. Phi-2 2023 жылдың желтоқсанында ұшырылды. Әзірлеушілер оның Meta-дан Mistral немесе llama 2 сияқты жұмыс істейтініне сендіреді. Ал Phi-3 алдыңғы нұсқадан да жақсы жұмыс істейді.
Дегенмен, жаңа ғана жарияланған Phi-3 моделі сапасы жағынан мүлдем жаңа. Кем дегенде, сіз берілген ақпаратқа сүйене отырып, қорытынды жасай аласыз Microsoft. Компанияның мәліметі бойынша, барлық белгілі эталондардың көрсеткіштері бойынша Phi-3 ұқсас өлшемдегі кез келген басқа модельден, соның ішінде тілдік талдауды, бағдарламалау жұмысын немесе математикалық жұмысты жақсырақ орындайды.
Бұл модельдің ең кішкентай нұсқасы болып табылатын Phi-3-mini барлық мүдделі тараптар үшін қолжетімді болды. Яғни, 23 сәуірден бастап қолжетімді. Phi-3-mini өлшемдер бойынша 3,8 миллиард параметрі бар Microsoft, бірдей өлшемдегі кез келген басқа модельден екі есе тиімді. Оны бұлттық қызметтің AI үлгілерінің каталогынан табуға болады Microsoft Azure, Hugging Face машиналық оқыту моделінің платформасы және Ollama, жергілікті компьютерде модельдерді іске қосу үшін негіз.
Ол мәлімдегендей Microsoft, Phi-3-mini қуатты чиптерді қажет етпейді Nvidia. Модель қарапайым компьютерлік чиптерде жұмыс істей алады. Немесе Интернетке қосылмаған телефонға да сәйкес келеді.
Қуаттың аз болуы модельдердің дәл болмайтынын білдіреді. Phi-3 дәрігерлерге немесе салық есепшілеріне жарамайды, бірақ қарапайым тапсырмаларды орындауға көмектеседі. Мысалы, Интернеттегі жарнамаға немесе шолуларды қорытындылауға арналған.
Кішігірім үлгілер аз өңдеуді қажет ететіндіктен, олар жеке компаниялар үшін арзанырақ болады. Яғни, в Microsoft AI-ды өз жұмысына тартқысы келетін, бірақ оны тым қымбат деп санайтын тұтынушылар көп болады. Алайда олардың қанша тұратыны әзірге белгісіз.
Шағын және орта модельдердің қашан пайда болатыны әзірге белгісіз. Бірақ соңғысы күштірек және қымбатырақ болады. Phi-3-small 7 миллиард параметрге, ал Phi-3-medium 14 миллиард параметрге ие болатыны белгілі болғанымен.
Сондай-ақ оқыңыз:
- Графен микрочиптері телефондарды жылдам әрі жеңілдетеді
- Кванттық компьютерлер туралы қарапайым сөздермен
Phi-3-mini қалай пайдалануға болады?
GPT-4 Turbo қуатты AI чиптерін қажет етеді, олар әлі де өте қымбат. Phi-3 шағын сөйлеу моделі офлайн режимінде, бұлтсыз, тіпті ұялы телефондағы чиппен де жұмыс істей алады.
Phi-3 - бұл түпкі пайдаланушыларға арналған өнім емес, әзірлеушілер бұлтқа негізделген, яғни қашықтан орналасқан, сонымен қатар жергілікті және офлайн режимінде жұмыс істейтін қолданбаларында қолданып, енгізе алатын технология. Ол ұялы телефондар, автомобильдер және олардың ақпараттық ойын-сауық жүйелері немесе тіпті IoT сенсорлары сияқты құрылғылармен және олардың құрамдас бөліктерімен үздіксіз жұмыс істейді деп күтілуде. Кейбір сценарийлерде бұл технология баға жетпес болуы мүмкін.
Microsoft тіпті қиялымызды тоздырмас үшін нақты мысал келтіреді. Елестетіп көріңізші, фермер өз егінін тексеріп, жапырақтарда, сабақтарда және бұтақтарда аурудың белгілерін көреді. Телекоммуникациялық діңгектерден алыс болғандықтан, ол тек телефонын шығарып, зақымдалған жерді суретке түсіріп, оны Phi-3 технологиясын қолданатын қолданбаға салуы керек - және модель фотосуретті тез және офлайн режимінде талдап, кеңес береді. бұл аурумен қалай күресуге болады.
Ол түсіндіретіндей Microsoft, GPT табысының кілті оқыту үшін деректердің үлкен көлемін алу болды. Осындай үлкен деректер жиынтығымен деректердің жоғары сапасы сөзсіз. Сонымен қатар, Phi моделін оқыту кезінде OpenAI әдісіне дәл қарама-қарсы әдіс қолданылды. Модельді ақпаратпен толтырудың орнына, қосымша және мұқият оқытуға назар аударылды.
Шикі интернет деректерін пайдаланудың орнына зерттеушілер Microsoft миллиондаған миниатюралық «нәресте» әңгімелерін құра отырып, TinyStories деректер жинағын жасады. Бұл әңгімелер өте кішкентай тілдік үлгілерді жаттықтыру үшін пайдаланылды. Содан кейін зерттеушілер білім беру мәні мен мазмұн сапасы үшін сүзгіден өткен мұқият таңдалған, жалпыға қолжетімді деректерді пайдаланатын CodeTextbook деректер жинағын жасау арқылы әрі қарай жүрді. Содан кейін бұл деректер бірнеше рет сүзіліп, одан әрі синтездеу үшін үлкен тіл үлгісіне (LLM) қайтарылды.
Осының бәрі қабілетті SLM үйрету үшін жеткілікті деректер массивін жасауға мүмкіндік берді. Бұдан басқа, Phi-3 моделін әзірлеу кезінде бағалауды, тестілеуді және қолмен түзетуді қоса алғанда, тәуекелдерді басқару мен азайтудың көп деңгейлі тәсілі қолданылды. Нәтижесінде, ол мәлімдегендей Microsoft, Phi-3 модельдер тобын пайдаланатын әзірлеушілер қауіпсіз және сенімді қолданбаларды құру үшін Azure AI жүйесінде қолжетімді құралдар жиынтығының артықшылығын пайдалана алады.
Сондай-ақ оқыңыз: Ғылыми тұрғыдан телепортация және оның болашағы
Microsoft Phi ChatGPT үлгілерін ауыстыра ма?
Ештене етпейді. Шағын тіл үлгілері (SLM), тіпті жоғары сапалы деректерге үйретілген болса да, олардың шектеулері бар және терең үйренуге арналмаған. Үлкен тілдік модельдер (LLM) өлшемдері мен есептеу қуатына байланысты күрделі пайымдауларда SLM-ден асып түседі. LLM ғылыми зерттеулердің үлкен жинақтарын іздеу және күрделі үлгілерді талдау қажет дәрілерді табу сияқты салаларда әсіресе пайдалы және бола береді. Екінші жағынан, SLM ұзақ мәтіндік құжаттың негізгі нүктелерін қорытындылау, мазмұн жасау немесе тұтынушыларға қызмет көрсету чат-боттарын қосу сияқты қарапайым тапсырмалар үшін пайдаланылуы мүмкін.
Microsoft, деді ол, қазірдің өзінде гибридті модель жиынтықтарын іштей қолданады, мұнда LLM жетекшілік етеді, аз есептеу қуатын қажет ететін белгілі бір сұрауларды SLM-ге бағыттайды, ал ол басқа, күрделірек сұрауларды өзі өңдейді. Phi бұлтты қолданбай құрылғыларда есептеуге арналған. Дегенмен, шағын тіл үлгілері мен бұлттағы үлкен үлгілермен алуға болатын интеллект деңгейі арасында әлі де алшақтық болады. Бұл олқылық, LLM үздіксіз дамуының арқасында, жақын арада жойылуы екіталай.
Phi-3 әлі сыртқы тәуелсіз тараптармен расталған жоқ. Microsoft кейде бәсекелестермен салыстырғанда 25 есе жоғары тиімділік немесе төтенше жағдайларда энергия тиімділігі туралы айтады, бұл өте керемет естіледі. Екінші жағынан, бұл жылдар өткенін ұмытуға болмайды Microsoft ол бізді IT инновацияларында айқын көшбасшы екендігінен аздап айырды, мүмкін, сондықтан біз оған шынымен сенбейміз. Жасау орнына дереу жауап беретін және офлайн режимде жұмыс істейтін AI негізіндегі бағдарламалар? Бұл қазіргі революцияның лайықты шыңы болар еді. Өкінішке орай, бір негізгі мәселе бар.
Сондай-ақ оқыңыз: Neuralink Telepathy чипі туралы барлығы: бұл не және ол қалай жұмыс істейді
Phi-3 бастап Microsoft тек ағылшын тілін ғана түсінеді
Фи-3 оған жаппай лақтырылған петабайттарды жұтып қойған жоқ. Модельді мұқият және мұқият оқыту бір кішігірім мәселені қамтиды. Phi-3 ағылшын тілінде ақпаратпен оқытылды және әзірге басқа тіл туралы білмейді. Тек украин ғана емес, сонымен қатар неміс, испан, француз немесе қытай. Әрине, бұл бүкіл әлемдегі көптеген пайдаланушылар үшін оның тартымдылығын айтарлықтай төмендетеді.
Бірақ ішінде Microsoft дамыту және жетілдіру жұмыстары жүргізіліп жатқанына сендірді. Украина нарығы кез келген ірі корпорациялар үшін басымдық болып табылады деп өзіңізді алдамауыңыз керек. Сондықтан украин тілінің қолдауын өте ұзақ күтуге тура келеді. Бірақ бұл факт энтузиастарды және прогреске ілесуді қалайтындарды ешқашан тоқтатқан жоқ.
Сондай-ақ оқыңыз: