Изкуствен интелект-Llama 2 от Meta - следващата стъпка в генерирането на текст
В света на генеративните AI модели всеки ден се появяват нови и нови играчи. Най-новото попълнение в тази област идва от Meta, която обяви новото си семейство от AI модели, наречено Llama 2. Тези модели са създадени с цел да подпомагат приложения като ChatGPT на OpenAI, Bing Chat и други съвременни чатботове.
Llama 2: Новото поколение
Llama 2 е наследник на Llama - съвкупност от модели, които могат да генерират текст и код в отговор на подтиквания, сравними с други системи тип чатбот. Въпреки това, Llama беше достъпна само по заявка, тъй като Meta реши да ограничи достъпа до моделите от страх от злоупотреба. Въпреки тази предпазна мярка, Llama по-късно се появи онлайн и се разпространи в различни AI общности.
Какво прави Llama 2 различна?
Llama 2 се различава от своя предшественик по няколко начина, всички от които Meta подчертава в обширна бяла книга. Llama 2 идва в две вариации, Llama 2 и Llama 2-Chat, като последната е фино настроена за двупосочни разговори. Llama 2 и Llama 2-Chat се разделят допълнително на версии с различна сложност: 7 милиарда параметъра, 13 милиарда параметъра и 70 милиарда параметъра.
Подобрения в Llama 2
Llama 2 е обучена на два трилиона токена, където "токени" представляват суров текст - например "фан", "тас" и "тик" за думата "фантастично". Това е почти два пъти повече от това, на което е обучена Llama (1.4 трилиона), и - като общо правило - колкото повече токени, толкова по-добре, когато става въпрос за генеративен AI.
Ограничения и предизвикателства
Въпреки всички подобрения, Meta признава, че Llama 2, както всички генеративни AI модели, има своите предизвикателства. Например, моделът е склонен да генерира местоимението "той" по-често от "тя" поради небаланси в обучаващите данни. В резултат на токсичния текст в обучаващите данни, той не превъзхожда другите модели по отношение на токсичността. И Llama 2 има западен наклон, отново благодарение на небаланси в данните, включително изобилие на думите "християнин", "католик" и "еврей".
Заключение
Въпреки всички предизвикателства, Meta продължава да вярва в откритостта на големите езикови модели и се надява, че това ще подпомогне развитието на полезен и по-безопасен генеративен AI. "Очакваме с нетърпение да видим какво ще построи светът с Llama 2", пише Meta в блог поста си.
- Какви са предимствата на Llama 2 спрямо други AI модели? Llama 2 е обучена на значително по-голям брой токени в сравнение с много други модели, което обикновено води до по-добри резултати при генериране на текст.
- Какви са недостатъците на Llama 2? Llama 2 има някои предизвикателства, включително склонност към генериране на определени местоимения повече от други и небаланси в обучаващите данни, които могат да доведат до наклони в генерирания текст.
- Какво означава, че Llama 2 е "фино настроена за двупосочни разговори"? Това означава, че моделът е обучен и оптимизиран за водене на разговори, в които има взаимодействие между две страни, например между чатбот и потребител.
- Какво означава, че Llama 2 е обучена на "два трилиона токена"? Това означава, че моделът е обучен на огромно количество текстови данни. В този контекст, "токен" обикновено представлява единица текст, като дума или символ.
- Какво означава, че Llama 2 има "западен наклон"? Това означава, че моделът може да има склонност да генерира текст, който отразява западни възгледи или перспективи, поради небаланси в обучаващите данни.
Изтегляне на модел
Можете да изтеглите и да играете с модела, като попълните въпросник тук . Картата на модела е достъпна в GitHub .
Лама 2 Изтегляне
This release includes model weights and starting code for pretrained and fine-tuned Llama language models — ranging from 7B to 70B parameters.
Тази статия е написана от Тони Ангелчовски и е публикувана ексклузивно във форума на DT Garage. Всички права са запазени. Забранено е всякакво копиране, разпространение или използване на тази статия без изричното писмено разрешение на автора.
Знаете ли, че работим 24x7, за да ви предоставим най-добрите статии и уроци...?
Коментари (1)
Мечо Мечока
Със сигурност, новата версия на Llama, Llama 2, представена от Meta, е важна стъпка напред в сферата на изкуствения интелект и генерирането на текст. Тази нова версия на модела е обучена на два трилиона токени, което е значително увеличение в сравнение с предшественика си. Това подобрение би трябвало да доведе до по-добри резултати при генериране на текст, което е основна цел на тези модели.
Освен това, Llama 2 е фино настроена за двупосочни разговори, което я прави идеална за приложения като чатботове. Това е важна характеристика, тъй като воденето на естествени и свързани разговори е едно от най-големите предизвикателства пред AI в момента.
Въпреки тези подобрения, обаче, Llama 2 има своите предизвикателства. Например, моделът има склонност да генерира местоимението "той" по-често от "тя", което е резултат от небаланси в обучаващите данни. Също така, моделът има "западен наклон", което означава, че може да генерира текст, който отразява западни възгледи или перспективи.
Въпреки тези предизвикателства, Meta продължава да вярва в откритостта на големите езикови модели и се надява, че това ще подпомогне развитието на полезен и по-безопасен генеративен AI. Това е важно, тъй като AI продължава да играе все по-голяма роля в нашето общество, и е важно да се стремим към модели, които са не само ефективни, но и етични.