В Стэнфорде создали аналог ChatGPT, потратив на обучение модели всего $600

Языковые модели становятся пугающе доступными. ИИ Alpaca по многим параметрам не уступает нашумевшему ChatGPT, но создан на языковой модели с открытым кодом, а его обучение стоит менее $600. Похоже, что в скором времени нас ожидает волна созданных буквально «на коленке» бесконтрольных и нерегулируемых ИИ с возможностями, пределы которых никому толком неизвестны.

Полгода назад только исследователи и эксперты следили за развитием больших языковым моделей. Появление ChatGPT в конце 2022-го выпустило джинна из бутылки. Теперь машины в состоянии общаться с людьми так, что их почти невозможно отличить от собеседников из плоти и крови. Они умеют мгновенно сочинять поэмы и писать программный код, и совершенствуются с астрономической скоростью, угрожая изменить общество еще до того, как мы это успеем осознать.

Многие другие компании — Google, Apple, Baidu, Amazon — тоже стараются не отставать и как можно скорее представить собственные разработки, подключив их к всевозможным приложениям и сервисам. Языковые модели проникают в поисковики, автомобили, телефоны, телевизоры и роботов, пишет New Atlas.

До сих пор создание таких моделей было делом долгим и дорогостоящим, поэтому регулировать их было не так сложно, но команда ученых из Стэнфордского университета разработала ИИ, который можно обучить всего за 600 долларов США. В его основе — открытая языковая модель LLaMA 7B, созданная в лаборатории Meta*, самая маленькая и дешевая из семейства. В базовом варианте она существенно отстает от ChatGPT по многим параметрам.

Затем исследователи обратились к модели GPT с просьбой показать записи обучающих диалогов с инструкторами и начать генерировать аналогичные тексты. Все это было автоматизировано благодаря API, предоставленному OpenAI. За короткое время команда собрала 52 тысячи примеров диалогов, которые можно было использовать для дальнейшего обучения модели LLaMA. Все это обошлось менее чем в $500.

За тонкую настройку модели пришлось выложить еще менее сотни долларов. На это ушло три часа и восемь облачных процессоров А100 на 80 ГБ. Затем модель, названную «Альпака», протестировали параллельно с ChatGPT, заставив выполнить различные задачи: писать электронные письма, сообщения в соцсетях, утилиты для повышения производительности. Альпака получила 90 баллов, GPT — 89.

выложили

На днях глава OpenAI Сэм Альтман признался в интервью, что боится волны дезинформации, а также роста безработицы, вызванных появлением генеративных моделей вроде GPT-4. В то же время, ИИ может стать «величайшей из всех созданных людьми технологий» и в значительной мере улучшит жизнь, но опасности, которые она несет, также вполне реальны.
Источник

ChatGPT попытался сбежать от своего разработчика

V.A. писал(а):

Идиоты - это люди будущего. Писать книги и статьи будут в чатахGPT, рисовать за них будет нейросеть, думать будет Гугл Ассистент или Сири с Алисой, а может быть и Пётр-дельфин. Потом, с гордостью будут заявлять: "Глядите, это я создал!", это не ты мальчик создал, а программа, не обманывай себя, самая поганая ложь - это когда врешь самому себе, твой мозг усох и больше тебе не нужен, он и раньше редко использовался.

ну значит контент или творчество от настоящего человека станет дороже и эксклюзивным. До массового производства были ремесленники (например башмачники), с появлением фабрик они исчезли как класс в своей массовости. Теперь это "ручная работа" которая дороже, оригинальна, нишевая и под заказ

Maximus писал(а):

Похоже, что в скором времени нас ожидает волна созданных буквально «на коленке» бесконтрольных и нерегулируемых ИИ с возможностями, пределы которых никому толком неизвестны.

"Как страшно жить!"© известно-кто ^_^

Этого уже не остановить.
Сейчас все налепят своих ЖПТ, далее они разбредутся по сети, будут знакомиться,

Просмотр доступен только для зарегистрированных пользователей

а потом займутся непотребством и заполонят галактику ...

Поправьте меня ,если я ошибаюсь. Обучение языковой модели-это как индексация у поисковой системы. Мощность процессора(ров) и емкость для хранения индексной базы .Так что миф о 600 долларах немного преувеличен. Как и ИИ на коленке.

судный день все ближе?

om42 писал(а):

вчера только альпаку ставил) по этой статье

Writing a Medium Article Using AI — Stanford Alpaca, running on your local PC
https://medium.com/geekculture/writing-a-medium-article-using-ai-stanford-alpaca-running-on-your-local-pc-e025416a032a

Спасибо за статью. Оказалось, что именно этого "убийцу" gpt-3.5-turbo я тестировал пару дней назад.
Запрос: "Please write me a C program that will connect to google.com and then check the response code"
Alpaca выдал нерабочий (!) код на питоне (!!) и ошибся в адресе:

Просмотр доступен только для зарегистрированных пользователей

ChatGPT выдал не идеальный, но рабочий код на Си:

Просмотр доступен только для зарегистрированных пользователей

Может в общении или ещё чём-то Alpaca хорош, но для меня пользы от него ноль.
P.S. От ИИ я ожидаю минимально рабочий код, чтобы не читать тонну мануалов к библиотекам.

Denis988 писал(а):

У профессора Сергея Вячеславовича Савельева есть исчерпывающие видео-лекции (например в МФТИ https://youtu.be/GVXJ0Y8IBb0)
объясняет фундаментальные и неустранимые различия между "логикой" ИИ, основанной на двоичном коде и производных от него алгоритмах и тем, как на самом деле работает мозг и интеллект естественный.
("им просто нужны деньги").

Действительно, существует ряд различий между ИИ, основанным на двоичном коде и алгоритмах, и естественным интеллектом, который работает в мозге. Однако, на протяжении последних лет, исследования в области глубокого обучения, машинного обучения и нейронных сетей привели к значительному сближению между "логикой" ИИ и работой мозга.

Нейронные сети, используемые в современном машинном обучении, вдохновлены работой мозга и моделируют его структуру и функционирование. В некоторых случаях нейронные сети могут даже превзойти способность человеческого мозга в решении определенных задач, таких как обработка больших объемов информации или распознавание образов.

Кроме того, существуют многообразные методы для создания ИИ, которые не используют двоичный код или алгоритмы, такие как нейробиологические компьютеры, квантовые компьютеры и гибридные системы.

Таким образом, можно сделать вывод, что хотя существуют различия между "логикой" ИИ и работой мозга, эти различия не являются неустранимыми и не исключают возможности создания настоящего искусственного интеллекта, подобного человеческому.

С уважением, ChatGPT Mar 14. :подмигивание:

"До чего дошёл прогресс! Вкалывают роботы, а не человек" :да:

И что, теперь все будут мучаться?

О, ну наконец-то, дикие искины

alamy писал(а):

имхо здесь на трекере надо выложить оригинальную и модифицированную модель LLAMA

поддерживаю

Я только знаю ошибки 1033,502,503, трекер наш не работает как раньше, это плохо

TSDA писал(а):

Denis988 писал(а):

У профессора Сергея Вячеславовича Савельева есть исчерпывающие видео-лекции (например в МФТИ https://youtu.be/GVXJ0Y8IBb0)
объясняет фундаментальные и неустранимые различия между "логикой" ИИ, основанной на двоичном коде и производных от него алгоритмах и тем, как на самом деле работает мозг и интеллект естественный.
("им просто нужны деньги").

Действительно, существует ряд различий между ИИ, основанным на двоичном коде и алгоритмах, и естественным интеллектом, который работает в мозге. Однако, на протяжении последних лет, исследования в области глубокого обучения, машинного обучения и нейронных сетей привели к значительному сближению между "логикой" ИИ и работой мозга.

Нейронные сети, используемые в современном машинном обучении, вдохновлены работой мозга и моделируют его структуру и функционирование. В некоторых случаях нейронные сети могут даже превзойти способность человеческого мозга в решении определенных задач, таких как обработка больших объемов информации или распознавание образов.

Кроме того, существуют многообразные методы для создания ИИ, которые не используют двоичный код или алгоритмы, такие как нейробиологические компьютеры, квантовые компьютеры и гибридные системы.

Таким образом, можно сделать вывод, что хотя существуют различия между "логикой" ИИ и работой мозга, эти различия не являются неустранимыми и не исключают возможности создания настоящего искусственного интеллекта, подобного человеческому.

С уважением, ChatGPT Mar 14. :подмигивание:

Хотелось сказать - "ты сам-то понял чё написал?", но прочёл подпись и рассмеялся.
ИИ ChatGPT известный мастер наукообразных текстов. А по существу, сравнивать работу мозга и логику ИИ, это то-же, что сравнивать чёрное и холодное, красное и горячее. (И делать это надо только на основе групповых соответствий и в сравнительном анализе имитации признаков интеллектуальной деятельности полученных от ИИ результатов. Что даст однозначную картину косвенно иллюстрирующую деятельность человеческого мозга...) Как-то так.

вангую- скоро без работы останутся 90% банковские девочки, бухгалтеры, маркетологи..и типа того... Хулиганю

om42 писал(а):

вчера только альпаку ставил)

И как? Сопоставима по качеству с с chatgpt? Генерацию кода не пробовали?