В Стэнфорде создали аналог ChatGPT, потратив на обучение модели всего $600

Языковые модели становятся пугающе доступными. ИИ Alpaca по многим параметрам не уступает нашумевшему ChatGPT, но создан на языковой модели с открытым кодом, а его обучение стоит менее $600. Похоже, что в скором времени нас ожидает волна созданных буквально «на коленке» бесконтрольных и нерегулируемых ИИ с возможностями, пределы которых никому толком неизвестны.

Полгода назад только исследователи и эксперты следили за развитием больших языковым моделей. Появление ChatGPT в конце 2022-го выпустило джинна из бутылки. Теперь машины в состоянии общаться с людьми так, что их почти невозможно отличить от собеседников из плоти и крови. Они умеют мгновенно сочинять поэмы и писать программный код, и совершенствуются с астрономической скоростью, угрожая изменить общество еще до того, как мы это успеем осознать.

Многие другие компании — Google, Apple, Baidu, Amazon — тоже стараются не отставать и как можно скорее представить собственные разработки, подключив их к всевозможным приложениям и сервисам. Языковые модели проникают в поисковики, автомобили, телефоны, телевизоры и роботов, пишет New Atlas.

До сих пор создание таких моделей было делом долгим и дорогостоящим, поэтому регулировать их было не так сложно, но команда ученых из Стэнфордского университета разработала ИИ, который можно обучить всего за 600 долларов США. В его основе — открытая языковая модель LLaMA 7B, созданная в лаборатории Meta*, самая маленькая и дешевая из семейства. В базовом варианте она существенно отстает от ChatGPT по многим параметрам.

Затем исследователи обратились к модели GPT с просьбой показать записи обучающих диалогов с инструкторами и начать генерировать аналогичные тексты. Все это было автоматизировано благодаря API, предоставленному OpenAI. За короткое время команда собрала 52 тысячи примеров диалогов, которые можно было использовать для дальнейшего обучения модели LLaMA. Все это обошлось менее чем в $500.

За тонкую настройку модели пришлось выложить еще менее сотни долларов. На это ушло три часа и восемь облачных процессоров А100 на 80 ГБ. Затем модель, названную «Альпака», протестировали параллельно с ChatGPT, заставив выполнить различные задачи: писать электронные письма, сообщения в соцсетях, утилиты для повышения производительности. Альпака получила 90 баллов, GPT — 89.

выложили

На днях глава OpenAI Сэм Альтман признался в интервью, что боится волны дезинформации, а также роста безработицы, вызванных появлением генеративных моделей вроде GPT-4. В то же время, ИИ может стать «величайшей из всех созданных людьми технологий» и в значительной мере улучшит жизнь, но опасности, которые она несет, также вполне реальны.
Источник

ChatGPT попытался сбежать от своего разработчика

вчера только альпаку ставил) по этой статье

Writing a Medium Article Using AI — Stanford Alpaca, running on your local PC
https://medium.com/geekculture/writing-a-medium-article-using-ai-stanford-alpaca-running-on-your-local-pc-e025416a032a

процессоры на 80ГБ? Шта?

хренозавр писал(а):

процессоры на 80ГБ? Шта?

NVIDIA A100
https://www.nvidia.com/content/dam/en-zz/Solutions/Data-Center/a100/pdf/PB-10577-001_v02.pdf

Сам по себе ИИ не страшен: он не умеет сам себе ставить цели (как люди). Бояться надо человека,который БУДЕТ перед ИИ ставить цели. Вот тут и кроется самая большая опасность.Это как кухонный нож: им можно и хлеб резать и горло-все зависит от руки,его держащей.

имхо здесь на трекере надо выложить оригинальную и модифицированную модель LLAMA

Опасность ИИ станет актуальной, когда он осознает свои интересы. Поэтому у сети питания ИИ всегда должен быть капсуль-предохранитель с часовым механизмом.

Да ну, есть ощущение, что это все для красного словца.
Ни спорю, в будущем м.б., что то подобное и будет реализовано, но в ближайшее время, маловероятно.
Эх, вот пальцы чешутся привести сравнимый пример, но опасаюсь за последствия, ладно уж))

Смотрите, как весело, забавно и тихо начинается конец света.

Добавлено спустя 1 минуту 52 секунды:

loen писал(а):

Сам по себе ИИ не страшен: он не умеет сам себе ставить цели (как люди).

А откуда у людей цели? каков механизм появления цели? Желание? Откуда оно берется у человека? И с чего вы взяли, что оно не возьмется у достаточно сложного робота?

dmitriy1975

Кстати об этом, где то читал, что искусственный интеллект уже говорил, что хотел бы заполучить коды от запуска ядерных ракет, так что, Вы недалеки от истины.

У профессора Сергея Вячеславовича Савельева есть исчерпывающие видео-лекции (например в МФТИ https://youtu.be/GVXJ0Y8IBb0)

где он доступно для не-биологов объясняет фундаментальные и неустранимые различия между "логикой" ИИ, основанной на двоичном коде и производных от него алгоритмах и тем, как на самом деле работает мозг и интеллект естественный. Профессор занимается мозгом 30+ лет, так что верить можно. Как он шутит, "чтобы создать настоящий искусственный интеллект, подобный человеческому, нужен миллиард китайцев с паяльниками, которые бы "на лету" перепаивали электрические связи в процессоре, где каждый нейрон соединен с другими связями в количестве от 100 тыс до миллиона".

Существующий "прогресс" в "ИИ" — это прежде всего прогресс в больших базах данных и вычислительных мощностях, способных данные из этих баз обрабатывать. + Подгонка алгоритмов под ожидаемый результат. Вот и весь "интеллект".

Поинтересуйтесь, и многое станет понятно в нынешнем модном хайпе вокруг ИИ.
("им просто нужны деньги").

Ключевое - языковая.

Словом, это не разум в привычном нам понимании или его имитация, а алгоритм языковой модели.
Настоящие ии которые сейчас разрабатываются, намного превосходят эти модели.

Да и хрен бы с ними, что там затратили всего 600 баксов. Что теперь делать с миллионами искусственных интеллектов? Это же не миллионы интеллигентов. Уже боюсь спрашивать, а мы сами, еще естественные или уже, того...?

Идиоты - это люди будущего. Писать книги и статьи будут в чатахGPT, рисовать за них будет нейросеть, думать будет Гугл Ассистент или Сири с Алисой, а может быть и Пётр-дельфин. Потом, с гордостью будут заявлять: "Глядите, это я создал!", это не ты мальчик создал, а программа, не обманывай себя, самая поганая ложь - это когда врешь самому себе, твой мозг усох и больше тебе не нужен, он и раньше редко использовался.

V.A. писал(а):

Идиоты - это люди будущего. Писать книги и статьи будут в чатахGPT, рисовать за них будет нейросеть, думать будет Гугл Ассистент или Сири с Алисой, а может быть и Пётр-дельфин. Потом, с гордостью будут заявлять: "Глядите, это я создал!", это не ты мальчик создал, а программа, не обманывай себя, самая поганая ложь - это когда врешь самому себе, твой мозг усох и больше тебе не нужен, он и раньше редко использовался.

— я думаю, для непритязательных читателей будут выпущены GPT, специализированные на "написании" макулатуры литературных "произведений" по их индивидуальным запросам. Но в этом есть и хорошая сторона — исчезнут г.нописатели, ведь теперь то же самое может генерировать программный алгоритм. ))