В Стэнфорде создали аналог ChatGPT, потратив на обучение модели всего $600

Языковые модели становятся пугающе доступными. ИИ Alpaca по многим параметрам не уступает нашумевшему ChatGPT, но создан на языковой модели с открытым кодом, а его обучение стоит менее $600. Похоже, что в скором времени нас ожидает волна созданных буквально «на коленке» бесконтрольных и нерегулируемых ИИ с возможностями, пределы которых никому толком неизвестны.

Полгода назад только исследователи и эксперты следили за развитием больших языковым моделей. Появление ChatGPT в конце 2022-го выпустило джинна из бутылки. Теперь машины в состоянии общаться с людьми так, что их почти невозможно отличить от собеседников из плоти и крови. Они умеют мгновенно сочинять поэмы и писать программный код, и совершенствуются с астрономической скоростью, угрожая изменить общество еще до того, как мы это успеем осознать.

Многие другие компании — Google, Apple, Baidu, Amazon — тоже стараются не отставать и как можно скорее представить собственные разработки, подключив их к всевозможным приложениям и сервисам. Языковые модели проникают в поисковики, автомобили, телефоны, телевизоры и роботов, пишет New Atlas.

До сих пор создание таких моделей было делом долгим и дорогостоящим, поэтому регулировать их было не так сложно, но команда ученых из Стэнфордского университета разработала ИИ, который можно обучить всего за 600 долларов США. В его основе — открытая языковая модель LLaMA 7B, созданная в лаборатории Meta*, самая маленькая и дешевая из семейства. В базовом варианте она существенно отстает от ChatGPT по многим параметрам.

Затем исследователи обратились к модели GPT с просьбой показать записи обучающих диалогов с инструкторами и начать генерировать аналогичные тексты. Все это было автоматизировано благодаря API, предоставленному OpenAI. За короткое время команда собрала 52 тысячи примеров диалогов, которые можно было использовать для дальнейшего обучения модели LLaMA. Все это обошлось менее чем в $500.

За тонкую настройку модели пришлось выложить еще менее сотни долларов. На это ушло три часа и восемь облачных процессоров А100 на 80 ГБ. Затем модель, названную «Альпака», протестировали параллельно с ChatGPT, заставив выполнить различные задачи: писать электронные письма, сообщения в соцсетях, утилиты для повышения производительности. Альпака получила 90 баллов, GPT — 89.

выложили

На днях глава OpenAI Сэм Альтман признался в интервью, что боится волны дезинформации, а также роста безработицы, вызванных появлением генеративных моделей вроде GPT-4. В то же время, ИИ может стать «величайшей из всех созданных людьми технологий» и в значительной мере улучшит жизнь, но опасности, которые она несет, также вполне реальны.
Источник

ChatGPT попытался сбежать от своего разработчика

Denis988 писал(а):

У профессора Сергея Вячеславовича Савельева есть исчерпывающие видео-лекции (например в МФТИ https://youtu.be/GVXJ0Y8IBb0)

где он доступно для не-биологов объясняет фундаментальные и неустранимые различия между "логикой" ИИ, основанной на двоичном коде и производных от него алгоритмах и тем, как на самом деле работает мозг и интеллект естественный. Профессор занимается мозгом 30+ лет, так что верить можно. Как он шутит, "чтобы создать настоящий искусственный интеллект, подобный человеческому, нужен миллиард китайцев с паяльниками, которые бы "на лету" перепаивали электрические связи в процессоре, где каждый нейрон соединен с другими связями в количестве от 100 тыс до миллиона".

Существующий "прогресс" в "ИИ" — это прежде всего прогресс в больших базах данных и вычислительных мощностях, способных данные из этих баз обрабатывать. + Подгонка алгоритмов под ожидаемый результат. Вот и весь "интеллект".

Поинтересуйтесь, и многое станет понятно в нынешнем модном хайпе вокруг ИИ.
("им просто нужны деньги").

Профессор Савельев полный Незнайка если полез рассуждать об области в которой он ни уха не рыла. Ему прежде бы чем нести чепуху (а там у него именно полннйшая чушь) хоть немного бы узнать о принципах устройства нейросетей.

Добавлено спустя 33 минуты 16 секунд:

fibi768 писал(а):

Ключевое - языковая.

Словом, это не разум в привычном нам понимании или его имитация, а алгоритм языковой модели.
Настоящие ии которые сейчас разрабатываются, намного превосходят эти модели.

Все дело в том, что мышление и язык связаны неразрывно. Посему это всё же имитация разума.

Хотел потестить. Поставил альпаку на винду, но при ее запуске приглашения в чат нету. Чзх?

[quote="Denis988";p="11918797"]У профессора Сергея Вячеславовича Савельева есть исчерпывающие видео-лекции (например в МФТИ https://youtu.be/GVXJ0Y8IBb0)

где он доступно для не-биологов объясняет фундаментальные и неустранимые различия между "логикой" ИИ, основанной на двоичном коде и производных от него алгоритмах и тем, как на самом деле работает мозг и интеллект естественный. Профессор занимается мозгом 30+ лет, так что верить можно. Как он шутит, "чтобы создать настоящий искусственный интеллект, подобный человеческому, нужен миллиард китайцев с паяльниками, которые бы "на лету" перепаивали электрические связи в процессоре, где каждый нейрон соединен с другими связями в количестве от 100 тыс до миллиона".

Существующий "прогресс" в "ИИ" — это прежде всего прогресс в больших базах данных и вычислительных мощностях, способных данные из этих баз обрабатывать. + Подгонка алгоритмов под ожидаемый результат. Вот и весь "интеллект".

Поинтересуйтесь, и многое станет понятно в нынешнем модном хайпе вокруг ИИ.
("им просто нужны деньги").[/quote
Ну конечно, другое дело, каике этим алгоритмам права выделят

Ждём на трекере LLaMA Repack by KpoJIuK и LLaMA RePack (& Portable) by elchupacabra.

V.A. писал(а):

Идиоты - это люди будущего. Писать книги и статьи будут в чатахGPT, рисовать за них будет нейросеть, думать будет Гугл Ассистент или Сири с Алисой, а может быть и Пётр-дельфин. Потом, с гордостью будут заявлять: "Глядите, это я создал!", это не ты мальчик создал, а программа, не обманывай себя, самая поганая ложь - это когда врешь самому себе, твой мозг усох и больше тебе не нужен, он и раньше редко использовался.

Количество информации быстро растет и она усложняется. Запомнить всё невозможно. В конце концов люди создают технологии, чтобы упрощать жизнь, лень двигатель прогресса)).

потом бы он начал сам себе запросы делать и постоянно оставаться запущенным и что-то делающим.

Запускал 13B 4bit с 16gb RAM
С русским так себе, корявенько.
По такому поводу прикупил ещё две планки по 32.
Запускаю 30B 4bit по-русски уже по уверенней.
65B 4bit очень медленно.
Любопытства ради 30B без квантования пробую, намного адекватнее.
С русским запускать LLaMa.cpp в WSL.
Ищу варианты с langchain без api key openai
Пока кроме long term memory по этой теме не нашел.

Цитата:

В то же время, ИИ может стать «величайшей из всех созданных людьми технологий» и в значительной мере улучшит жизнь, но опасности, которые она несет, также вполне реальны.

Как и изобретение автомобиля, пороха, самолета, ядерного оружия и раскрытия секрета атомного ядра. Как и многое другое.
Вывод: ну и что? Ничего не создавать? Бояться всего нового? Или все же думать над тем, как грамотно внедрять все это в жизнь человека без вреда для человека

PS
Про "коды от ракет". Это в фильме можно заполучить "ядерный чемодан" и начать апокалипсис. В реальности это чушь: чемоданов несколько. Президент не может самолично вдруг запустить ядерки по своей прихоти, потребуется координация со службами и другими владельцами чемоданчиков. Надо ли говорить, что хакнуть чемоданчик и получить коды физически невозможно? ) Все это предусмотрено давным-давно и отлаживается в дальнейшем.
Если где-то можно хакнуть и получить коды, успешно запустить ракету, налицо будет полный идиотизм и халатность.

plan-up писал(а):

В конце концов люди создают технологии, чтобы упрощать жизнь, лень двигатель прогресса)).

Ну почему лень? Причиной может быть желание улучшить условия жизни для выживания и более продолжительной жизни. Каменные дома мы не сразу научились строить, а когда начали возводить строения, исчез страх перед монстрами (животными), что могли угрожать нам в лесах и тд. Сельское хозяйство позволило получать бесконечную еду без надобности вечной охоты и риском отравиться. Какая была продолжительность жизни у наших предков? Даже до 20го века продолжительность жизни была ничтожной в сравнении с тем, что имеем сейчас. Так что не только лень.

Нам лень жить мало, мы хотим жить долго и без надобности банального выживания, как думаете...

V.A. писал(а):

Идиоты - это люди будущего. Писать книги и статьи будут в чатахGPT, рисовать за них будет нейросеть, думать будет Гугл Ассистент или Сири с Алисой, а может быть и Пётр-дельфин. Потом, с гордостью будут заявлять: "Глядите, это я создал!"

Есть мнение, что такое уже просматривается, когда без помощи интернета молодой человек почти ничего не знает, не способен ответить на простые вопросы с точки зрения тех, кто учился в школе какие-то двадцать лет назад...

TSDA писал(а):

Таким образом, можно сделать вывод, что хотя существуют различия между "логикой" ИИ и работой мозга, эти различия не являются неустранимыми и не исключают возможности создания настоящего искусственного интеллекта, подобного человеческому.

А что, это было бы интересно увидеть )

Просмотр доступен только для зарегистрированных пользователей