Классический форум-трекер
canvas not supported
Нас вместе: 4 261 197


Устойчивый к блокировкам VPN с высоким уровнем приватности

«Торрент для запуска ИИ»: вышла утилита для распределённого запуска ИИ-моделей на любом оборудовании


Страницы:   Пред.  1, 2 
 
RSS
Начать новую тему   Ответить на тему    Торрент-трекер NNM-Club -> Компьютеры и комплектующие -> Компьютерные новости
Автор Сообщение
Maximus ®
Вольный стрелок
Uploader 100+
Стаж: 19 лет 4 мес.
Сообщений: 6307
Ratio: 25.214
Поблагодарили: 13379
100%
nnm-club.gif
      Большие языковые модели искусственного интеллекта требуют значительных ресурсов не только при обучении, но и при запуске — необходимы существенные объёмы оперативной памяти и мощные графические процессоры. Альтернативу предложили создатели Exo — бесплатной программы для распределённого запуска ИИ на нескольких устройствах. Почти как торренты, только для запуска ИИ.


      Приложение позволяет объединять вычислительные ресурсы нескольких компьютеров, смартфонов и даже одноплатных компьютеров, в том числе Raspberry Pi, для запуска моделей, с которыми ни одна из имеющихся в распоряжении пользователя систем не справилась бы самостоятельно. Ресурсы устройств объединяются по одноранговой сети.

      Exo динамически распределяет нагрузку, создаваемую большой языковой моделью, по доступным в сети устройствам, размещая её слои, исходя из доступного объёма оперативной памяти и имеющейся вычислительной мощности. Поддерживаются LLaMA, Mistral, LlaVA, Qwen и DeepSeek. Программа устанавливается на устройства под управлением Linux, macOS, Android или iOS — версии под Windows пока нет. Для работы Exo требуется минимальная версия Python 3.12.0 и, в случае машин под Linux с графикой Nvidia, ряд других компонентов.

      Модель ИИ, требующую 16 Гбайт оперативной памяти, можно запустить на двух ноутбуках с 8 Гбайт на каждом; а мощную DeepSeek R1, которой нужны 1,3 Тбайт памяти, в теории можно запустить на кластере из 170 Raspberry Pi 5 с 8 Гбайт. Скорость сети и задержка могут снизить качество работы модели, и разработчики Exo предупреждают, что устройства небольшой производительности способны замедлить ИИ, но с каждым добавленным в сети устройством общая производительность увеличивается. Нельзя также забывать об угрозах безопасности, которые неизбежно возникают при совместном выполнении рабочих нагрузок на нескольких машинах. И даже с учётом этих оговорок Exo представляется перспективной альтернативой облачным ресурсам.
Источник
extream
Стаж: 14 лет 9 мес.
Сообщений: 79
Ratio: 28.122
0%
sayrus_kub писал(а): Перейти к сообщению
Скайнет?

Пифия! ;)
needle23
Стаж: 14 лет 1 мес.
Сообщений: 106
Ratio: 1.304
Раздал: 2.514 TB
48.86%
ussr.gif
Майнер походу
weter
Лауреат КТ
Меценат
Стаж: 16 лет 10 мес.
Сообщений: 2151
Ratio: 2.499
100%
Откуда: Ниоткуда
extream писал(а): Перейти к сообщению
Пифия!

Пифия для всех - это не Пифия, а профанство...
Но можно ли использовать ИИ как Пифию?
Думаю, легко. Нужен только треножник.
Нужны гирьки, которые качают чаши весов,
разделяя на внутренее и внешнее.
Нужен также избранный и хороший вопрос.
А хороший вопрос тот, на который нет ответа.
skytear
Стаж: 15 лет 9 мес.
Сообщений: 41
Ratio: 8.704
0.65%
чисто теоретически, если нейросетки уровня гпт 5 и потом гпт 6 будут действительно прожорливы на ресурсы, вплоть до вычислительных центров на сотни миллиардов бакинских и электростанцию в придачу к ним, то страны, отсталые в плане развития ИИ из-за санкций и ресурсов, смогут попробовать добить отставание подобным образом. но когда ИИ уже начнут реализовывать на квантовых процессорах, никакие распределённые вычисления не помогут, но там уже есть высокая вероятность, что и всему человечеству ничего не поможет.
weter
Лауреат КТ
Меценат
Стаж: 16 лет 10 мес.
Сообщений: 2151
Ratio: 2.499
100%
Откуда: Ниоткуда
skytear писал(а): Перейти к сообщению
чисто теоретически, если нейросетки уровня гпт 5 и потом гпт 6 будут действительно прожорливы на ресурсы, вплоть до вычислительных центров на сотни миллиардов бакинских и электростанцию в придачу к ним, то страны, отсталые в плане развития ИИ из-за санкций и ресурсов, смогут попробовать добить отставание подобным образом. но когда ИИ уже начнут реализовывать на квантовых процессорах, никакие распределённые вычисления не помогут, но там уже есть высокая вероятность, что и всему человечеству ничего не поможет.

"Ученые рассчитывают к 2030 году увидеть полезность квантового компьютера. Если хотя бы один квантовый компьютер решит хотя бы одну задачу лучше суперкомпьютера - мы большие молодцы, это очень сложно. Уже несколько 50-кубитных квантовых компьютеров на разных платформах представят в России в 2025 году", сообщил ТАСС на "Квантовой неделе" в нижегородском Университете Лобачевского советник гендиректора госкорпорации "Росатом", сооснователь Российского квантового центра Руслан Юнусов.
skytear
Стаж: 15 лет 9 мес.
Сообщений: 41
Ratio: 8.704
0.65%
weter писал(а): Перейти к сообщению

"Ученые рассчитывают к 2030 году увидеть полезность квантового компьютера. Если хотя бы один квантовый компьютер решит хотя бы одну задачу лучше суперкомпьютера - мы большие молодцы, это очень сложно. Уже несколько 50-кубитных квантовых компьютеров на разных платформах представят в России в 2025 году", сообщил ТАСС на "Квантовой неделе" в нижегородском Университете Лобачевского советник гендиректора госкорпорации "Росатом", сооснователь Российского квантового центра Руслан Юнусов.


полезность уже доказана, задач, подвластных только квантовым, существует намного больше одной, хотя они и весьма специфичны.
за 100% точность текста не ручаюсь, поскольку генерилась нейронкой, но ссылки на статьи были корректные:

"Квантовые компьютеры уже демонстрируют способность решать задачи, недоступные классическим системам. Вот ключевые примеры:

1. Факторизация чисел (алгоритм Шора)
Эксперимент IBM (2001): Разложение числа 15 на множители 3×5 с использованием 7-кубитного компьютера.

Значимость: Классические методы требуют экспоненциального времени для больших чисел, тогда как квантовый алгоритм сокращает его до полиномиального.

2. Квантовое превосходство Google (2019)
Задача: Генерация случайных чисел с помощью квантовой схемы из 53 кубитов (процессор Sycamore).

Результат: 200 секунд против 10 000 лет на суперкомпьютере Summit.

Особенность: Проверка квантовой легитимности через линейные кросс-энтропийные тесты.

3. Бозонный сэмплинг (китайский Jiuzhang, 2020)
Суть: Моделирование распределения фотонов в оптической схеме со 100 входами/выходами.

Производительность: Задача, решаемая за 200 секунд, потребовала бы 2.5 млрд лет на классическом суперкомпьютере.

4. Оптимизация маршрутов (2021)
Эксперимент IBM: Решение QUBO-задач маршрутизации транспорта с 16 кубитами.

Точность: 82-86% вероятности оптимального решения за 1-2 итерации против экспоненциального роста сложности в классических методах.

Теоретические прорывы
Работа Рэза-Та́ла (2018): Доказательство существования задач с экспоненциальным разделением сложности (BQP vs PH). Пример: анализ свойств многочленов высокой степени.

Класс BQP: Включает задачи вроде дискретного логарифма, где квантовые алгоритмы дают радикальное ускорение.

Технические ограничения

Масштабирование: Для практического применения требуется ~1 млн кубитов (сейчас рекорд — 433 кубита у IBM Osprey).

Декогеренция: Время жизни кубитов редко превышает 100 мкс, что ограничивает глубину вычислений.

Ошибки: Современные квантовые компьютеры работают с погрешностью 0.1-1%, что требует разработки кодов коррекции.

Итог: Хотя квантовые компьютеры уже решили специализированные задачи, их массовое применение сдерживается инженерными сложностями. Прорывы носят демонстрационный характер, но подтверждают принципиальное превосходство над классическими системами в определённых областях."
pomm82
 
Стаж: 14 лет
Сообщений: 60
Ratio: 76.573
100%
Inbowich писал(а): Перейти к сообщению
sayrus_kub писал(а): Перейти к сообщению
Скайнет?

Magic Gooddy просто подрос. :смех:


Тогда уж "Горыныч".
Показать сообщения:   
Начать новую тему   Ответить на тему    Торрент-трекер NNM-Club -> Компьютеры и комплектующие -> Компьютерные новости Часовой пояс: GMT + 3
Страницы:   Пред.  1, 2
Страница 2 из 2