Руководство по развертыванию модели чата Qwen с помощью HuggingFace

[Цифровой Интеллект 196]

В данной статье рассматривается процесс преобразования генеративного ИИ и LLM (больших языковых моделей).

 

 

Вы хорошо технически подкованы. Приготовьтесь к захватывающим приключениям в области искусственного интеллекта! Мы не просто скользим по поверхности, а ныряем головой в глубокий конец с моделью чата Qwen. Что есть на повестке дня? Создать чат-бота умнее, чем лиса, и уважать частную жизнь, как первоклассный секретный агент. Заинтригованы? Вы должны быть! Давайте начнем наше путешествие с понимания генеративного ИИ и LLM (больших языковых моделей).

Генеративный ИИ

Войдите или зарегистрируйтесь, чтобы увидеть скрытое содержимое.  — это тип искусственного интеллекта, способной генерировать новый контент в виде текста, изображений, музыки или других мультимедиа. Этот тип ИИ использует модели машинного обучения, в частности генеративные модели, для понимания закономерностей, функций и отношений в больших наборах данных и создания новых контентов, которые являются часто неотличимыми от созданного человеком контента.

Типы генеративных моделей

• Генеративно-состязательные сети (GAN): тип архитектуры нейронной сети, в которой две модели (генератор и дискриминатор) обучаются одновременно. Генератор генерирует новые экземпляры данных, а дискриминатор оценивает их на подлинность. Данный процесс приводит к все более убедительным результатам.
• Вариационные автокодировщики (VAE): эти модели могут генерировать новые экземпляры, аналогичные входным данным. VAE часто используются при генерации изображений.
• Трансформеры: были в первую очередь разработаны для задач NLP. Модели трансформаторов, такие как GPT (Generative Pretreened Transformer; Генеративный предобученный трансформер), могут генерировать связный и контекстуально релевантный текст. Они также применяются для задач генерации других типов данных.

Применения

• Создание контента: генеративный ИИ может создавать оригинальные произведения искусства, писать истории или статьи, сочинять музыку и создавать виртуальные среды для игр и симуляторов.
• Аугментация данных: он может генерировать дополнительные данные для обучения моделей машинного обучения, помогая повысить их точность и надежность.
• Персонализация: алгоритмы могут адаптировать контент под индивидуальные предпочтения, улучшая вовлеченность пользователей.
• Открытие лекарств: генеративные модели могут предложить новые молекулярные структуры для лекарств, которые могут быть эффективными против конкретных заболеваний.

Вызовы

• Контроль качества: обеспечить соответствие сгенерированного контента стандартам качества и отсутствие предвзятости, присутствующей в обучающих данных.
• Вычислительные требования: обучение генеративных моделей часто требует значительных вычислительных мощностей и больших наборов данных.
• Интерпретируемость: понимание того, как эти модели принимают решения и генерируют результаты, может оказаться сложной задачей, что влияет на доверие и надежность.

Генеративный ИИ продолжает быстро развиваться и его возможности расширяют границы того, что могут создавать машины, предлагая как захватывающие перспективы, так и проблемы, к решению которых необходимо подходить ответственно.

LLM

 

Что такое большие языковые модели (LLM)? Это тип искусственного интеллекта, основанный на методах глубокого обучения и предназначенный для понимания, генерации и обработки человеческого языка. Их называют «большими», потому что они имеют огромное количество параметров, что позволяет им улавливать более широкий спектр языковых нюансов и контекстов.

LLM обучаются на огромном объеме текстовых данных и используют такие архитектуры, как нейронные сети — трансформер, которые способны обрабатывать последовательности данных (например, предложения) и обращать внимание на разные части последовательности при прогнозировании. Это делает их особенно эффективными для задач обработки естественного языка (NLP), таких как:

• Генерация текста: LLM способны писать эссе и стихотворение или генерировать код на основе предоставленных подсказок.
• Перевод: LLM способны переводить тексты на различных языках с высокой точностью.
• Ответ на вопросы: LLM способны понимать вопросы и отвечать на них в зависимости от заданного контекста.
• Резюмирование: LLM способны сжать длинный текст в краткие сводки.
• Анализ настроений: LLM способны определить эмоциональный тон текста, например, определить, является ли отзыв положительным или отрицательным.

Почему Qwen? Краткое описание

Вы ищете ИИ, способный общаться, создавать контент, обобщать, кодировать и т. д., уважая при этом вашу конфиденциальность? Не нужно искать дальше. Модель чата Qwen превратит ваш центр обработки данных в «оплот» безопасного взаимодействия на базе ИИ.

Qwen — это не обычный чат-бот. Он создан на массивной языковой модели и был обучен на ошеломляющих 3 триллионах токенов многоязычных данных. Это чудо искусственного интеллекта понимает как английский, так и китайский язык, и было точно настроено для взаимодействия, подобного человеческому.

Почему развернуть Qwen локально?

 

 

 

 

Развертывание Qwen на локальном сервере означает получение контроля. Это означает, что ваши разговоры, обрабатываемые данные и обещанная конфиденциальность остаются в вашей компетенции. Независимо от того, являетесь ли вы бизнесменом, стремящимся интегрировать интеллектуальную систему чата, разработчиком, увлекающимся исследованиями в области ИИ, или просто энтузиастом, стремящимся изучить границы диалогового искусственного интеллекта, Qwen — ваш лучший выбор.

Итак, почему вы хотите развернуть LLM локально? Три слова: контроль, скорость и конфиденциальность. Ваши данные остаются при вас, ответы приходят с молниеносной скоростью, вы можете быть спокойны, зная, что ваш чат-бот не разболтает ваши секреты по всем публичным сервисам.

Поддержка открытого исходного кода и сообщества

Дух инноваций в области ИИ усиливается сообществом разработчиков ПО с открытым исходным кодом. По этой традиции полный исходный код Войдите или зарегистрируйтесь, чтобы увидеть скрытое содержимое.  доступен на GitHub для всех, кто интересуется механикой модели, хочет внести свой вклад в ее разработку или просто использовать его в качестве учебных материалов. Независимо от того, являетесь ли вы исследователем, разработчиком или любителем ИИ, вы можете получить доступ к исходному коду на Войдите или зарегистрируйтесь, чтобы увидеть скрытое содержимое. .

Перед началом: основы

Прежде чем мы отправимся в эту техническую одиссею, давайте убедимся, что у вас есть все необходимое:

• Сервер Linux с графическим процессором — потому что давайте посмотрим правде в глаза, скорость имеет решающее значение.
• Python 3.6 или выше — волшебная палочка программирования.
• pip или Anaconda — удобные менеджеры пакетов Денди.
• Git (опционально) — для тех, кто любит скачивать самый последний код из репозитория.
• Драйверы NVIDIA, CUDA Toolkit и cuDNN — «троица» для ускорения графического процессора.

Все готово? Прекрасно! Давайте начнем.

Создание диалога: где запустить код на Python

 

 

Независимо от того, являетесь ли вы ярым поклонником Visual Studio Code, энтузиастом PyCharm или тем, кто любит интерактивный стиль Jupyter Notebook, код на Python для чата с Qwen отличается гибкостью и не зависит от IDE. Все, что вам нужно, — это среда, поддерживающая Python. И все готово, чтобы запустить чат с вашим собеседником на основе искусственного интеллекта.

Совет от профессионалов: если вы используете VSCode, воспользуйтесь встроенным терминалом для беспрепятственного запуска скриптов на Python. Просто откройте палитру команд (Ctrl+Shift+P), введите Python: Run Python File in Terminal и пусть VSCode выполнить всю работу. Вы можете читать ответы Qwen прямо на вашем встроенном терминале.

Для тех, кто предпочитает PyCharm, запуск кода будет таким же плавным. Щелкните правой кнопкой мыши свой скрипт и выберите «Запустить 'script_name.py'» и наблюдайте, как IDE выполняет ваш диалог с Qwen. Мощные инструменты и функции отладки PyCharm делают его отличным выбором для разработки более сложных взаимодействий.

Но и на этом дело не закончилось — существует множество IDE и редакторов кода, которые приветствуют Python с распростертыми объятиями. Выберите тот, который лучше всего подходит для вашего рабочего процесса, и начните общаться!

Создание работы: среда

Прежде всего, давайте подготовим сервер Linux. Убедитесь, что ваш список пакетов, Python и pip готовы к работе:

Войдите или зарегистрируйтесь, чтобы увидеть скрытое содержимое.

Теперь секретный ингредиент: виртуальная среда. Это похоже на личное рабочее пространство, где вы можете устроить беспорядок, и при этом никто не кричит на вас, чтобы вы убрали:

Войдите или зарегистрируйтесь, чтобы увидеть скрытое содержимое.

Панель инструментов: установка зависимостей

Прежде чем мы активизируем Qwen, вам понадобятся некоторые инструменты. Представьте, что вы собираете ингредиенты для блюда, отмеченного звездой Мишлен:

Войдите или зарегистрируйтесь, чтобы увидеть скрытое содержимое.

Не забудьте совместить PyTorch с вашей версией CUDA — это все равно, что подобрать правильный сыр к вину.

Пробуждение Qwen: инициализация модели

Говорить на одном языке: токенизатор

Слова остаются просто словами, пока Qwen не придаст им значения. Вот тут-то и понадобится помощь токенизатора, который преобразует ваш текст в отдельные единицы информации, которые Qwen может обрабатывать:

Войдите или зарегистрируйтесь, чтобы увидеть скрытое содержимое.

Мозговой центр операции: модель

Возможности Qwen огромны и Qwen готов к вашим разговорам. Вот как разбудить спящего гиганта:

Войдите или зарегистрируйтесь, чтобы увидеть скрытое содержимое.

В зависимости от аппаратного обеспечения вы можете выбрать различные режимы точности, например BF16 или FP16. Это как настроить вашу гитару на идеальный слух.

Ведение непрерывного диалога с Qwen

Теперь наступает самое приятное время — чат с Qwen! Но прежде чем вы увлечетесь болтовней, давайте поговорим о чем-то важном: искусстве непрерывности диалога.

Вот фрагмент остроумного диалога, который вы можете ожидать:

Войдите или зарегистрируйтесь, чтобы увидеть скрытое содержимое.

В начале мы приветствуем Qwen без каких-либо условий, то есть без истории диалога. Установив history=None, мы говорим Qwen: «Это начало нашего чата». Qwen, не имея ничего, кроме текущей подсказки, ответит оригинальностью нового взаимодействия.

Сейчас наблюдайте за тем, как разворачивается магия контекста:

Войдите или зарегистрируйтесь, чтобы увидеть скрытое содержимое.

В этом раунде мы передаем историю, которую мы получили от нашего предыдущей беседы. Это все равно, что передать Qwen дневник со всем, о чем мы говорили до сих пор. Благодаря этому историческому контексту Qwen может дать ответ, который будет не только остроумным или глубоким, но и связанным с нашим текущим диалогом. Это разница между общением с мудрым другом, который вас знает, и заданием вопросов незнакомцу.

• Почему «История» важна: представьте, что история — это нить, на которую нанизываются жемчужины нашего разговора. Без нее каждый ответ Qwen был бы изолированной жемчужиной, красивой, но одинокой. Благодаря истории каждая жемчужина надежно прикрепляется к предыдущей, создавая красивую и связную цепочку диалога. Контекст играет решающую роль в разговоре, а история является носителем контекста.
• Поддержание разговора в нужное русло: как и в общении между людьми, ссылки на прошлые комментарии, шутки или истории способствуют добродушному подтруниванию. Qwen, владеющий историей разговора, может вспоминать и ссылаться на прошлые разговоры, что делает чат таким же непрерывным, как и увлекательным.

Готово, общайтесь!

Теперь, когда вы знаете, как важен контекст с параметром истории, запустите демонстрационный скрипт и приготовьтесь к увлекательному чату с Qwen. Независимо от того, обсуждаете ли вы космос или лучший рецепт цифрового cookie, Qwen готов следовать за вами в разговоре со всей изяществом опытного собеседника.

Кроме того, вы можете запустить данный скрипт и начать диалог. Это похоже на открытие ящика Пандоры, но вместо хаоса, вы получаете восхитительный подшучивание:

Войдите или зарегистрируйтесь, чтобы увидеть скрытое содержимое.

И вот, мой друг, у тебя есть собственный собеседник на основе искусственного интеллекта. Приготовьтесь покорить мир общения.

 

 

 

Завершение: заключение

Поздравляем! Вы прошли по коварным водам развертывания искусственного интеллекта, как опытный капитан. Qwen теперь надежно развернут на вашем сервере и ваши данные в безопасности, как дома.

Исследуйте возможности Qwen, внесите свой вклад в его развитие и присоединитесь к сообществу единомышленников, увлеченных развитием технологий искусственного интеллекта.

Итак, идите вперед и вступайте в эпические диалоги со своим новым блестящим помощником на основе искусственного интеллекта. И кто знает? Может быть, Qwen удивит вас своей цифровой мудростью или шуткой, которая заставит вас смеяться.

---

Эта статья изначально была написана на английском. Посмотрите оригинальную статью Войдите или зарегистрируйтесь, чтобы увидеть скрытое содержимое.

 

При написании статьи использовались следующие материалы:

1.Войдите или зарегистрируйтесь, чтобы увидеть скрытое содержимое.