Словарь терминов

Большая языковая модель — нейросеть с миллиардами параметров, обученная на огромных корпусах текста для генерации, понимания и преобразования естественного языка.

Архитектура нейросети, предложенная в 2017 году в статье «Attention Is All You Need». Отказывается от рекуррентных слоёв в пользу механизма самовнимания, что обеспечивает полную параллелизацию вычислений.

Механизм, позволяющий каждому токену в последовательности «посмотреть» на все остальные токены и собрать контекстную информацию. Ключевой компонент архитектуры Transformer.

Мера неопределённости или непредсказуемости случайной величины. В теории информации — математическое ожидание количества информации, которое несёт источник сообщений.

Мера неожиданности события: I = −log₂(p), где p — вероятность. Чем менее вероятно событие, тем больше информации оно несёт. Измеряется в битах.

Математическая теория (1948), определяющая информацию через вероятность событий. Фундамент для сжатия данных, криптографии, сетевых протоколов и обучения нейросетей.

Представление слова или токена в виде числового вектора в многомерном пространстве, где близкие по смыслу слова находятся рядом. Статические (Word2Vec) фиксированы, контекстные — меняются от окружения.

Класс нейросетей, обрабатывающих последовательности пошагово, передавая скрытое состояние от шага к шагу. Страдают от проблемы исчезающего градиента на длинных последовательностях.

Разновидность RNN с механизмом «вентилей» (gates), решающая проблему исчезающего градиента. Была стандартом в NLP до появления Transformer.

Базовая единица текста для языковой модели. Может соответствовать слову, части слова или символу. Контекстное окно LLM измеряется в токенах.

Процесс использования обученной модели для получения предсказаний. В контексте LLM — генерация ответа на промпт пользователя.

Последовательность из n подряд идущих элементов в тексте. N-граммные модели оценивают вероятность следующего элемента на основе нескольких предыдущих — первый подход к моделированию языка.

Алгоритм обучения нейросетей, вычисляющий градиенты функции потерь по всем весам от выходного слоя к входному. Основа обучения всех современных глубинных моделей.

Reinforcement Learning from Human Feedback — метод дообучения модели на основе оценок качества ответов, данных людьми. Ключевая технология, сделавшая ChatGPT удобным.

Способность модели решать задачу по нескольким примерам в промпте без дополнительного обучения весов. Впервые продемонстрировано в масштабе в GPT-3.

Расширение Self-Attention: несколько параллельных «голов» одновременно анализируют текст с разных точек зрения, затем объединяют результаты.

Функция активации, превращающая вектор чисел в распределение вероятностей (все положительные, в сумме единица). Используется в механизме внимания для вычисления весов.

Функция потерь, измеряющая расхождение между предсказанным и истинным распределениями вероятностей. Стандартная функция потерь при обучении LLM, напрямую связана с теорией Шеннона.

Кэширование ключей (Key) и значений (Value) ранее обработанных токенов при авторегрессивной генерации. Позволяет не пересчитывать внимание к предыдущим токенам на каждом шаге.

Вероятностная модель, где следующее состояние зависит только от текущего. Впервые применена А. А. Марковым к тексту в 1913 году — первый шаг к моделированию языка.

Архитектура нейросети, преобразующая входную последовательность в выходную. Механизм внимания был впервые введён именно в seq2seq-моделях для машинного перевода.

Вычислительная сложность Self-Attention: при увеличении длины последовательности в n раз вычисления растут в n² раз. Главная причина ограничения контекстного окна.

Архитектурный паттерн: модель состоит из множества «экспертов», а механизм маршрутизации выбирает, какие активировать для каждого токена.

Класс архитектур (например, Mamba), альтернативных Transformer, с линейной сложностью по длине последовательности.

Графический процессор с тысячами параллельных ядер — основная платформа для обучения и инференса нейросетей. Революция AlexNet (2012) показала их эффективность.

Способность понимать внутреннее состояние системы по внешним проявлениям — логам, метрикам, трейсам. Инструменты: Prometheus, Grafana, Loki.

Запуск ПО на собственном оборудовании, а не на облачных платформах. В контексте ИИ — локальный запуск LLM через Ollama, vLLM, LM Studio.

Философская позиция (Д. Колак): существует один субъект опыта, проявляющийся во всех сознательных существах. Границы между «я» и «другими» — информационная иллюзия.

Интуитивная позиция: у каждого существа своё отдельное «я», изолированное от других. Аналог — изолированный сервер за фаерволом.

Позиция, отрицающая постоянное «я»: есть только дискретные моменты опыта, связанные памятью. Аналог — stateless-сервис.

Проблема (Д. Чалмерс, 1995): почему физические процессы в мозге сопровождаются субъективным опытом. Ни одна теория не даёт общепризнанного ответа.

Субъективный опыт — то, «каково это» что-то ощущать. Отличается от функционального доступа к информации.

Задача настройки ценностей и поведения ИИ так, чтобы они соответствовали интересам людей. Включает RLHF, constitutional AI и философские вопросы.

Тест машинного интеллекта (А. Тьюринг, 1950): человек общается текстом и должен определить, кто из собеседников — машина.

Модель (T. Mikolov, Google, 2013), показавшая, что векторы слов улавливают семантику: «король − мужчина + женщина ≈ королева». Кардинально упростила подход к эмбеддингам.

Механизм, позволяющий языковой модели сообщить о намерении вызвать внешнюю функцию с заданными аргументами (в виде структурированного JSON). Модель не исполняет функцию сама — это делает окружение. Выбор функции сводится к семантическому сопоставлению запроса с описаниями через Self-Attention.

Открытый клиент-серверный протокол (Anthropic, 2024) поверх JSON-RPC, стандартизирующий подключение приложений (хостов/клиентов) к источникам данных и инструментам (серверам). Метафора — USB-C для LLM: один стандартный интерфейс для любого источника.

Архитектура поверх LLM, способная автономно планировать многошаговые последовательности вызовов инструментов, исправлять собственные ошибки и решать, когда остановиться. В отличие от разового function calling, агент ведёт цикл «восприятие → действие → оценка».

Популярный инструмент для локального запуска LLM (Llama, Mistral, Qwen и др.) на собственном железе без облака. Упрощает загрузку весов, квантование и инференс через единый CLI/API.

Паттерн, при котором перед генерацией ответа LLM получает релевантный контекст, извлечённый из внешней базы знаний (чаще — векторным поиском по эмбеддингам). Снижает галлюцинации и даёт модели доступ к актуальным или приватным данным, не входившим в обучение.

БД, оптимизированная для хранения и поиска по векторам (эмбеддингам). Поиск ближайших соседей (ANN) находит векторы, ближайшие к запросу по косинусному/евклидову расстоянию. Примеры: pgvector, Pinecone, Qdrant, Milvus.

Алгоритм приближённого поиска ближайших соседей (ANN) в векторном пространстве. Строит многослойный граф, по которому быстро «спускается» к ближайшим векторам. Стандарт де-факто в pgvector и большинстве векторных БД: точность ~exact-поиска при на порядки меньшем времени.

Протокол однонаправленной потоковой передачи данных от сервера к браузеру поверх HTTP. Удобен для стриминга токенов LLM в реальном времени: сервер держит соединение открытым и шлёт события по мере генерации. Проще WebSocket, когда обратный канал не нужен.

Эмбеддинг-модель (BAAI, 2024): 1024-мерные векторы, мультиязычная. Эталон open-source эмбеддингов; часто запускается локально (CPU/GPU) для приватных RAG-систем.

Второй этап поиска в RAG: кандидатные документы, найденные быстрым векторным поиском, переоцениваются более тяжёлой cross-encoder моделью, которая читает запрос и документ совместно. Повышает точность итогового top-k за счёт дополнительной вычислительной стоимости.

Дообучение предварительно обученной модели на узком датасете путём корректировки весов через обратное распространение ошибки. Учит модель стилю или формату ответов, но плохо подходит для запоминания конкретных фактов — для этого используют RAG.

Алгоритм оптимизации: веса модели корректируются в направлении, противоположном градиенту функции потерь, чтобы уменьшить ошибку. Основа обучения практически всех нейросетей и многих классических моделей. Варианты: batch, mini-batch, stochastic.

Классический метод прогнозирования: подбирает линейную функцию (прямую/гиперплоскость), минимизирующую сумму квадратов отклонений от данных. Прародитель всего машинного обучения; основа скоринга, прогноза, аналитики. Проста и интерпретируема.

Метод классификации (вопреки названию): через сигмоиду отображает линейную комбинацию признаков в вероятность класса (0..1). Десятилетиями — стандарт бинарной классификации (спам/не-спам, кредитный риск).

Ансамблевый метод: деревья решений строятся последовательно, каждое следующее предсказывает и корректирует ошибки (градиент) предыдущих. Доминирует в задачах на табличных данных и до сих пор превосходит нейросети на структурированных признаках.

Ансамбль из множества решающих деревьев, обученных на случайных подмножествах данных и признаков; итоговый ответ — голосование большинства. Устойчив к переобучению, мало требует настройки, хорошо работает «из коробки».

Простой метод: объект классифицируется по большинству среди k его ближайших соседей в пространстве признаков. Не требует обучения (lazy learning), но дорог при инференсе на больших данных. База рекомендательных систем и прототипов.

Метод классификации: ищет гиперплоскость с максимальным зазором между классами. Через kernel trick работает и в нелинейных случаях, проецируя данные в пространство более высокой размерности. Стандарт до эпохи глубокого обучения.

Метод снижения размерности: находит направления (главные компоненты) максимального разброса данных и проецирует точки на них. Убирает шум и избыточность, ускоряет обучение, помогает визуализировать многомерные данные.

Алгоритм кластеризации без учителя: делит данные на k групп, минимизируя сумму расстояний от точек до центров (центроидов) своих кластеров. Прост и быстр; используется в сегментации клиентов, сжатии, разведочном анализе.

Слишком точная подгонка под обучающие данные, после чего модель теряет обобщающую способность и плохо работает на новых примерах. Главная болезнь ML; лечат регуляризацией, кросс-валидацией, увеличением данных и ранней остановкой.

Архитектура для обработки данных с сеточной структурой (изображения, аудиоспектры): скользит небольшими фильтрами, находя локальные узоры — от краёв к фигурам и объектам. Революционизировала компьютерное зрение (LeNet → ResNet).

Архитектура генерации (Гудфеллоу, 2014): генератор подделывает данные, дискриминатор отличает подделку от настоящей, обе сети соревнуются и улучшаются. Дала первые фотореалистичные лица, но капризна в обучении (mode collapse).

Генеративная модель: кодировщик сжимает данные в вероятностное распределение скрытого пространства, декодер восстанавливает. Сэмплы из этого пространства порождают новые объекты. Результаты «гладкие», но менее чёткие, чем у GAN/диффузии.

Генеративная модель: учится пошагово убирать шум из зашумлённого изображения. Запуск процесса из чистого шума порождает осмысленный объект. Основа Stable Diffusion, DALL-E, Midjourney — стабильнее GAN, лучше следует текстовому промпту.

Метод обучения с подкреплением: агент учится функции Q(state, action) — ожидаемой суммарной награде. Работает для маленьких пространств состояний; для больших таблицу заменяют нейросетью (Deep Q-Network).

Алгоритм обучения с подкреплением (OpenAI): обновляет стратегию маленькими шагами, обрезая изменение вероятностей действий, чтобы не разрушить уже выученное. Стандарт для дообучения LLM через RLHF.

Алгоритм планирования: разворачивает дерево возможных будущих действий через случайные симуляции и выбирает перспективные ветви. В связке с нейросетями позволил AlphaGo победить чемпиона мира по Go (2016).

Оптимизация модели: уменьшает точность чисел (16→8→4 бита), экономя память и скорость при небольшой потере качества. Ключ к запуску LLM на потребительском железе через GGUF/Ollama.

Оптимизация модели: удаляет «лишние» веса или нейроны с минимальным влиянием на выход, уменьшая размер и ускоряя инференс. Часто комбинируется с квантованием; бывает структурированным (целые слои) и неструктурированным.

Обучение на неразмеченных данных через сформулированные самой задачей pretext-цели (предскажи следующее слово, восстанови закрытую часть). Позволяет учиться на терабайтах без ручной разметки — именно так обучаются все современные LLM.

Парадигма ML: агент учится через взаимодействие со средой, получая награды/штрафы за действия, а не на готовых метках. Так учатся играть в шахматы/Go и так проводится RLHF-дообучение LLM следовать инструкциям.

Архитектура детекции объектов: одна нейросеть за один проход по картинке находит все объекты и рисует рамки. Насколько быстрая, что работает в реальном времени на видео; стандарт для детекции, где важна скорость.

Языковая модель (Google, 2018) на основе энкодера трансформера: читает текст двунаправленно, отлично справляется с пониманием (QA, классификация). Открыл эру предобучения+fine-tuning в NLP; идейный близнец GPT, но для анализа, а не генерации.

Семейство авторегрессионных языковых моделей (декодер трансформера): предсказывают следующий токен один за другим. GPT-путь (OpenAI) привёл к ChatGPT и всей эре LLM — генерация, а не понимание, как у BERT.