Основные понятия из статьи на биомолекуле Flashcards
(21 cards)
Искусственный интеллект
область компьютерных наук, которая занимается созданием интеллектуальных систем, способных
выполнять задачи, обычно требующие умственных усилий человека.
Машинное обучение (machine learning, ML)
Подраздел ИИ, посвященный разработке математических моделей и алгоритмов, которые помогают
эффективно выявлять закономерности в данных
Находится на стыке математической статистики,
методов оптимизации и других классических математических дисциплин.
Модель машинного обучения
Программа (в самом общем смысле) для поиска закономерностей в данных определенного типа и/или
предсказаний на их основе. Модель задает последовательность действий на входных данных, приводящих к
предсказанию.
Параметры модели определяют результат каждого отдельного действия модели.
Обучение модели
Процесс оптимизации всех параметров модели, чтобы ее предсказания стали максимально точными.
Тут используются: (1) обучающая выборка — заранее подготовленные данные определенного типа, в
которых, как мы знаем (или верим) нужная закономерность есть; и (2) функция потерь — описывает,
насколько точным получается предсказание на элементах обучающей выборки.
Пример обучения модели
Например, если мы
хотим построить предсказатель цены дома на основе его числа комнат и площади, обучающая
История развития искусственного интеллекта и его пришествия в биологию
выборка будет состоять из троек чисел (число комнат; площадь; цена) для большого числа домов, про
которые мы смогли узнать эту информацию. Функция потерь может быть просто суммой квадратов
разностей цен домов в реальности и предсказанных моделью. Цель обучения — оптимизировать
модель таким образом, чтобы функция потерь оказалась минимальной.
Проблема переобучения
когда модель «запоминает» правильные ответы для обучающей
выборки и выдает для ее элементов очень точные предсказания; но на новых данных результат будет разительно хуже
Обучение с учителем
вид машинного обучения, требующий размеченных данных — набора примеров, для каждого из которых известны входные данные и правильное выходное значение
По этим примерам модель
учится предсказывать значение «выхода»
Обучение без учителя
происходит на наборе неразмеченных данных (которым не сопоставлена никакая информация, предсказанию которой модель могла бы обучиться — как в случае обучения с учителем).
По сути, на входе у модели есть просто набор чисел, и мы надеемся, что с помощью модели сможем найти заранее неизвестные закономерности в данных
Обучение с подкреплением
разновидность обучения без учителя - когда данные не размечены, но зато ответы нейросети оцениваются (например,
человеком), и обучение повторяется с уже лучшими результатами
Нейронные сети
метод машинного обучения, в котором функциональным блоком являются искусственные «нейроны»,
обрабатывающие информацию и обменивающиеся ею друг с другом
Глубокое обучение
подраздел машинного обучения, использующий так называемые глубокие нейронные сети.
Критерий «глубины» довольно размытый: в отличие от «обычных» нейросетей, глубокие имеют архитектуру, позволяющую последовательно выявлять всё более сложные закономерности в данных.
Часто глубокие сети имеют блочную структуру, когда в первом блоке выявляются локальные закономерности в данных, передаваемые в следующий блок, выявляющий связь уже между этими признаками, и так далее
Свёрточные нейронные сети
архитектура нейронных сетей, основанная на математической операции свёртки (эффективно вычленяющей локальные признаки сигнала) и изначально предназначенная для распознавания
изображений
Рекуррентные нейронные сети (RNN)
Вид нейронных сетей, где связи между элементами образуют направленную последовательность.
Такие сети хорошо работают, например, с текстами, так как текст — это последовательность слов.
Обработка естественного языка (Natural Language Processing, NLP)
задачи алгоритмизированного анализа и «понимания» естественного языка. К ним относятся, например, технологии автоматического перевода, распознавания речи и анализа тональности текста.
Языковые модели
используются для обработки естественного языка путем прогнозирования вероятности
последовательности слов в заданном тексте или предложении.
Большая языковая модель — (Large language model, LLM)
Это языковая модель со множеством параметров (обычно миллиарды весовых коэффициентов и более), обученная на большом объеме неразмеченного текста «без учителя».
В качестве входных данных языковым моделям передают не сырой текст целиком, а предварительно разбивают его на небольшие блоки — токены.
Токен
Токеном может быть слово, корень слова, знак препинания или специальный символ, указывающий на конец параграфа или текста.
Эмбединги
Модели машинного обучения оперируют числами, а не словами. Поэтому важная составляющая языковых моделей — создание эмбеддингов — наборов чисел, отражающих важные свойства токенов: их семантику, контекст и синтаксис. Эмбеддинги применяются и во многих других сферах машинного обучения, чтобы сложные
объекты описать компактным численным представлением
Механизм внимания
Это техника, позволяющая установить связь между разными участками входных данных. В случае текста, механизм внимания устанавливает связь каждого слова со всеми другими словами в тексте.
Во время обучения нейронная сеть оптимизирует веса для этих связей, что помогает ей понять, какие места текста для каждого слова определяют контекст данного слова.
Трансформеры
Архитектура глубоких нейронных сетей, основанная на механизме внимания.
Она позволяет искать связи в последовательности данных не только с предшествующими данному элементами, как обычно бывает в рекуррентных нейронных сетях, но с последующими элементами тоже.
Генеративный ИИ
Предназначен для генерации текста, изображений или других данных в ответ на запрос пользователя
(подсказку, prompt).
Комбинация слов, картинка или структура молекулы — это лишь точки в сложном
распределении вероятностей, соответствующих языку, изображениям или всему множеству молекул.
