Uncategorized

Как трансферное обучение может повысить эффективность бизнеса

Повысьте уровень технологий и стратегии корпоративных данных на Transform 2021.


Трансферное обучение – это метод, который за последние несколько десятилетий стал популярным в сообществе искусственного интеллекта и машинного обучения. Это относится к хранению знаний, полученных при решении одной проблемы, и их применению к другой, но связанной проблеме. До сих пор трансферное обучение применялось для обнаружения подтипов рака, видеоигр, классификации текста, медицинской визуализации, фильтрации спама и многого другого. В 2016 году выдающийся компьютерный ученый Эндрю Нг сказал, что трансферное обучение станет одним из основных факторов коммерческого успеха машинного обучения.

Трансферное обучение имеет свои преимущества, главная из которых позволяет компаниям использовать модели машинного обучения для решения новых задач с меньшим объемом данных обучения. Но трансферное обучение часто бывает проще в теории, чем на практике. Например, модели, обученные одной проблеме и примененные к другой, могут страдать от отрицательного переноса, когда модель со временем становится менее точной.

Потенциальные ловушки заключаются в том, почему важно, чтобы организации, рассматривающие возможность инвестирования в технологии с использованием трансферного обучения, понимали основы этого метода. Обладая этими знаниями, они с большей вероятностью будут успешно применять трансферное обучение независимо от предметной области.

Истоки трансферного обучения

Истоки трансферного обучения лежат в исследовании, проведенном учеными Стево Бозиновски и Анте Фулгози в 1976 году. В нем соавторы предложили использовать трансферное обучение в нейронных сетях в процессе обучения модели. Спустя почти десять лет был сделан доклад о применении трансферного обучения в распознавании символов. Но не думали, что эта техника стала популярной до 1995 года, когда она была представлена ​​на семинаре во время конференции NIPS по машинному обучению в Денвере, штат Колорадо.

В отличие от традиционного машинного обучения, которое происходит с конкретными задачами и наборами данных, переносное обучение использует функции и веса (среди других переменных) из ранее обученных моделей для обучения новых моделей. Характеристики – это информация, извлеченная из набора данных для упрощения процесса обучения модели, например, края, формы и углы полей подписи и шрифтов в документах. С другой стороны, веса определяют, как данная часть входных данных повлияет на выходные данные.

Обучение моделей происходит в два этапа в трансферном обучении. Во-первых, это переобучение, когда модель обучается на наборе контрольных данных, представляющем диапазон категорий. Далее идет точная настройка, при которой модель дополнительно обучается для решения интересующей целевой задачи. Этап предварительного обучения помогает модели изучить общие функции, которые можно повторно использовать в целевой задаче, повышая ее точность.

У трансферного обучения есть множество вариантов использования, особенно в распознавании изображений и речи, а также в обработке естественного языка (NLP). Например, модель, обученная для автономного автомобиля, вероятно, может быть использована для автономного грузовика – по крайней мере, частично. А модель, которая разрабатывала стратегии во время игры в китайскую настольную игру го, например AlphaZero от DeepMind, вероятно, может быть адаптирована к родственным играм, таким как шахматы.

Google и Amazon используют трансферное обучение в Google Translate и Alexa, так что идеи, полученные в ходе обучения языкам с высокими ресурсами (например, французскому, немецкому и испанскому), могут быть применены к переводу языков с низким уровнем ресурсов (йоруба, синдхи, и гавайский). Между тем, Yelp использовал трансферное обучение для определения фотографий, которые, скорее всего, содержат спам, загруженный пользователями в списки компаний.

Типы трансферного обучения

Существует несколько различных видов трансферного обучения, каждый из которых имеет свои преимущества: индуктивное, неконтролируемое и трансдуктивное передающее обучение. При индуктивном обучении передачи исходный и целевой домены одинаковы, но исходная и целевая задачи различаются. Обучение без учителя включает в себя различные задачи в похожий – но не идентичны – исходный и целевой домены без помеченных данных. Что касается трансдуктивного обучения с переносом, между исходными и целевыми задачами существует сходство, но домены различны, и только целевой домен не имеет помеченных данных.

Без присмотра модели трансферного обучения отличаются от под наблюдением модели в том, что они должны научиться классифицировать данные, обрабатывая немаркированные данные, чтобы извлекать уроки из их внутренней структуры. Модели контролируемого трансферного обучения обучаются на входных данных, аннотированных для конкретного выхода, до тех пор, пока они не смогут обнаружить лежащие в основе отношения между входными и выходными результатами.

Трансферное обучение можно разделить на категории по компонентам передаваемой модели. Передача экземпляра повторно использует знания из исходного домена в целевую задачу, например, в то время как передача параметров работает при предположении, что модели для связанных задач совместно используют некоторые параметры. Параметры – это внутренние характеристики модели (включая веса), которые извлекаются из обучающих данных.

Вызовы

Трансферное обучение имеет множество преимуществ, а именно то, что оно ускоряет процесс обучения новой задаче. В то время как таким моделям, как OpenAI GPT-3 и DeepMind AlphaStar, может потребоваться мощное оборудование и бесчисленное количество часов на обучение, «тонко настроенная» модель, созданная с помощью трансферного обучения, обычно требует доли времени и усилий.

Как отмечает П. Дж. Кирк, руководитель отдела цифрового маркетинга аналитической компании Analytics Engines, трансферное обучение может позволить большему количеству организаций включить ИИ и машинное обучение в свои основные бизнес-стратегии. «Сокращение финансовых, временных и инфраструктурных затрат сделало ИИ и машинное обучение более доступными, чем когда-либо прежде», – написал он в своем блоге. «Организациям больше не нужно создавать специализированные модели глубокого обучения, и вместо этого они могут использовать опыт и модели других, чтобы обеспечить основу, на которой построено их решение.

Но трансферное обучение не обходится без неудач. Существует вышеупомянутый негативный перенос, вызванный слишком сильным различием проблемных доменов или неспособностью модели обучаться для нового набора данных домена. И есть еще одно препятствие: объяснимость. Несмотря на недавние открытия, по-прежнему сложно понять, что обеспечивает успешный перенос и какие части моделей за него отвечают.

Среди хороших новостей в плане объяснимости исследователи Google недавно опубликовали статью, проливающую свет на основы трансфертного обучения. Они обнаружили, что функции становятся более специализированными, чем «плотнее» модель, и что повторное использование функций более распространено в частях модели, расположенных ближе к входным данным. Помимо этого, они обнаружили, что можно точно настроить предварительно обученные модели на целевую задачу раньше, чем предполагалось изначально, без ущерба для точности.

Преимущества

Работа, подобная Google, показывает, что проблемы, связанные с трансферным обучением, не являются непреодолимыми. В любом случае, выгода того стоит.

Кевин Девальт, соучредитель консалтинговой компании Prolego в области искусственного интеллекта, утверждает, что трансферное обучение в равной степени эффективно и экономично. «Предположим, ваш финансовый директор утверждает бюджет, достаточный только для создания 1000 изображений блюд с калориями – это всего лишь 1% от того, что запросил ваш специалист по данным. Прежде чем просить больше денег, вы [can generate] результаты за счет трансферного обучения », – написал он в сообщении на Medium. «Если вы не Google или Facebook, получение данных с ярлыками может быть непомерно дорогостоящим. Методы трансфертного обучения обеспечивают два основных преимущества для бизнеса: Более быстрые эксперименты. [and] более высокая рентабельность инвестиций, [because] трансферное обучение может снизить затраты на текущее управление данными и повысить рентабельность инвестиций в любой проект машинного обучения ».

Хотя трансферное обучение вряд ли является панацеей, оно уже применяется во многих проблемных областях, включая НЛП, обработку аудио и видео, модели субтитров к изображениям и многое другое. Когда вы сталкиваетесь с обучением новой модели для связанной проблемной области или если имеется минимальный объем обучающих данных, переносное обучение может сэкономить бесценное время и энергию.

VentureBeat

Миссия VentureBeat – стать цифровой городской площадью, где лица, принимающие технические решения, могут получить знания о преобразующих технологиях и транзакциях.

На нашем сайте представлена ​​важная информация о технологиях и стратегиях обработки данных, которая поможет вам руководить своей организацией. Мы приглашаем вас стать членом нашего сообщества, чтобы получить доступ:

  • актуальная информация по интересующей вас тематике
  • наши информационные бюллетени
  • закрытый контент для лидеров мнений и льготный доступ к нашим ценным мероприятиям, таким как Преобразование 2021: Учить больше
  • сетевые функции и многое другое

Стать членом

Related Articles

Leave a Reply

Your email address will not be published. Required fields are marked *

Back to top button