Критерии качества обучения искусственной нейронной сети GPT-2 на примере решения задачи генерации кулинарных рецептов

УДК 004.89.032.26

В данной работе рассматривается процесс обучения нейронной сети GPT-2, особенности ее разновидностей, внутренняя архитектура. Описаны особенности обучения, критерии выбора данных для обучения, а также описан процесс и результаты обучения для двух различных датасетов, на основе которых был построен вывод об обратном влиянии количества данных на результат обучения нейронной сети в контексте текстовых задач.

Авторы:

Нагорный Сергей Юрьевич

ФГБОУ ВО «Орловский государственный университет имени И.С. Тургенева»
Магистрант кафедры информационных систем

Новикова Екатерина Владимировна

ФГБОУ ВО «Орловский государственный университет имени И.С. Тургенева»
Магистрант кафедры информационных систем

Список цитируемой литературы:

  • Eugenio Culurciello.Thefall of RNN / LSTM[Электронный ресурс]. URL: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 (дата обращения: 20.02.2020)
  • Andrej Karpathy. The Unreasonable Effectiveness of Recurrent Neural Networks [Электронный ресурс].URL: http://karpathy.github.io/2015/05/21/rnn-effectiveness/(дата обращения: 20.02.2020)
  • Tom  Brewe. Do  androids  dream  of  cooking? [Электронный ресурс]. URL:https://gist.github.com/nylki/1efbaa36635956d35bcc(дата обращения: 20.02.2020)
  • Amaia Salvador,Michal Drozdzal, Xavier Giro-i-Nieto, Adriana Romero. Inverse Cooking: Recipe Generation from Food Images// arXiv, 2019.
  • Javier Mar ́ın, Aritro Biswas, Ferda Ofli, Nicholas Hynes, Amaia Salvador, Yusuf Aytar, IngmarWeber, Antonio Torralba. Recipe1M+: A Dataset for Learning Cross-Modal Embeddings for Cooking Recipesand Food Images// IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, 2017.
  • Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever. Language Models are Unsupervised Multitask Learners// 2019.

Последние новости

Случайный материал

  • В статье рассматриваются вопросы эффективной организации мониторинга процессов оказания электронных услуг. В качестве инструмента проведения мониторинга предлагается использовать автоматизированную систему, обеспечивающую адаптивную организацию процессов сбора, хранения и обработки данных. Сформулированы системные и технологические задачи организации мониторинга, раскрыты их сущность и принципы решения.
    Фролов Алексей Иванович, ФГБОУ ВПО «Госуниверситет – УНПК», г. Орел
  • В данной статье рассматриваются подходы к созданию подсистемы стабилизации температуры в барокамере экспериментальной системы контроля качества приборов. Данная подсистема позволяет управлять величиной тока, подаваемого на термоэлектрический модуль, для поддержания воздушной среды управляемого объекта – барокамеры в пределах заданной величины.
    Демина Юлия Александровна, ФГБОУ ВПО «Госуниверситет – УНПК», г. Орел
    Вереницын Андрей Игоревич, ФГБОУ ВПО «Госуниверситет – УНПК», г. Орел
    Демина Елена Григорьевна, ФГБОУ ВПО «Госуниверситет – УНПК», г. Орел
  • В данной статье рассматривается актуальность применения свободного программного обеспечения для оказания электронных услуг населению, а также выявляются проблемы при его внедрении и сопровождении.
    Стычук Алексей Александрович, ФГБОУ ВПО «Госуниверситет – УНПК», г. Орел
    Постников Максим Владимирович, ФГБОУ ВПО «Госуниверситет – УНПК», г. Орел