08:38

Что такое нейронная сеть?

Что такое набор данных? Набор данных или датасет — это коллекция однотипных данных, необходимых для обучения нейросетей. Например, чтобы натренировать алгоритм распознавания человеческих лиц, ему необходимо показать большое количество фотографий других людей. Чем больше данных — тем точнее алгоритм. Датасеты бывают трех видов: тренировочный (training dataset) — используется при обучении нейросети;тестовый (test dataset) — необходим для проверки точности обучения;валидационный (validation dataset) — независимый набор данных, использующийся для финальной оценки точности алгоритма. Данные могут быть любого формата: таблицы, фото, видео, аудио и прочее. При использовании методов обучения с учителем, зачастую данные размечают с помощью специализированного ПО. Однако из-за неточностей в датасетах конечные модели могут содержать ошибки. Например, в апреле 2021 года специалисты Массачусетского технологического института выяснили, что популярные датасеты содержат множество ошибок. Так, в популярных наборах данных для тестовых проверок точности алгоритмов содержатся изображения, на которых гриб может быть подписан как ложка, лягушка — кошкой, а высокая нота Арианы Гранде в аудиофайле отмечена как свист. Другое исследование MIT показало, что безответственность работников краудсорсингового маркетплейса Amazon Mechanical Turk препятствуют развитию систем генерации текстов. Дело в том, что им платят за единицу размеченной информации. Как правило, такие работники стараются работать быстро и не особо вникая в достоверность разметки. Чтобы не допустить такого, исследователи призывают разработчиков соблюдать «гигиену» данных. При обучении с подкреплением, данные в разметке не нуждаются, так как агент в среде должен самостоятельно отыскать закономерности и получить вознаграждение при достижении цели.

Нет новостей