Ученые из Университета Райса продемонстрировали программное обеспечение искусственного интеллекта (AI), которое работает на обычных процессорах и обучает глубокие нейронные сети в 15 раз быстрее, чем платформы на основе графических процессоров.
«Стоимость обучения – это фактическое узкое место в искусственном интеллекте», – сказал Аншумали Шривастава, доцент кафедры информатики в инженерной школе Райса Брауна. «Компании тратят миллионы долларов в неделю только на обучение и настройку своих рабочих нагрузок на ИИ».
Шривастава и его сотрудники из Райс и Intel представят исследование, направленное на устранение этого узкого места, 8 апреля на конференции по системам машинного обучения MLSys .
Глубокие нейронные сети (DNN) – это мощная форма искусственного интеллекта, которая может превзойти людей в некоторых задачах. Обучение DNN обычно представляет собой серию операций умножения матриц , идеальную рабочую нагрузку для графических процессоров (ГП), которые стоят примерно в три раза больше, чем центральные процессоры (ЦП) общего назначения.
«Вся отрасль зациклена на одном виде улучшений – более быстром умножении матриц», – сказал Шривастава. «Все ищут специализированное оборудование и архитектуры для ускорения матричного умножения. Сейчас люди даже говорят о наличии специализированных аппаратно-программных стеков для определенных видов глубокого обучения. Вместо того, чтобы брать дорогостоящий алгоритм и бросать на него весь мир оптимизации системы, Я говорю: «Давайте вернемся к алгоритму» ».
Лаборатория Шриваставы сделала это в 2019 году, переработав обучение DNN как задачу поиска, которую можно было решить с помощью хеш-таблиц. Их «сублинейный механизм глубокого обучения» (SLIDE) специально разработан для работы на стандартных процессорах, и Шривастава и его сотрудники из Intel показали, что он может превзойти обучение на основе графического процессора, когда они представили его на MLSys 2020 .
В исследовании, которое они представят на этой неделе на MLSys 2021, изучается, можно ли улучшить производительность SLIDE с помощью ускорителей векторизации и оптимизации памяти в современных процессорах.
«Ускорение на основе хеш-таблиц уже превосходит GPU, но процессоры также развиваются», – сказал соавтор исследования Шабнам Дагаги, аспирант Райс. «Мы использовали эти инновации, чтобы продвинуть SLIDE еще дальше, продемонстрировав, что если вы не зацикливаетесь на матричном умножении, вы можете использовать мощность современных процессоров и обучать модели ИИ в 4-15 раз быстрее, чем лучшая специализированная альтернатива аппаратному обеспечению».
Соавтор исследования Николас Мейсбургер, студент Райса, сказал: «ЦП по-прежнему являются наиболее распространенным оборудованием в вычислительной технике. Нельзя недооценивать преимущества их большей привлекательности для рабочих нагрузок ИИ».
