Главное в материале
- Модель SALF-Net совмещает акустический блок и языковую модель, работая даже без текста песни
- Эксперты признали 61,8% её меток точными; промахов вдвое меньше, чем у Qwen-Audio и Audio Flamingo
- Облегчённая версия обрабатывает ролик за 7–11 мс; словарь меток пока фиксированный и англоязычный
Модель для разметки настроения коротких видео
Нейросеть SALF-Net присваивает музыке в коротких видео эмоциональные метки — «веселая», «романтичная», «энергичная» — даже если запись искажена, а слов песни нет. Модель создали Лю Чжици из Музыкального колледжа Университета Цзимэ в Китае и его коллеги; статья опубликована в журнале Scientific Reports.
Зачем это платформам
TikTok и похожие платформы получают сотни миллионов роликов в день, и каждому треку нужны метки настроения для поиска, рекомендаций и рекламы. Разметчики с таким потоком не справляются, а обычные аудиоанализаторы рассчитаны на полноценные песни, а не на обрезки длиной 8–30 секунд с наложенным голосом и помехами.
Как устроена система
SALF-Net совмещает акустический блок, заранее обученный на большой музыкальной коллекции, и языковую модель, читающую текст песни. На этапе обучения текст периодически скрывают, поэтому система не теряет работоспособности на инструментальных треках. Дополнительной опорой служит психологическая шкала Рассела: каждой эмоции соответствуют координаты «приятно — неприятно» и «спокойно — бодро». По словам авторов, «слияние звукового и текстового каналов, при котором текст может отключаться, превращает лабораторное преимущество в систему, которая выдерживает отсутствие текстов песен, инструментальные треки и запись, перегруженную речью».
Результаты тестов
Модель проверяли на новой коллекции из 30 000 роликов, размеченных людьми. SALF-Net обошла специализированные системы и аудиоверсии ИИ-моделей Qwen-Audio от Alibaba и Audio Flamingo от NVIDIA. Эксперты признали 61,8% выданных меток точно подходящими, а промахов у новинки вдвое меньше, чем у конкурентов. Иногда система дополняет авторские теги удачными соседями: к «энергичной» музыке танцевального челленджа она добавляет «мотивирующую» и «вечериночную». Текст песни сильнее всего помогает с метками вроде «романтики» и «разбитого сердца», тогда как темп и энергию музыка передает и без слов.
Скорость и ограничения
Облегчённая версия сохраняет 95% качества полной модели и тратит на один ролик 11 миллисекунд, а после дополнительного сжатия — семь. Одной видеокарты среднего класса хватает на разметку более 12 млн роликов в день. Ограничения: словарь меток фиксированный и англоязычный, а свежие сетевые настроения система не распознает.
