Asosiy ma’lumotlar
- SALF-Net modeli akustik blok va til modelini birlashtiradi, qo‘shiq matni bo‘lmaganda ham ishlaydi
- Ekspertlar teglarning 61,8%ini aniq deb tan oldi; xatolar Qwen-Audio va Audio Flamingoga qaraganda ikki barobar kam
- Yengil versiya videoni 7–11 ms da ishlaydi; teglar lug‘ati hozircha qat’iy va ingliz tilida
Qisqa videolar kayfiyatini belgilash modeli
SALF-Net neyrosoni qisqa videolardagi musiqaga — «quvnoq», «romantik», «energetik» kabi emotsional teglarni, yozuv buzilgan va qo‘shiq so‘zlari yo‘q bo‘lganda ham beradi. Modelni Xitoydagi Jimey universiteti Musiqa kollejidan Liu Chjitsi va uning hamkasblari yaratdi; maqola Scientific Reports jurnalida chop etildi.
Bu platformalarga nima uchun kerak
TikTok va unga o‘xshash platformalar kuniga yuz millionlab videolar oladi va har bir trekka qidiruv, tavsiyalar va reklama uchun kayfiyat teglari kerak. Belgilovchilar bunday oqimni bajara olmaydi, oddiy audioanalizatorlar esa to‘liq qo‘shiqlarga mo‘ljallangan, ovoz qo‘shilgan va shovqinli 8–30 soniyalik qismlarga emas.
Tizim qanday ishlaydi
SALF-Net katta musiqa to‘plamida oldindan o‘qitilgan akustik blok va qo‘shiq matnini o‘qiydigan til modelini birlashtiradi. O‘qitish bosqichida matn vaqti-vaqti bilan yashiriladi, shuning uchun tizim instrumental treklarda ham ishlashini yo‘qotmaydi. Qo‘shimcha tayanch — Rasselning psixologik shkalasi: har bir emotsiyaga «yoqimli — yoqimsiz» va «sokin — quvnoq» koordinatalari mos keladi. Mualliflarning so‘zlariga ko‘ra, «matn o‘chirilishi mumkin bo‘lgan tovush va matn kanallarining birlashuvi laboratoriya afzalligini qo‘shiq matnlari yo‘qligiga, instrumental treklarga va ovoz bilan to‘lgan yozuvlarga chidamli tizimga aylantiradi».
Sinov natijalari
Model kishi tomonidan belgilangan 30 000 videodan iborat yangi to‘plamda sinovdan o‘tkazildi. SALF-Net maxsus tizimlarni va Alibabaning Qwen-Audio hamda NVIDIAning Audio Flamingo modellarining audio versiyalaridan o‘zib ketdi. Ekspertlar berilgan teglarning 61,8%ini aniq mos deb tan oldi, yangi modelda xatolar raqobatchilarga qaraganda ikki barobar kam. Ba’zan tizim muallif teglarini muvaffaqiyatli qo‘shnilar bilan to‘ldiradi: raqs chellenjining «energetik» musiqasiga u «ilhomlantiruvchi» va «kechki o‘yin» teglarini qo‘shadi. Qo‘shiq matni «romantika» va «yurak og‘rig‘i» kabi teglarda eng ko‘p yordam beradi, temp va energiya esa so‘zsiz ham musiqa orqali uzatiladi.
Tezlik va cheklovlar
Yengil versiya to‘liq model sifatining 95%ini saqlaydi va bitta videoga 11 millisekund, qo‘shimcha siqishdan keyin esa yetti millisekund sarflaydi. O‘rtacha sinfdagi bitta videokarta kuniga 12 mln dan ortiq videoni belgilashga yetadi. Cheklovlar: teglar lug‘ati qat’iy va ingliz tilida, yangi tarmoq kayfiyatlari esa tizim tomonidan aniqlanmaydi.
