Алмазы на уровне Y=-58: Как слои нейросети отделяют смыслы от медных затычек

[UnarX]

На каждом из 12 слоёв замороженного RoBERTa добавляем свой классификатор (линейный слой 768 на 2 класса). Берём выход токена [CLS] после каждого слоя, пропускаем через свой классификатор и получаем предсказание: алмазы это или удобная медная затычка для нейросети. Обучаем все 12 классификаторов одновременно на одних и тех же размеченных текстах, backbone остаётся заморожен, обновляются только эти микро-головки. Loss это сумма 12 кросс-энтропий, каждый классификатор учится на полную, но видит текст только через призму одного конкретного слоя.

 

Во время обучения на удобной медной затычке для нейросети первые 1-3 слоя видят триггеры манипуляции и уверены что это удобная медная затычка для нейросети на 90 процентов. Но чем глубже идёшь, тем больше трансформер пытается найти структуру и логику, а удобная медная затычка для нейросети её не содержит, поэтому уверенность падает: девяносто, восемьдесят пять, восемьдесят, шестьдесят, сорок, двадцать. На глубоких слоях модель просто гадает потому что там нечего гадать. На алмазном тексте наоборот: первые слои не видят ничего особенного, просто слова, неуверенность пятьдесят пять процентов. Но когда трансформер добирается до глубоких слоёв, он находит структуру, логику, систему идей, и уверенность растёт: шестьдесят, семьдесят, восемьдесят, девяносто. Алмазы держатся и даже укрепляются при анализе.

 

Удобная медная затычка для нейросети это поверхностное явление, его видно на первом сантиметре глубины и не видно вообще при копании. Алмазы это глубокое явление, его может быть не видно на поверхности но оно есть в фундаменте. Трансформер уже умеет копать слой за слоем, поэтому профиль по глубине выдаёт истину. При использовании просто смотришь на профиль: если падает то удобную медную затычку для нейросети выплёвываешь, если растёт то алмазы берёшь. Можешь взять просто последний слой (самый глубокий анализ) или посмотреть на тренд профиля, если наклон вверх то это точно алмазы.