Чуть меньше года назад чуваки из MIT, Северо-восточного университета и Техниона придумали алгоритм, с помощью которого можно засовывать в трансформеры (например, GPT-архитектуры) новые знания, не сильно в ущерб старым
Алгоритм они назвали MEMIT, код выложили в опенсурс, а идею, стоящую за этим алгоритмом залили на arxiv и забили, не став даже публиковать этот шедевр в каком-нибудь журнале. А идея действительно красива как с математической точки зрения, так и с точки зрения более глубокого понимания того, как вообще работают трансформеры
Суть довольно простая, они имеют некоторый набор фактов, которым хотят обучить GPT, но НЕ имеют набора фактов, которым GPT уже была обучена. Делают несколько элегантных математических трюков и вот уже задача сводится к тому, чтобы для каждого слоя GPT посчитать некоторую "матрицу знаний" C_0, которую в статье вычисляют с помощью метода Монте-Карло. Имея эту матрицу знаний уже не нужно знать, какими конкретно фактами обладает уже обученный трансформер, и можно спокойно пихать в него новые знания
Результаты, как водится, огонь. Конкуренты, среди которых ROME (похожий метод от тех же чуваков), меркнут на фоне этого титана. Метод действительно и старое не забывает, и новое успешно учит
Из недостатков: в текущем виде метод требует жесткой структуры фактов, которым его обучают. А именно: "субъект, объект, их связь". Например: "Майк играет в теннис". Факты в другом виде уже сталкиваются с некоторыми трудностями
Но, как мне кажется, это уже ерунда и скоро пофиксят
#Cirno #IT@cirno_nb
Мы в VK: https://vk.com/cirno_nb
