20 Ноября, 12:45
От газетных киосков до TikTok: как изменились СМИ Казахстана за 35 лет независимостиРазработчики использовали самообучающуюся нейросеть на архитектуре Transformer. На сжатие и последующее восстановление текстового массива у двух видеокарт Nvidia B200 уходит около двух недель. Подробнее – на El.kz.
Исследователи компании Tufa Labs представили экспериментальную технологию сжатия текстовых данных, которая позволила уменьшить объём гигабайта информации из Википедии до 105,39 МБ. Исходный массив включал материалы почти 158 тысяч полноценных статей англоязычной энциклопедии. При этом алгоритм сохраняет содержимое полностью, без потери отдельных символов или фрагментов текста.
Проект получил название tufazip. Его разработал исследователь Томми Хэ.
В основе tufazip лежит модель Transformer со 163 миллионами параметров. Она последовательно анализирует текст, предсказывает следующий токен и корректирует собственные параметры на основе полученной информации. Токеном может выступать отдельный символ, часть слова или целое слово.
Алгоритм использует языковую модель, которая обучается непосредственно во время сжатия. Для восстановления исходного текста система повторяет те же вычислительные операции.
Для работы tufazip использует предварительно обученную стартовую модель с 34 миллионами параметров. Её объём после оптимизации составляет 4,33 МБ.
Каждая копия продолжает обучение самостоятельно. В процессе обработки текста модель постепенно адаптируется к его содержанию, запоминая закономерности и особенности последовательности. При распаковке выполняются те же операции, поэтому система способна восстановить исходные данные без сохранения полной обученной модели внутри архива.
Для проверки технологии исследователи использовали специальный набор данных enwik9, созданный на основе англоязычной Википедии. Он содержит первый миллиард байтов XML-выгрузки энциклопедии, датированной 3 марта 2006 года.
В массиве насчитывается 243 426 заголовков статей. Из них 85 560 представляют собой ссылки-перенаправления, а остальные 157 866 являются полноценными статьями. Следовательно, эксперимент охватил содержимое почти 158 тысяч энциклопедических материалов.
При этом исходный массив включал не только текст статей, но и служебную XML-разметку, заголовки, ссылки и другие структурные элементы. Поэтому речь идёт о сжатии фрагмента базы Википедии, а не исключительно сплошного текста публикаций.
Эксперимент потребовал значительных вычислительных ресурсов. Для обработки данных использовали две видеокарты Nvidia B200 и два процессора Intel Xeon Platinum 8570.
Сжатие массива информации заняло 631 548 секунд, а восстановление исходного текста потребовало 645 748 секунд – это примерно 7,3 и 7,5 суток соответственно. В указанные показатели не входит предварительное обучение стартовой модели.
El.kz также писал о том, во что обходится ИИ-ролик на полминуты.
20 Ноября, 12:45
От газетных киосков до TikTok: как изменились СМИ Казахстана за 35 лет независимости6 Ноября, 09:02
Пока мои ровесницы качают внуков, я качаю залы: о стендапе после сорока29 Октября, 09:03
Что мы не знаем о позвоночнике: интервью с вертебрологом23 Октября, 09:02
Тридцать судеб за глобальными целями ООН