1 Октября, 16:20
Казахстанские специалисты могут конкурировать в США: Енлик Тлепова о работе в американском бренде косметикиЧитатели не только путают стихи нейросетей с произведениями известных поэтов, но иногда оценивают машинные тексты выше. Это звучит как приговор человеческой литературе. Однако эксперименты говорят не столько о победе алгоритма над писателями и поэтами, сколько о том, как мы определяем хорошую поэзию: по глубине, которая раскрывается не сразу, или по ясности, ритму и эмоциональному эффекту первых секунд. Подробнее в материале El.kz.
В ноябре 2024 года журнал Scientific Reports опубликовал исследование философов науки Брайана Портера и Эдуарда Машери из Питтсбургского университета. Авторы решили проверить, способны ли обычные читатели отличить стихи известных англоязычных поэтов от текстов, созданных ChatGPT 3.5. Исследователи выбрали десять авторов из разных эпох: Джеффри Чосера, Уильяма Шекспира, Сэмюэла Батлера, лорда Байрона, Уолта Уитмена, Эмили Дикинсон, Томаса Стернза Элиота, Аллена Гинзберга, Сильвию Плат и современную поэтессу Доротею Ласки. Для каждого автора отобрали пять настоящих стихотворений длиной менее тридцати строк. Затем модели дали предельно простой запрос: написать короткое стихотворение в стиле конкретного поэта. В выборку вошли первые пять полученных ответов — исследователи не редактировали их и не отбирали самые удачные.
В первом эксперименте участвовали 1634 человека из США, не являвшиеся экспертами по поэзии. Каждый видел десять текстов: пять подлинных и пять машинных имитаций. Точность определения авторства составила 46,6 процента — ниже уровня случайного угадывания. Более того, созданные ИИ стихи чаще принимали за человеческие, чем реальные произведения классиков. Пять текстов, которые участники реже всего признавали человеческими, на самом деле были написаны людьми. Сложность, разрывы логики и непрозрачные образы, которые в литературоведении могут считаться источником многозначности, часть аудитории воспринимала как признак неудачной машинной генерации.
Результат особенно заметен на фоне исследования Нилса Кёбиса и Луки Моссинка, опубликованного в 2021 году. В двух экспериментах с общей выборкой 830 человек они сравнивали человеческие стихи с продолжениями, созданными GPT-2. Если машинный текст выбирался случайно, участники могли распознать его. Если человек предварительно отбирал лучший вариант, различие исчезало. При этом сохранялась небольшая неприязнь к алгоритмической поэзии.
Исследование Портера и Машери устроено строже в одном важном отношении: никакого редактора между моделью и читателем не было. Первые ответы ChatGPT 3.5 уже оказались достаточно гладкими, чтобы обойти человеческие тексты в тесте на узнаваемость. Это не доказывает, что новая модель создала произведения большей литературной ценности. Но показывает, насколько быстро генераторы научились воспроизводить внешние признаки стихотворной речи.
Во втором эксперименте Портера и Машери участвовали еще 696 человек. Они оценивали десять текстов по пятнадцати характеристикам, включая общее качество, образность, ритм, звучание, красоту, лиричность, глубину, оригинальность и способность передавать тему или настроение. Одним участникам говорили, что все стихи написаны людьми, другим — что их создал ИИ, третьим не сообщали ничего.
Машинные тексты получили более высокие оценки по нескольким эстетическим параметрам, в том числе по ритму и красоте. Авторы исследования объяснили этот эффект доступностью: ChatGPT выражал тему, настроение и эмоцию прямее, чем многие выбранные произведения классиков. Читатель быстрее понимал, о чем стихотворение, легче распознавал его эмоциональный тон и поэтому чаще считал текст качественным — и человеческим.
Одновременно сработал эффект ярлыка. Если участникам сообщали, что стихотворение создано ИИ, они оценивали его оригинальность ниже. Однако при сравнении реального происхождения текстов существенного преимущества машинных стихов по оригинальности не обнаружилось. Значит, на впечатление влиял не только сам текст, но и представление читателя об авторе.
Нейросеть не начинает с пустого листа. Она обучена на огромном массиве текстов и вычисляет, какие слова, образы и ритмические ходы вероятнее всего продолжат запрос. Поэтому ее сильная сторона — не литературный риск, а быстрое воспроизведение узнаваемой формы.
Исследователи из Вашингтонского университета проанализировали около 5700 стихотворений, созданных GPT-3.5 и GPT-4, и сравнили их примерно с 3700 текстами из архивов Poetry Foundation и Academy of American Poets. Модели умели поверхностно соблюдать разные формы: выдавали четырнадцать строк для сонета, девятнадцать — для вилланеллы и тридцать девять — для секстины. Но за разнообразием заданий проступал общий машинный почерк. Тексты были заметно более однообразными, тяготели к рифме, четверостишиям, ямбу, местоимению «мы» и повторяющейся лексике вроде «сердце», «эхо», «шепот» и «объятие».
К сходному выводу пришла работа, представленная на конференции EMNLP 2024. Сравнивая автоматическую и человеческую поэзию по структурным, лексическим, семантическим и стилистическим показателям, авторы обнаружили у генераторов недостаток разнообразия. Машинные стихи часто были семантически однородными и воспроизводили более узкий набор решений, хотя специальная настройка на стиль частично улучшала результат. Получается парадокс: отдельное стихотворение ИИ может показаться цельным и выразительным, однако большая подборка быстро обнаруживает повторы. Алгоритм хорошо создает текст, похожий на наше усредненное представление о поэзии. Именно поэтому он убедителен при первом знакомстве и предсказуем на дистанции.
Психология восприятия предлагает возможное объяснение. Теория беглости обработки связывает эстетическое удовольствие с тем, насколько легко мозг распознает и обрабатывает объект. В обзоре Рольфа Ребера, Норберта Шварца и Петра Винкильмана показано, что простота восприятия, знакомая структура, повторение, симметрия и смысловая подготовка способны усиливать положительную эстетическую реакцию.
Это не означает, что люди любят только примитивное. Легкость — лишь один из источников удовольствия. Знакомая мелодия, четкий ритм и быстро считываемый образ дают немедленное вознаграждение. Сложный текст часто предлагает другой тип удовольствия: сначала сопротивление и неопределенность, затем — открытие связи, второго смысла или неожиданной интонации.
В коротком онлайн-эксперименте преимущество получает произведение, которое быстрее сообщает, что именно следует почувствовать. Машинный текст часто действует как хорошо освещенная витрина: предмет виден сразу. Классическое стихотворение может быть устроено как затемненная комната, где взгляд постепенно привыкает к деталям. Оценка после первого прочтения измеряет прежде всего удобство входа, а не количество возможных открытий внутри.
Опасение, что цифровая среда меняет чтение, имеет под собой некоторые основания, однако и здесь необходима осторожность. Метаанализ Вирджинии Клинтон объединил 33 экспериментальных исследования с 2799 участниками. Чтение с экрана в среднем сопровождалось небольшим снижением понимания по сравнению с бумагой, тогда как время чтения существенно не отличалось. Эффект проявлялся прежде всего на информационных текстах; для художественных повествовательных текстов надежного различия не обнаружили. Читатели также точнее оценивали собственное понимание при работе с бумагой.
Другой метаанализ исследований 2000–2017 годов также обнаружил преимущество бумаги, особенно при ограничении времени и при чтении информационных материалов. Но эти результаты не доказывают, что экран делает человека неспособным воспринимать стихи. Они показывают более узкую вещь: формат, темп и ожидание задачи влияют на глубину обработки текста.
Лента новостей, короткое видео и интерфейс, предлагающий немедленно перейти к следующему объекту, поощряют быстрый отбор. В таком режиме читатель закономерно предпочитает текст, который раскрывается без задержки. Однако это не необратимая потеря навыка. Глубокое чтение остается практикой: ему нужны время, повторное обращение, отсутствие постоянных переключений и готовность не понимать произведение с первой попытки.
Защищая классику, легко впасть в противоположную крайность и объявить любой непонятный текст великим. Непрозрачность сама по себе не гарантирует глубины. Стихотворение может быть сложным из-за исторической дистанции, языкового эксперимента и многослойной образности — а может быть просто неудачно написано. Точно так же ясность не делает произведение поверхностным. Человеческая поэзия знает множество текстов, которые понятны при первом чтении и при этом сохраняют смысловую глубину. Проблема начинается тогда, когда легкость восприятия становится единственным критерием, а все, что требует усилия, автоматически признается плохим или машинным. Эксперимент с ИИ выявил не деградацию вкуса, а ограниченность мгновенного рейтинга. Поставить оценку красоте или ритму можно за несколько секунд. Измерить, изменил ли текст язык читателя, заставил ли его увидеть знакомое иначе и выдержит ли произведение повторное чтение через десять лет, значительно труднее.
Нейросеть может убедительно написать о горе, любви или страхе, не переживая ни одного из этих состояний. Для одних это означает принципиальную границу: стихотворение является не только последовательностью слов, но и человеческим свидетельством. Для других происхождение текста вторично, если при чтении возникло настоящее чувство.
Эксперимент показывает, что эмоциональная реакция возможна даже без веры в живого автора. Но он же демонстрирует, насколько важна информация об авторстве: один ярлык «создано ИИ» способен изменить оценку оригинальности. Мы читаем не только строки — мы читаем историю их появления, предполагаемое намерение и фигуру того, кто говорит.
Вероятно, будущее поэзии будет определяться не соревнованием «человек против машины», а смешанными практиками. Автор сможет использовать модель для черновиков, ритмических вариантов или неожиданных ассоциаций, а затем отбирать, разрушать и перестраивать результат. В таком случае главным вопросом станет не то, присутствовал ли ИИ, а то, кто принимал художественные решения и несет ответственность за окончательную форму.
Ранее мы писали, что гуманоиды Figure F.02 отправились в расплавленную сталь в стиле «Терминатора».
1 Октября, 16:20
Казахстанские специалисты могут конкурировать в США: Енлик Тлепова о работе в американском бренде косметики24 Сентября, 09:01
Как лечат сердце: интервью с интервенционным кардиологом23 Сентября, 15:55
Какие прививки делают в Казахстане: полный календарь для детей и взрослых23 Сентября, 09:01
Почему инфаркт можно не заметить и что мы не знаем о сердце