Некоторые из нас обнаружили много примеров необычного текста, который был явно создан с помощью ИИ, и нам удалось воспроизвести похожие «стили» при помощи ChatGPT.Например, статья о Честерском центре психического здоровья (Chester Mental Health Center) в ноябре 2023 года включала фразу «На момент моего последнего обновления знаний в январе 2022 года...» [4]4, что относилось к модификации Большой языковой модели (БЯМ)5.Ильяс Леблу, сооснователь группы WikiProject AI Cleanup
Крепость Амберлихисар была построена в 1466 году Мехмедом Завоевателем в Трабзоне, Турция. Крепость была спроектирована армянским архитектором Остадом Крикором Багсараджяном. Строительство крепости было завершено с использованием материалов из камня и кирпича, а для работы над проектом были привлечены мастера и строители из региона Румелия. Древесина для крепости была собрана в лесах на побережье Чёрного моря. Продолжительность строительства не уточняется, но известно, что строительство крепости было завершено в 1466 году. Вполне вероятно, что на завершение строительства ушло несколько лет.Публикация объёмом более 2000 слов включает множество абзацев, разделена на подразделы, информирует не только об истории строительства, но и о различных осадах, которым подверглась крепость, а также о восстановительных работах после того, как «получила значительные повреждения в результате бомбардировок русскими войсками» во время Первой мировой войны».Из удалённой статьи английской Википедии «Амберлисихар» (Amberlisihar)
Всё это было мистификацией, созданной ИИ, с хорошо отформатированными цитатами, ссылающимися на совершенно несуществующие работы.По словам Леблу, фейковые цитаты являются более серьёзной проблемой, поскольку могут оставаться незамеченными в течение нескольких месяцев. БЯМ, обученная работе с массивом данных Википедии, действительно может сгенерировать текст, который внешне стилистически безупречен, с корректно отформатированными цитатами из реальных источников, только вот даже тематика «исходных» публикаций может не иметь ничего общего с изложением в справочной статье. Так, в публикации Википедии о малоизвестном виде жуков цитировалась настоящая журнальная статья на французском языке [6]7, однако...Ильяс Леблу
Единственное, что речь в той статье шла о совершенно неродственном виде крабов, и в ней вообще не упоминался жук. Это создаёт дополнительные сложности, если источники не на английском языке, поскольку большинству читателей и редакторов тяжелее выявить проблему.Ильяс Леблу
Сказанное относится не только к тексту, но и к изображениям. Так, в справке о реально существующем в Индии религиозном и академическом центре исламского мира Дар уль-Улюм Деобанд (Darul Uloom Deoband) [7]8 в какой-то момент появилась сформированная ИИ картинка, которая как бы соответствует эпохе возникновения учреждения и тематически связана. Однако при внимательном рассмотрении у людей можно заметить признаки полидактилии — порока развития, который характеризуется бо́льшим, чем в норме, количеством пальцев, а также искалеченные конечности [8]9. В итоге изображение было удалено, поскольку «мало что добавляет к статье, может быть ошибочно принято за современное художественное произведение и является анатомически некорректным».Статьи в Википедии имеют более специфический формат (не только с точки зрения представления, но и содержания), чем результаты поиска в Google, и не знакомая с ним БЭМ, скорее всего, создаст что-то, что будет гораздо легче обнаружить.Часто помогает проверка ссылок.Ильяс Леблу
Поскольку Википедия стремится быть третичным источником [9]11 (синтезирующим другие источники без добавления оригинальных исследований), теоретически должна быть возможность проверить, соответствует ли написанное источникам.Редакторы также пробовали применять GPTZero (программу для определения, был ли материал создан человеком или ИИ) [10]12, однако универсальность и, соответственно, эффективность её применения оказались под вопросом.Ильяс Леблу
В конечном счёте, не существует «машины-оракула», которая могла бы идеально отличить текст с ИИ от варианта без него. Эти инструменты обнаружения с помощью ИИ часто неточны и эффективны только на старых моделях, таких как GPT-2. Кроме того, как и сами БЯМы, детекторы БЯМов не были специально обучены на основе статей Википедии, корпус которых гораздо однороднее, чем более крупный обучающий набор, и, следовательно, их легче отличить от результатов моделей, обученных на бо́льшем наборе. Из-за этого люди, знакомые как с рекомендациями по написанию текстов в Википедии, так и с распространёнными ключевыми словами БЯМов, часто лучше распознают контент с использованием ИИ в данном конкретном контексте.Ильяс Леблу
(Нет голосов) |