RB.RU попробовал ChatGPT для написания бэков к новостям. Что у нас вышло

Какая была задача

Мы решили потестировать, как ChatGPT может облегчить работу новостного отдела. Отдавать искусственному интеллекту на написание сразу всю новость казалось преждевременной задачей, а формулировать запрос как «перепиши пресс-релиз своими словами с сохранением фактов» — бессмысленной.

Остановились на написании бэков — у нас это обычно короткая справка о фигурантах новости и последних событиях в их деятельности на основе предыдущих новостей. 

Для работы нужен prompt — грамотно сформулированный запрос к ChatGPT. Это важно: при плохом запросе ИИ вас просто не поймет и выдаст соответствующий результат. Кстати, разработчик промптов — уже отдельная профессия на рынке, здесь все серьезно. 

Итоговый промпт по нашей задаче выглядел так:

Я редактор rb.ru — медиа про стартапы и бизнес. Сейчас я пишу статью про одну компанию. Помоги мне написать «бэк» для этой новости — абзац текста, содержащий краткое описание событий, происходивших с компанией в последнее время. Бэк должен быть написан исключительно на основе предыдущих статей с сайта rb.ru и содержать ссылки на них. Желательно, чтобы события в бэке были релевантны тексту статьи. Бэк не должен содержать информации из самой статьи (к которой написан бэк), а должен дополнять статью информацией из других статей с rb.ru Ссылки должны быть «вписаны» в отдельные слова текста бэка (не фразы). 

Не используй сноски.

Бэк не должен содержать оценочных суждений.

В бэке не используй вводные предложения и не делай саммари.

В бэке не используй вводные конструкции и не делай саммари. Если на rb.ru ранее не упоминалась эта компания, не пиши бэк, а напиши, что компания ранее не упоминалась на rb.ru. Следующим сообщением я пришлю название статьи и часть ее текста. А ты мне пришлешь готовый бэк в ответ.

Следующим сообщением отправляли заголовок статьи, для которой нужен бэк, и фрагмент текста статьи.

Что получилось

Еще на старте работы мы знали, что у ChatGPT есть некоторые понятные ограничения. Например, он может не улавливать контекст по времени (если в новости сказано «через неделю», не будет поправки на то, что текст был написан месяц назад: так и будет выдаваться — «через неделю), может допускать ошибки и не всегда действует четко по заданному алгоритму. 

Но даже с учетом этого итоговые бэки, предложенные ChatGPT, не соответствовали ожиданиям. Пример запроса и результат, выданный чатом:

Результат не соответствовал теме запроса, более того, ChatGPT не смог найти релевантные материалы на сайте RB.RU. И только после того, как мы сами дали ему ссылки на новости, собрал из них бэкграунд:

Какие выводы сделал новостной отдел

Анастасия Марьина, руководитель новостного отдела:

«Из плюсов ChatGPT — если надо найти информацию по совсем незнакомой теме, то он может быстро что-то выдать и сориентировать тебя. Можно использовать не для бэков, но для объяснения каких-то сложных терминов в текстах простыми словами, и тут у ChatGPT хорошо получается. 

Минусы, которые мы заметили:

• Комбинация бэков идет от старых новостей к новым (но это, наверное, можно поправить, подкорректировав промпт);
• Не находит бэки к некоторым компаниям, хотя они у нас точно есть, и говорит, что мы об этом ничего не писали;
• Сгенерированные тексты все равно приходится переписывать, т.к. не соблюдается нужный нам стиль, факты тоже надо перепроверять;
• Плагины регулярно слетают, бот включает отказ и говорит, что не работает с новостями и обучен только до событий 2021 года;
• Учитывая все вышеизложенное, времени написать и найти самому/обучить ChatGPT выходит одинаково, новости быстрее от этого не пишутся.
  
  

В целом, наверное, неплохо иметь подписку на всю редакцию, наверняка время от времени в других отделах он тоже будет нужен. Но внедрять как обязательный инструмент в работу я бы не стала. Чат еще не на том уровне».  

Карина Пардаева, новостной редактор:

«Я не могу дать однозначного ответа по поводу использования ChatGPT, поэтому 50/50. Среди плюсов — за тебя печатают бэк и это точно быстрее, но куда же без минусов:

• У меня слетает плагин каждый раз, требуется время на старт работы;
• Требовалась защита учетки: нужно было выбирать направление для изображения;
  
  

• Заметила, что бэки ищет в основном по заголовкам;
• Комбинирует новости так, что уже даже не актуальные по времени или событию могут оказаться выше нужных;
• Ссылки на фразах, не на словах, хотя прописывается, что хочешь на словах;
• Ссылки сносками, тоже приходится просить переписывать;
• В целом пишет бэк больше для колонок/статей, чем под новости, переписывала.
  
  

И в целом исправление минусует его скорость. В итоге я тратила столько же времени, сколько ушло бы на самостоятельный поиск информации для бэка. Продолжу его тестить, просто потому что люблю такие штуки».

Кирилл Билык, новостной редактор:

«Общая оценка — 4 из 10.

Пробовал юзать чат-бот по утвержденной схеме с промптом и т.д. Чат-бот работает быстро, но (как по мне) очень некачественно. Основная претензия — слишком много воды и текста не по делу в материале по любой теме, будь то финансы, технологии, дженерал-ньюс. 

Формулировки размытые, нет конкретики, что для формата новостей недопустимо. Плюс — нужно обязательно все перепроверять (допускает ошибки) и в 95% случаев переписывать. Стиль, в котором пишет чат-бот, мне показался неинформативным и неподходящим для новостей.

Вердикт — дальше бы не пользовался чат-ботом, потому что он только усложняет работу: нужно тратить время на перепроверку информации и переписывание текста».

Наталья Гормалева, новостной редактор:

«Пока что по затратам времени искать информацию для бэков самой все же удобнее и быстрее. То, какие бэки предлагает чат, все равно приходится переписывать полностью, потому что текст не совсем нейтральный. 

Главные претензии к чату:

• Не всегда ищет то, что нужно. Порой говорит, что на RB.RU нет текстов про «Кинопоиск» и другие компании;
• Зачастую для бэков предлагает неактуальную инфу за 2017-2018 годы, в то время как на сайте выходили более свежие новости даже в текущем году;
• Если подбирает всё же подходящие ссылки, порой делает не совсем корректные выводы на основе информации из этих ссылок. Например, приводит ту или иную информацию о компании, а затем пишет что-то вроде «это подтверждает приверженность компании тому или иному принципу». 
  
  

Плюсы:

• Может быстро подсказать контекст к новости о компании, о которой мы не так часто пишем, и я, например, не знаю предыстории и всего развития того или иного сюжета. 
• Если всё же корректно выполняет запрос, собирает много разной инфы, которая быстро позволяет получить наиболее общее представление о теме и учесть какие-то не учтенные ранее аспекты.
  
  

В запросе я бы прописала, чтобы он не делал свои выводы и взаимосвязи, а просто выдавал информацию. И желательно в хронологическом порядке. Чтобы приоритет отдавался более свежим ссылкам, а не новостям 5-летней давности. 

Вывод: продолжила бы использовать ChatGPT, корректируя запросы и настраивая его под свои задачи. По всей видимости, технология будет развиваться и распространяться на многие сферы. Чем быстрее начать ее осваивать, тем больше профита можно получить в будущем». 

Фото: Unsplash