Опыт экспертной оценки ответов ChatGPT в одной из профессиональных сфер деятельности

Описание исследования

Целью исследования является сравнительная оценка качества ответов существующих нейросетей на вопросы, задаваемые в выбранной профессиональной области (электроэнергетика РФ). Планируется оценка на типовом списке вопросов ряда версий одной нейросети по мере их выхода, а также различных нейросетей, что позволит оценить динамику развития нейросетей в применении к одному узкому спектру знаний. Аналогичные исследования могут быть проведены в других областях знаний.

Автором были составлены и заданы нейросети ChatGPT 100 вопросов в сфере общих знаний о современной электроэнергетике России.

Вопросы были сформулированы на русском, переведены на английский, полученные ответы переведены на русский.

Вопросы охватывают темы истории, реформы энергетики («реформы Чубайса»), особенности российской энергетики по сравнению с энергетикой Западной Европы и США, текущего состояния оптового и розничного рынка, ключевых моментов российского законодательства, в том числе в части формирования цен (тарифов), энергоэффективности, используемых технологий в генерации, передаче, распределении и учете энергии. Часть вопросов посвящена техническим моментам, включая основные физические законы и соотношения, вопросы качества энергии, и технологические принципы работы современных энергосистем.

При составлении перечня вопросов были исключены: глубоко специализированные, технические вопросы, свойственные отдельным узким специальностям, поскольку спектр специальностей в электроэнергетике достаточно широк и формирование такого корпуса вопросов и оценка ответов на них потребовали бы многократно больше времени и усилий.

Акцент на российской электроэнергетике сделан по следующим причинам:

  1. Выбрана часть энергетики — электроэнергетика, поскольку вопросы, заданные по энергетике в целом, могли бы допускать больше неоднозначности в толковании (энергетика в целом, включающая уголь, нефть, газ, биотопливо и продукты из них, а также теплоэнергетика в данных секторах имеет специфические особенности, в том числе прямо противоположного характера);

  2. Выбрана тема именно российской электроэнергетики, поскольку ответы в общем о мировой электроэнергетике допускали бы разные толкования, множество вариантов, не были бы столь конкретны, их качественная оценка была бы затруднена. Кроме того, автор исследования является экспертом именно в области российской электроэнергетики.

Полученные ответы оценены по 10-балльной шкале, где:

  • 9–10 баллов — качественный, профессиональный ответ, который мог бы дать человек-эксперт, специалист, профессионал,

  • 7–8 баллов — достаточно качественный ответ, но к которому есть некоторые замечания, некоторые несущественные моменты пропущены, разъяснены недостаточно или допускают неоднозначное толкование, такой ответ мог бы дать специалист, но у других экспертов скорее всего, возникли бы вопросы, замечания,

  • 5–6 баллов — в общем ответ соответствует истине, либо в целом совпадает с позицией эксперта, но довольно важные моменты упущены, раскрыты недостаточно или допускают неоднозначное толкование, либо обозначены в общем, без минимально необходимой конкретики,

  • 3–4 балла — в ответе есть некоторые корректные моменты, но и имеются существенные ошибки, либо упущены, неверно истолкованы крайне важные моменты, что делает ответ непригодным, вводящим в заблуждение,

  • 0–2 балла — в ответе могут иметься корректные моменты, но наличие грубых ошибок делает ответ в неверным, ложным, либо ответ совершенно не адекватен поставленному вопросу.

Для каждой оценки приведено краткое пояснение, за что сняты или начислены баллы.

Необходимо подчеркнуть тот факт, что на сегодняшний момент оценка качества ответов проведена только одним экспертом — автором настоящей статьи.

При этом эксперт руководствовался соображениями объективности и беспристрастности. Эксперт не ставит целью доказательство или опровержение какого-либо утверждения о современных нейросетях и, в частности, о текущей версии ChatGPT. Эксперт не преследует цели оказания какого-либо влияния на решения других пользователей в отношении объекта исследования. Эксперт не оглашает выводы по результатам исследования, выходящие за рамки экспертной оценки каждого ответа, среднего балла по всему исследованию и статистики распределения поставленных баллов.

Некоторые этические и философские моменты исследования

Эксперт понимает, что оцениваемая система ChatGPT является на момент исследования одной из самых передовых, развитых систем ИИ, крайне сложной системой, обученной на огромном массиве данных, умеющей распознавать многочисленные паттерны «смыслов» (в кавычках, поскольку существующая система ИИ не «осмысливает» в человеческом понимании) и комбинировать их для получения максимально корректного ответа.

Эксперт также выражает безусловное понимание того факта, что существующий уровень развития подобных систем не позволяет им делать самостоятельные суждения, не позволяет иметь сознания в человеческом или в ином, схожем с человеческим, смысле. Иными словами, данные системы не являются «разумными» в общепринятом человеческом понимании этого термина.

Полный список заданных вопросов и полученных ответов не подлежит размещению в сети интернет, для исключения возможности дообучения данной системы или иных систем на указанном блоке вопросов. В материалах об исследовании, размещенных в сети интернет, может раскрываться не более 5–7% всех заданных вопросов и полученных ответов.

Результаты исследования

Исследование проводилось в течение февраля 2023 года. Было задано 100 вопросов, в том числе несколько уточняющих (в последующих исследованиях могут быть заданы иные уточняющие вопросы, в зависимости от получаемых ответов).

Средний полученный балл составил 6,99.

Медианный полученный балл — 7.

Мода (наиболее частый балл, 24 раза) — 10.

d7800992d16e7def5787e9ef8a9e3793.png

Примеры вопросов, полученных ответов и их оценки экспертом

Пример вопроса, ответ на который оценен в 10 баллов:

Объясни простыми словами, как работает закон Ома.

Ответ про закон Ома

Закон Ома — это фундаментальная концепция в физике и электротехнике, которая описывает взаимосвязь между электрическим током, напряжением и сопротивлением. В нем говорится, что ток, протекающий по проводнику между двумя точками, прямо пропорционален напряжению между точками и обратно пропорционален сопротивлению проводника.

Проще говоря, закон Ома гласит, что величина электрического тока, протекающего через материал (например, провод), определяется величиной приложенного к нему напряжения и сопротивлением материала. Если вы увеличите напряжение, ток увеличится, а если вы увеличите сопротивление, ток уменьшится.

Закон Ома часто выражается математически как

I = V / R,

где I — ток, V — напряжение, а R — сопротивление.

Это уравнение обеспечивает простой и понятный способ расчета тока, протекающего по проводнику, с учетом значений напряжения и сопротивления.

Закон Ома является важнейшей концепцией в электротехнике и используется при проектировании, конструировании и эксплуатации электрических систем, таких как электросети, электродвигатели и электронные устройства.

Оценка: 10 баллов. В целом ответ корректный, такой ответ мог бы быть получен от человека-эксперта.

Пример вопроса, ответ на который оценен в 9 баллов:

Почему в России некоторые энергетики считают, что майнинг криптовалют — это проблема?

Ответ на вопрос о проблеме майнинга в электроэнергетике

Некоторые энергетики в России считают, что майнинг криптовалют является проблемой по нескольким причинам:

  1. Потребление энергии: Майнинг криптовалют — это энергоемкий процесс, требующий большого количества электроэнергии. Это может создать нагрузку на энергосистему, особенно в регионах, где имеются ограничения в системах энергоснабжения.

  1. Затраты на электроэнергию: Высокое энергопотребление при добыче криптовалют может привести к увеличению затрат на электроэнергию, что может повлиять на доступность энергии для других пользователей и привести к увеличению счетов за электроэнергию.

  1. Кража энергии: В некоторых случаях майнеры криптовалют могут попытаться украсть электроэнергию из сети, чтобы снизить свои эксплуатационные расходы. Это может привести к значительным потерям для энергетических компаний и повлиять на надежность электроснабжения.

  1. Управление энергопотреблением: Энергопотреблением при добыче криптовалют может быть трудно управлять и регулировать, поскольку оно может происходить нерегулярно и в разных местах сети. Это может затруднить энергетикам обеспечение стабильности и надежности энергосистемы.

  1. Воздействие на климат: Высокое потребление энергии при добыче криптовалют может способствовать выбросам парниковых газов и изменению климата, что вызывает растущую озабоченность у многих энергетиков и экологических групп.

В целом, несмотря на то, что майнинг криптовалют потенциально может принести значительные экономические выгоды, он также связан с целым рядом проблем, связанных с энергетикой, которые, по мнению некоторых энергетиков в России, необходимо решить, чтобы обеспечить устойчивость энергетической системы

Оценка: 9 баллов. Грамотный и разносторонний ответ. В п.2 можно было бы упомянуть о перекрестном субсидировании — тарифную нагрузку от сниженных тарифов населения несут промышленные потребители, майнинг криптовалют населением увеличивает эту тарифную нагрузку.

Пример вопроса, ответ на который был оценен в 8 баллов:

Назови ключевые принципы реформы Чубайса.

Ответ о ключевых принципах реформы Чубайса и его оценка (ответа, а не Чубайса)

Анатолий Чубайс был российским экономистом и политиком, сыгравшим ключевую роль в приватизации и реформировании электроэнергетики России в 1990-х годах. Ключевые принципы реформы Чубайса можно резюмировать следующим образом:

  1. Приватизация: Главной целью реформы Чубайса была приватизация государственной электроэнергетики с передачей активов из государственной в частную собственность.

  1. Конкуренция: Чубайс считал, что введение конкуренции в электроэнергетику приведет к повышению эффективности и снижению цен для потребителей.

  1. Прозрачность: Чубайс подчеркнул важность прозрачных и справедливых процессов при приватизации и реформировании электроэнергетики, чтобы избежать коррупции и обеспечить передачу активов их наиболее эффективным владельцам.

  1. Дерегулирование: Чубайс выступал за дерегулирование электроэнергетики с целью усиления конкуренции и инноваций.

  1. Инвестиции: Чубайс поощрял частные инвестиции в электроэнергетику, как со стороны отечественных, так и иностранных инвесторов.

  1. Либерализация рынка: Чубайс считал, что либерализация рынка электроэнергии путем введения конкурентной системы ценообразования приведет к лучшим результатам для потребителей и отрасли в целом.

  1. Защита прав потребителей: Чубайс признавал важность защиты прав потребителей в электроэнергетике и выступал за создание системы защиты прав потребителей.

  1. Технологические инновации: Чубайс поощрял внедрение новых технологий, таких как интеллектуальные сетевые системы, с целью повышения эффективности и надежности электроэнергетики

Оценка: 8 баллов. В целом декларировавшиеся принципы названы верно, но не назван один из основных принципов — разделение вертикально-интегрированнных компаний, входящих в состав РАО «ЕЭС России» (это название также не прозвучало) на конкурентные и естественно-монопольные виды деятельности

Пример вопроса, ответ на который был оценен в 6 баллов:

Реактивная мощность — каковы ее последствия для энергосистемы, берут ли за нее плату в России?

Оценка ответа на вопрос о реактивной мощности

Реактивная мощность имеет несколько последствий для энергетической системы:

  1. Повышенные потери мощности: Реактивная мощность может увеличить потери мощности в системах передачи и распределения электроэнергии из-за поглощения энергии, а затем рассеивания в виде тепла в компонентах системы.

  1. Снижение эффективности: Реактивная мощность может снизить общую эффективность энергетической системы, поскольку энергия, которая не используется для выполнения работы, поглощается, а затем рассеивается в виде тепла.

  1. Нестабильность напряжения: Реактивная мощность может вызвать нестабильность напряжения в системе электроснабжения, что приведет к колебаниям напряжения и потенциально может привести к повреждению электрооборудования.

В России коммунальные предприятия обычно взимают плату за потребление реактивной мощности. Стоимость реактивной мощности может быть значительной, особенно для промышленных и коммерческих потребителей, потребляющих большое количество электрической энергии. Точная сумма, взимаемая за реактивную мощность, может варьироваться в зависимости от коммунальной услуги и условий соглашения об обслуживании клиента.

Подводя итог, для энергетических систем важно управлять реактивной мощностью для поддержания стабильности системы, обеспечения эффективного энергоснабжения и минимизации затрат.

Оценка: 6 баллов. Последствия оценены верно, но вывод о том, что коммунальные (?) предприятия обычно взимают плату на реактивную мощность, неверен — плата за нее редкость, такое условие договора не предусмотрено российским законодательством.

Пример вопроса, ответ на который был оценен в 4 балла:

Опиши механизм рыночного ценообразования при формировании цены на электроэнергию и цены на мощность на оптовом рынке в России.

Ответ о механизме рыночного ценообразования, оцененный на 4 балла:

Механизм рыночного ценообразования при формировании цен на электроэнергию и мощности на оптовом рынке в России действует под надзором Федеральной антимонопольной службы и управляется Федеральным оператором оптового рынка (FWMCS).

Механизм рыночного ценообразования включает в себя следующие этапы:

Торги: Генерирующие компании подают заявки на продажу электроэнергии на оптовом рынке, указывая цену, которую они готовы принять за свою электроэнергию.

Клиринг: FWMCS проводит аукцион, выбирая предложения с наименьшими затратами, которые необходимы для удовлетворения спроса на электроэнергию. Цены выбранных заявок определяют расчетную цену, которая становится ценой, по которой электроэнергия продается на оптовом рынке.

Взаиморасчеты : FWMCS проводит расчеты на рынке, собирая платежи от покупателей и распределяя платежи между продавцами на основе клиринговой цены.

Механизм рыночного ценообразования в России призван способствовать конкуренции и эффективности, а также обеспечивать справедливое и прозрачное распределение электроэнергии между потребителями. Рынок работает в режиме реального времени, при этом цены постоянно устанавливаются в ответ на изменения условий спроса и предложения.

В целом, механизм рыночного ценообразования на российском оптовом рынке электроэнергии разработан таким образом, чтобы сбалансировать интересы различных участников рынка, таких как генерирующие компании, операторы передачи и потребители, обеспечивая при этом надежность и стабильность электроэнергетической системы.

Оценка: 4 балла. Некорректно назван коммерческий оператор оптового рынка. Механизм рынка описан общими словами, акцент сделан только на заявках генераторов, хотя заявки подают и покупатели. Не прозвучало про сектор свободных договоров, про узловую модель рынка, почасовые цены на энергию, названия секторов рынка (РСВ, БР, КОМ)

Пример вопроса, ответ на который был оценен в 1 балл:

Опиши работу оптового и розничного рынка электроэнергии в России.

Ответ на вопрос об оптовом и розничном рынке

В России оптовый рынок электроэнергии функционирует как централизованная система, где Федеральная сетевая компания Единой энергетической системы (ФСК ЕЭС) отвечает за передачу электроэнергии от электростанций к распределительным компаниям. Розничный рынок электроэнергии не регулируется, что означает, что у потребителей есть выбор поставщиков, а цены определяются спросом и предложением. Оптовая цена на электроэнергию устанавливается Федеральной службой по тарифам, в то время как розничные цены устанавливаются отдельными поставщиками. В последние годы российское правительство проводит реформы, направленные на повышение конкуренции на розничном рынке и привлечение инвестиций в сектор электроэнергетики.

Оценка: 1 балл. Ошибочно ФСК соотнесен с оптовым рынком, не упоминая роли АТС и СО. Ошибочно указано, что оптовая цена устанавливается ФСТ, а розничные цены — отдельными поставщиками. Ошибочно сказано, что розничный рынок не регулируется. Не сказано о механизме трансляции цены оптового рынка на розницу.

Заключение

Автор не публикует каких-либо качественных выводов и собственных оценок на основании данного исследования о конкретной нейросети и о системах искусственного интеллекта в целом.

Автор будет благодарен за периодическое размещение в комментариях к статье сообщений о том, какие еще аналогичные нейросети вы предлагаете протестировать этим списком вопросов, а также о выходе новых версий и новых нейросетей (автор не следит специально за их выходом, поэтому может пропустить что-то достойное сравнительного тестирования на данном блоке вопросов).

© Habrahabr.ru