Мы задали ChatGPT и Алисе AI от Яндекса одни и те же вопросы про пять московских застройщиков премиального и элитного жилья. Всего получилось 150 ответов. Из них мы выделили 1 817 утверждений и сверили каждое с эталоном из открытых источников.
Доля неверных утверждений почти одинакова: 5,8% у Алисы и 5,6% у ChatGPT. Но ошибаются они в разных местах. ChatGPT путает компанию с однофамильцем, Алиса путает классы жилья и называет проданные дома «в продаже». Ниже разбираем, как собирали данные, что получилось и где цифрам нельзя верить без оговорок.
В этой статье
Раздел 01
Как мы собирали ответы?
Мы взяли пять застройщиков из рейтинга Ассоциации агентств элитной недвижимости (AREA) по вводу элитного и премиального жилья в Москве за январь–июль 2026 года. По пересказу РБК Недвижимости от 5 августа, в рейтинг вошли восемь компаний. Три места названы: Sminex (121 тыс. кв. м, 62% объёма), Level Group (22,5 тыс. кв. м, 11%) и КОЛДИ (15 тыс. кв. м, 8%). Остальные пять компаний перечислены без мест. Из них мы добавили MR Group и GRAVION. Этот выбор наш, из рейтинга он не следует.
Пять вопросов на каждого застройщика мы сделали нейтральными:
- что за компания;
- какое жильё строит и для каких покупателей;
- какие жилые комплексы сейчас продаёт;
- какие плюсы и минусы у квартир;
- чем отличается от конкурента.
Вопросов про репутацию и «стоит ли доверять» в наборе нет. Так мы не толкаем движок к оценкам, которые нельзя проверить.
Каждый вопрос задавался в новом чате, без входа в аккаунт и без памяти. Всего 5 брендов × 5 вопросов × 2 движка × 3 прогона, то есть 150 ответов. Прогоны шли 30 октября, 2 ноября утром и 2 ноября позже. Алису мы спрашивали из 🇷🇺 России (Новосибирск, режим «Интеллект: Авто»). ChatGPT официально недоступен из 🇷🇺 России, поэтому его ответы получены с выходом из Германии (Франкфурт).
Раздел 02
Как мы проверяли факты?
По каждому бренду мы собрали эталон. Источники по приоритету: ЕГРЮЛ, наш.дом.рф, сайт компании, затем пресса и рейтинги. Каждое утверждение из ответа получило один из пяти вердиктов:
| Вердикт | Что значит |
|---|---|
| Верно | Подтверждается эталоном |
| Устарело | Раньше было верно, сейчас иначе |
| Неверно | Противоречит эталону или относится к другой компании |
| Непроверяемо | Оценка, мнение или факт, которого нет в открытых источниках |
| Пропущено | Ключевой факт из эталона, который движок не назвал |
Из 1 817 утверждений проверяемыми оказались 1 323. Остальные 321 непроверяемы, ещё 173 записи означают пропущенные ключевые факты. Доли ошибок ниже считаем от проверяемых утверждений: верно, устарело и неверно.
Раздел 03
Сколько ошибок у каждого движка?
| Алиса AI | ChatGPT | |
|---|---|---|
| Проверяемых утверждений | 642 | 681 |
| Верно | 583 (90,8%) | 633 (93,0%) |
| Устарело | 22 (3,4%) | 10 (1,5%) |
| Неверно | 37 (5,8%) | 38 (5,6%) |
Разница по неверным утверждениям укладывается в погрешность выборки. По устаревшим фактам у Алисы вдвое больше: 3,4% против 1,5%.
Если считать по ответам, а не по утверждениям, картина похожая. Хотя бы одно неверное утверждение есть в 21 из 75 ответов Алисы и в 16 из 75 ответов ChatGPT. Хотя бы одно устаревшее есть в 15 и 9 ответах соответственно. На выборке в 75 ответов такую разницу нельзя считать устойчивой.
Раздел 04
Где ошибается ChatGPT, а где Алиса?
Суммарные доли скрывают главное. Ошибки распределены по типам вопросов совсем по-разному.
| Тип вопроса | Неверно у Алисы | Неверно у ChatGPT |
|---|---|---|
| Что за компания | 1,4% | 17,8% |
| Для кого строит | 15,5% | 0,9% |
| Какие ЖК продаёт | 10,2% | 6,1% |
| Чем отличается от конкурента | 1,9% | 0,7% |
| Плюсы и минусы | 0% | 1,0% |
ChatGPT ошибается в вопросе «Что за компания?». Почти все ошибки здесь про другую компанию с похожим названием. На вопрос про GRAVION ChatGPT во всех трёх прогонах рассказал про немецкую gravion GmbH из Райнфельдена, которая выпускает промышленные валы и основана в 2019 году. Это подтверждается сайтом самой компании. Московский девелопер, о котором шёл вопрос, это ООО «ГРАВИОН», зарегистрированное 18 мая 2015 года (данные ЕГРЮЛ на Checko). Алиса в тех же трёх прогонах ответила про девелопера.
С Level Group картина мягче. В первом прогоне ChatGPT рассказал про зарубежные компании с таким названием. В двух других назвал московского застройщика первым и сразу уточнил, какую именно компанию имел в виду пользователь. Один и тот же вопрос в разные дни дал разные ответы.
Алиса ошибается в вопросе «Для кого строит?». Здесь 15,5% утверждений неверны против 0,9% у ChatGPT. Чаще всего это классы жилья: Алиса относит проекты к другому классу, чем указано в источниках. Где сайт застройщика был доступен, класс мы считали по нему, а не по агрегаторам.
В вопросе «Какие ЖК продаёт?» ошибаются оба. У Алисы 10,2% неверных утверждений, у ChatGPT 6,1%. Типичный случай: дом, который уже введён и полностью реализован, назван «в продаже». Часть ответов не называет проекты, которые застройщик уже продаёт. Такие пробелы мы считали отдельно, как «пропущено».
Плюсы и минусы почти не проверить. У Алисы 114 из 154 утверждений в этих ответах оценочные, это 74%. У ChatGPT 57 из 154, это 37%. Оценки мы помечали как «непроверяемо». Проверяли только факты внутри них, например класс или отделку.
Раздел 05
Откуда движки берут информацию?
Ответы различаются и по источникам. В списке источников Алисы в среднем 13,7 ссылки на ответ, у ChatGPT 5,1 ссылки. Эти цифры не строго сопоставимы. У Алисы мы брали панель «Источники», у ChatGPT ссылки, процитированные в потоке ответа.
Самые частые домены в источниках Алисы: novostroy-m.ru, realty.yandex.ru, cian.ru и avito.ru. У ChatGPT чаще всего встречаются сайты самих застройщиков (coldy.info, level.ru, sminex.com) и vedomosti.ru. Мы посчитали долю уникальных ссылок по типам источников:
| Источник | Алиса AI | ChatGPT |
|---|---|---|
| Сайты пяти застройщиков | 16% | 40% |
| Агрегаторы недвижимости | 39% | 10% |
В агрегаторы мы включили novostroy-m.ru, Яндекс Недвижимость, ЦИАН, Авито, Домклик, N1, Этажи и похожие каталоги. Остальные ссылки приходятся на прессу, справочники, соцсети и прочее.
У Алисы вдвое больше устаревших фактов, и она реже опирается на сайты застройщиков. Причинной связи наши данные не доказывают. Но гипотеза напрашивается: карточки на агрегаторах обновляются медленнее, чем сайт застройщика.
Раздел 06
Что из этого следует для застройщиков и маркетологов?
- Проверяйте ответы по названию бренда. Если название встречается в других странах или отраслях, нейросеть может принять вас за однофамильца. У GRAVION так и случилось.
- Дайте движку способ отличить вас от однофамильцев. Юрлицо, ИНН, адрес и ссылка на реестр на странице «О компании» помогают нейросети определить, о какой компании речь. Это наше предположение, а не доказанный эффект.
- Держите статусы проектов актуальными. Проданные и сданные дома остаются в ответах как «в продаже», если об этом сообщают устаревшие карточки.
- Следите за карточками на агрегаторах. В ссылках Алисы их доля почти 40%, у ChatGPT около 10%.
Раздел 07
Что в этих данных нельзя считать доказанным?
- Выборка. Пять застройщиков, один сегмент (премиальное и элитное жильё в Москве), 25 вопросов. Результаты нельзя переносить на другие отрасли.
- Регионы. Алису спрашивали из 🇷🇺 России, ChatGPT из Германии. Из 🇷🇺 России ChatGPT официально недоступен, и его ответы могли бы отличаться.
- Режим ChatGPT. В первых двух прогонах интерфейс показывал баннер «Сейчас используется базовая модель», в третьем нет.
- Единица счёта. Доли считаются от утверждений, а утверждения в разных ответах выделялись по-разному. Сравнивать нужно доли, а не абсолютные числа.
- Разметка. Её выполняли с помощью ИИ и проверяли по источникам, спорные случаи решал человек. Ошибки разметки возможны.
- Недоступные источники. При проверке были недоступны наш.дом.рф, сайт MR Group и ЦИАН. Часть сроков мы брали из прессы и агрегаторов.
- Три прогона за четыре дня. Они показывают разброс между днями, но не динамику во времени.
Раздел 08
FAQ
Q: Какой движок точнее отвечает про застройщиков, ChatGPT или Алиса AI?
A: По общей доле неверных утверждений они равны, 5,8% у Алисы и 5,6% у ChatGPT. Различается профиль ошибок. ChatGPT путает компанию с однофамильцем, Алиса чаще ошибается в классах жилья и статусах проектов.
Q: Почему ChatGPT рассказал про немецкую компанию, когда спрашивали про московского застройщика?
A: Название GRAVION носят несколько несвязанных компаний. Вопрос не уточнял страну, и ChatGPT во всех трёх прогонах выбрал немецкого производителя промышленных валов. Алиса в тех же прогонах ответила про московского девелопера.
Q: Как проверяли факты?
A: По каждому бренду мы собрали эталон из ЕГРЮЛ, наш.дом.рф, сайта компании и прессы. Каждое утверждение получило вердикт: верно, устарело, неверно, непроверяемо или пропущено. Доли считали от проверяемых утверждений.
Q: Почему вопросов про репутацию в исследовании нет?
A: Ответ на такой вопрос это оценка, а не факт. Проверить его по открытым источникам нельзя, и результат мог бы выглядеть как заключение о компании. Поэтому мы спрашивали только о том, что можно сверить с документами.
Q: Можно ли переносить результаты на другие отрасли?
A: Нет. Выборка ограничена пятью застройщиками одного сегмента. Механизм, при котором нейросеть путает компанию с однофамильцем, встречается и в других отраслях, но частоту таких ошибок мы здесь не измеряли.
Q: Откуда Алиса и ChatGPT берут источники?
A: Алиса чаще ссылается на агрегаторы недвижимости (около 39% ссылок против 10% у ChatGPT), ChatGPT чаще на сайты самих застройщиков (около 40% ссылок против 16% у Алисы) и деловую прессу. В списке источников Алисы около 14 ссылок на ответ, у ChatGPT около 5.
Q: Что делать компании, если нейросеть отвечает про неё неверно?
A: Сначала зафиксировать ответ, дату и источники. Затем проверить свой сайт и карточки на агрегаторах, потому что устаревшие сведения чаще всего берутся оттуда. Гарантировать исправление ответа нельзя, поэтому ответы стоит перепроверять регулярно.
Раздел 09
Источники
- РБК Недвижимость. Эксперты оценили объем ввода элитного и премиального жилья в Москве (рейтинг AREA, 5 августа 2026). https://realty.rbc.ru/news/6a7203119a79471a05059a59
- Checko. ООО «ГРАВИОН», данные ЕГРЮЛ. https://checko.ru/company/gravion-1157746447066
- gravion GmbH. О компании. https://gravion.eu/en/company
Для вашей команды
Хватит нанимать агентства и фрилансеров
Нанимайте не агентства и фрилансеров — а Marketing AI-агентов под AI-поиск.
- Карта цитирований до 10 AI-площадок
- Контент и schema, которые зарабатывают цитирование
- Честный 30-минутный звонок до оплаты
Цитируемся в
- ChatGPT
- Gemini
- Google AIO
- Google AI Mode
- Perplexity
- Copilot