Сообщение Gate News, 27 апреля — Логан Килпатрик, старший менеджер по продуктам в Google DeepMind и руководитель продуктового направления Google AI Studio, заявил в X, что каждая компания, создающая продукты на основе ИИ, должна разработать свои собственные индивидуальные бенчмарки для измерения эффективности ИИ-моделей. Он описал это как метод, позволяющий тому, чтобы улучшения модели «несоразмерно приносили выгоду вашей компании», и призвал основателей и руководителей бизнеса «начать уже завтра».
Большинство компаний сейчас полагаются на публичные лидерборды для выбора ИИ-моделей, но они измеряют общие возможности, которые часто не соответствуют конкретным сценариям бизнеса. Килпатрик привел пример компании по проверке контрактов, которая больше всего обеспокоена точностью извлечения пунктов — возможностью, отсутствующей в публичных бенчмарках, из-за чего невозможно оценить эффективность модели при выполнении этой задачи. Индивидуальные бенчмарки дают два ключевых преимущества: во-первых, они позволяют компаниям оценивать каждое обновление модели по своим бизнес-задачам и выбирать ту модель, которая лучше всего работает в их реальном сценарии использования, а не ту, что занимает наивысшее место в общем рейтинге; во-вторых, они позволяют компаниям делиться этими наборами тестов с поставщиками моделей, что способствует постоянной оптимизации в тех областях, которые важны для их бизнеса.
Килпатрик отметил, что такие компании, как Zapier и Sierra, уже внедряют этот подход, заявив, что «здесь можно создать много „альфы“».
Отказ от ответственности: Информация на этой странице может поступать от третьих лиц и не отражает взгляды или мнения Gate. Содержание, представленное на этой странице, предназначено исключительно для справки и не является финансовой, инвестиционной или юридической консультацией. Gate не гарантирует точность или полноту информации и не несет ответственности за любые убытки, возникшие от использования этой информации. Инвестиции в виртуальные активы несут высокие риски и подвержены значительной ценовой волатильности. Вы можете потерять весь инвестированный капитал. Пожалуйста, полностью понимайте соответствующие риски и принимайте разумные решения, исходя из собственного финансового положения и толерантности к риску. Для получения подробностей, пожалуйста, обратитесь к
Отказу от ответственности.
Связанные статьи
Грег Брокман из OpenAI: ИИ смещается от чата к автономному выполнению задач
Gate News-сообщение от 27 апреля — Грег Брокман, президент и сооснователь OpenAI, говорит, что следующая волна искусственного интеллекта переведет пользователей от общения с ИИ-ботами к постановке реальных задач. Этот сдвиг требует от предприятий пересмотреть операционные рабочие процессы и установить новые протоколы для se
GateNews1м назад
B.AI обновляет инфраструктуру и запускает крупные функции Skills
Сообщение Gate News, 27 апреля — B.AI объявила о нескольких улучшениях продуктов и экосистемы на этой неделе. Посадочная страница BAIclaw получила полный визуальный и интерактивный редизайн: поддержка многоязычности сайта расширена до 10 языков, что усиливает ее глобальную удобство использования.
На инфраструктурном
GateNews15м назад
Пекин требует отзыва запрета на торговлю! Meta срывает сделку по покупке китайского AI-стартапа Manus за 2 миллиарда долларов США
Китайская госкомиссия по развитию и реформам сегодня (27 апреля) официально опубликовала уведомление: Офис механизма проверки безопасности иностранных инвестиций «в соответствии с законом и регламентом вынес решение о запрете инвестиций в отношении приобретения иностранным инвестором проекта Manus и потребовал стороны отменить указанную сделку по приобретению». Это один из немногих случаев с момента введения в действие в Китае «Меры по проверке безопасности иностранных инвестиций», когда было применено «запрещение инвестиций» с максимальной степенью строгости и потребовано отменить уже совершенную сделку.
Meta вбросила 2 млрд долларов, покупая самое дешевое AI-приложение
Время переносится в 29 декабря 2025 года. Meta объявила о приобретении китайского AI-агентного нового стартапа Manus, при этом рынок оценивает цену в диапазоне от 2 до 3 млрд долларов. Manus — универсальный AI, разработанный Пекинской технологической компанией «Эффект бабочки», который после запуска 6 марта 2025 года и впечатляющих результатов в GAIA benchmark буквально за одну ночь
ChainNewsAbmedia29м назад
Акции IPO Xizhi Technology-P взлетели более чем на 360% на «сером рынке», рост сузился до 320%
Сообщение Gate News, 27 апреля — Xizhi Technology-P (01879.HK), компания по чипам для ИИ, котирующаяся в Гонконге, увидела, как ее акции на «сером рынке» (dark market) ранее сегодня взлетели более чем на 360%, хотя с тех пор рост сузился до 320%.
Акции торгуются в преддверии своего официального листинга IPO в Гонконге
GateNews42м назад
Улучшает ли ИИ производительность или снижает затраты? Сотни раз эффективность не превратились в сотни раз выручку, но в Кремниевой долине никто не осмеливается призвать остановиться
Партнер Wuyuan Capital Мэн Синь, в последнее время опубликовал отчет о поездке в Силиконовую долину, предложив суждение, которое даже заставило его самого изменить привычку делать заметки: Силиконовая долина сейчас входит в стадию, когда даже того, кто умеет «делать волны», смывает волной. Скорость итераций AI уже перешла с «помесячной» на «понедельную», и даже сами в Силиконовой долине уже не успевают за собой.
Когда AI увеличивает производительность команды в пять раз, можно сократить до 80% персонала, чтобы поддерживать прежний объем выпуска, а можно сохранить численность людей и делать в пять раз больше. Наблюдение Мэн Синя на этот раз по сути дает черновик ответа, озвученный прямо на месте: когда 100-кратная эффективность не конвертировалась в 100-кратную выручку, когда токен-бюджет приближается к издержкам на персонал, когда паровой двигатель еще не может обогнать карету, но никто не осмеливается остановиться, Силиконовая долина выбирает путь «сначала разогнаться в скорости, а дальше посмотрим». Но в итоге эта дорога приведет к «способности к расширению» или к «сжатию издержек» — пока нет однозначного ответа.
YC из лидирующего показателя превратился в отстающий показатель
Мэн Синь в этом году
ChainNewsAbmedia1ч назад
