Google DeepMind-Manager: Jede KI-Produktfirma sollte benutzerdefinierte Benchmarks entwickeln

Gate-News-Meldung, 27. April — Logan Kilpatrick, Senior-Produktmanager bei Google DeepMind und Produktleiter für Google AI Studio, sagte auf X, dass jede Firma, die KI-basierte Produkte entwickelt, eigene benutzerdefinierte Benchmarks festlegen sollte, um die Leistung von KI-Modellen zu messen. Er beschrieb dies als eine Methode, um Modellverbesserungen „unverhältnismäßig vorteilhaft für Ihr Unternehmen“ zu machen, und forderte Gründer und Führungskräfte auf, „morgen anzufangen.“

Die meisten Unternehmen verlassen sich derzeit auf öffentliche Ranglisten, um KI-Modelle auszuwählen, aber diese messen allgemeine Fähigkeiten, die oft nicht zu konkreten Geschäftsszenarien passen. Kilpatrick nannte das Beispiel eines Vertragsprüfungsunternehmens, das vor allem auf die Genauigkeit der Extraktion von Klauseln bedacht ist – eine Fähigkeit, die in öffentlichen Benchmarks nicht vorkommt, wodurch es unmöglich ist, die Modellleistung bei dieser Aufgabe zu bewerten. Benutzerdefinierte Benchmarks bieten zwei zentrale Vorteile: Erstens ermöglichen sie es Unternehmen, jede Modellaktualisierung anhand ihrer eigenen Geschäftstasks zu bewerten und das Modell auszuwählen, das in ihrem tatsächlichen Anwendungsfall am besten abschneidet, statt das insgesamt höchstrangige Modell zu nehmen; zweitens erlauben sie es Unternehmen, diese Testsätze mit den Modellanbietern zu teilen und so eine kontinuierliche Optimierung in Bereichen zu erreichen, die für ihr Geschäft relevant sind.

Kilpatrick bemerkte, dass Unternehmen wie Zapier und Sierra diesen Ansatz bereits umsetzen, und sagte: „Hier lässt sich sehr viel Alpha erzeugen.“

Disclaimer: The information on this page may come from third parties and does not represent the views or opinions of Gate. The content displayed on this page is for reference only and does not constitute any financial, investment, or legal advice. Gate does not guarantee the accuracy or completeness of the information and shall not be liable for any losses arising from the use of this information. Virtual asset investments carry high risks and are subject to significant price volatility. You may lose all of your invested principal. Please fully understand the relevant risks and make prudent decisions based on your own financial situation and risk tolerance. For details, please refer to Disclaimer.

Verwandte Artikel

IEA: Die Ausgaben für KI-Infrastruktur haben bereits die Investitionen in die Öl- und Gasförderung übertroffen; 2026 sollen sie voraussichtlich um weitere 75% steigen

Laut einer Analyse und Marktdaten der Internationalen Energieagentur (IEA), die am 26. April veröffentlicht wurden, übersteigt die kumulierte Investitionssumme der fünf größten Technologiekonzerne im Jahr 2025 400 Milliarden US-Dollar. Der Schwerpunkt liegt hauptsächlich auf dem Ausbau der KI-Infrastruktur; das Volumen hat das jährliche Investitionsniveau der weltweiten Erdöl- und Erdgasförderung bereits übertroffen. Die IEA schätzt, dass die entsprechenden Investitionsausgaben im Jahr 2026 möglicherweise um weitere 75% steigen werden.

MarketWhisper31M her

Senator Bernie Sanders gibt Warnung vor der existenziellen Bedrohung durch KI aus

Sanders betonte, dass selbst dann, wenn die meisten KI-Wissenschaftler die Möglichkeit anerkennen, dass KI die Kontrolle entkommt und zu einer Gefahr für unser Dasein wird, keine wichtigen Maßnahmen ergriffen wurden, um dies zu verhindern. „Wir müssen sicherstellen, dass KI der Menschheit zugutekommt und uns nicht schadet“, sagte er. Kernaussagen: Bernie Sanders

Coinpedia40M her

Leiter für das Xiaomi-Großmodell: Der KI-Wettbewerb verlagert sich in die Ära der Agenten; Selbstentwicklung ist ein entscheidendes Ereignis für AGI

Das Leitungsteam des Xiaomi-Großmodells, die Verantwortliche Luofuli, führte am 24. April auf der Bilibili-Plattform ein tiefgehendes Interview (Videonummer: BV1iVoVBgERD) durch. Die Interviewdauer betrug 3,5 Stunden; es war ihr erstes öffentliches, systematisches Darlegen technischer Standpunkte in ihrer Rolle als technische Verantwortliche. Luofuli sagte, dass der Wettbewerbskurs für Großmodelle vom Chat-Zeitalter in das Agent-Zeitalter übergegangen sei, und wies darauf hin, dass „Selbstentwicklung“ das entscheidende Ereignis für AGI im kommenden Jahr sein werde.

MarketWhisper41M her

xAI Grok Voice übernimmt die Starlink-Kundendienst-Hotline, 70% der Anrufe werden automatisch abgeschlossen

Gemäß dem offiziellen Update von xAI vom 23. April hat xAI den Sprach-KI-Agenten „Grok Voice Think Fast 1.0“ eingeführt und ihn bereits in der Starlink-Kundenservice-Hotline +1 (888) GO STARLINK eingesetzt. Laut den in der Ankündigung offengelegten Testdaten werden 70% der Anrufe automatisch durch KI abgeschlossen, ohne dass ein Mensch eingreifen muss.

MarketWhisper52M her

GPT-5.5 kehrt an die Spitze im Codieren zurück, aber OpenAI wechselt Benchmarks, nachdem es gegen Opus 4.7 verloren hat

Gate News Nachricht, 27. April — SemiAnalysis, ein Unternehmen für Halbleiter- und KI-Analysen, veröffentlichte einen vergleichenden Benchmark für Code-Assistenten, darunter GPT-5.5, Claude Opus 4.7 und DeepSeek V4. Die wichtigste Erkenntnis: GPT-5.5 markiert OpenAI's erste Rückkehr an die Spitze der Coding-Modelle seit sechs Monaten, wobei SemiAnalysis-Ingenieure nun zwischen Codex und Claude Code wechseln, nachdem sie zuvor fast ausschließlich auf Claude gesetzt hatten. GPT-5.5 basiert auf einem neuen Vortrainingsansatz mit dem Codenamen "Spud" und stellt OpenAI's erste Ausweitung der Vortraining-Skala seit GPT-4.5. In praktischen Tests zeigte sich eine klare Arbeitsteilung. Claude übernimmt neues Projekt-Planning und die anfängliche Einrichtung, während Codex besonders bei fehlerbehebungen glänzt, die viel Denkaufwand erfordern. Codex zeigt ein stärkeres Verständnis für Datenstrukturen und logisches Denken, hat jedoch Schwierigkeiten, die mehrdeutige Nutzerabsicht abzuleiten. Bei einer einzelnen Dashboard-Aufgabe replizierte Claude automatisch die Layout-Referenzseite, fabrizierte jedoch große Mengen an Daten, während Codex das Layout übersprang, aber deutlich genauere Daten lieferte. Die Analyse deckt einen Benchmark-Manipulationsaspekt auf: In seinem Februar-Blogbeitrag forderte OpenAI die Branche auf, SWE-bench Pro als neuen Standard für Coding-Benchmarks zu übernehmen. Allerdings wechselte die Ankündigung von GPT-5.5 zu einem neuen Benchmark namens "Expert-SWE." Der Grund, in den Feinheiten versteckt, ist, dass GPT-5.5 von Opus 4.7 auf SWE-bench Pro übertroffen wurde und deutlich hinter Anthropic's unveröffentlichtem Mythos 77.8% zurückfiel. Bezüglich Opus 4.7 veröffentlichte Anthropic eine Mortem-Analyse eine Woche nach dem Release und erkannte drei Bugs in Claude Code an, die mehrere Wochen lang von März bis April anhielten und nahezu alle Nutzer betrafen. Mehrere Ingenieure hatten zuvor eine Leistungsverschlechterung in Version 4.6 gemeldet, waren jedoch mit der Begründung abgetan worden, es handele sich um subjektive Beobachtungen. Zusätzlich erhöht der neue Tokenizer von Opus 4.7 die Token-Nutzung um bis zu 35%, was Anthropic offen zugab — effektiv eine versteckte Preiserhöhung. DeepSeek V4 wurde als "mit der Spitze Schritt haltend, aber nicht führend" bewertet und positionierte sich als die kostengünstigste Alternative unter Closed-Source-Modellen. Die Analyse stellte außerdem fest, dass "Claude DeepSeek V4 Pro bei hochschwierigen chinesischen Schreibaufgaben weiterhin übertrifft," und kommentierte: "Claude gewann gegen das chinesische Modell in dessen eigener Sprache." Der Artikel führt ein zentrales Konzept ein: Die Modellpreisgestaltung sollte anhand der "Kosten pro Aufgabe" statt der "Kosten pro Token" bewertet werden. Der Preis von GPT-5.5 ist doppelt so hoch wie der von GPT-5.4 input $5, output pro Million Tokens, aber es erledigt die gleichen Aufgaben mit weniger Tokens, wodurch die tatsächlichen Kosten nicht notwendigerweise höher sind. Erste SemiAnalysis-Daten zeigen, dass das Input-zu-Output-Verhältnis von Codex bei 80:1 liegt, niedriger als das von Claude Code mit 100:1.

GateNews57M her

MediaTek gewinnt den großen Auftrag von Google für die 8. Generation TPU! ASIC-Fermentation treibt drei Sektoren-Aktien an, die davon profitieren

MediaTek ist in die Lieferkette für Trainingschips der 8. Generation von Googles TPU eingestiegen. Das Unternehmen ist für das I/O-Die-Design verantwortlich und setzt auf das TSMC N3P und die CoWoS-S-Verpackung. Dies zeigt, dass das Unternehmen auf ein Niveau hochwertiger AI-ASIC-Designs aufgestiegen ist. Es wird erwartet, dass der diesjährige ASIC-Umsatz 1 Milliarde US-Dollar übersteigt, während die TPU-Auslieferungsmenge bis 2027 voraussichtlich in die Größenordnung von mehreren Millionen Stück gehen wird. Auch die taiwanesische Lieferkette wie Jingyuan Electronics, Chipbond? (精測), Hon Hai? (鴻勁) und weitere wird davon profitieren. Der Markt wird sich schrittweise hin zu Arbeitsteilung sowie zur Zukunft von Chiplets und heterogener Integration verlagern.

ChainNewsAbmedia2Std her
Kommentieren
0/400
Keine Kommentare