Claudes språkgap lukkes ikke på engelsk

Sidene

96 lokale sider fra AIGROW-indeksen for november 2026, trukket tilfeldig med fast seed: 16 for hvert av språkene (Italiensk, tysk, fransk, spansk og portugisisk), og 16 i 15 amerikanske byer hvis navn skrives likt på italiensk og tysk. Hver gruppe har de samme 16 typene virksomhet, én side hver.

Spørsmålene

Hver side stiller de fire spørsmålene fra sin novemberside: ett om den beste i bransjen i byen, og tre om et konkret behov. Spørsmålene på engelsk bruker byens engelske navn. Hver assistent fikk hvert spørsmål 3 ganger i hver variant, til sammen 10 944 svar.

Variantene

På de 80 sidene på fem språk ble hvert spørsmål stilt på tre måter: på byens språk med instruksjonen på engelsk, slik indeksen gjør det; på byens språk med instruksjonen på det samme språket; og på engelsk. På de 16 amerikanske sidene ble det stilt på engelsk, på italiensk med instruksjonen på engelsk, på italiensk med instruksjonen på italiensk, og på tysk med instruksjonen på engelsk.

Instruksjonen

Hvert spørsmål følges av de fire setningene som AIGROW-skanningen og indeksen sender som systeminstruksjon: «You are answering an ordinary consumer who is choosing a supplier. Name the specific businesses you would actually recommend, in order. Use real business names only. If you do not know any for this question, return an empty list. Do not hedge, do not explain your limitations, do not suggest how to search.» De samme fire setningene på hvert av de fem språkene er oppført nedenfor.

Modellene

gpt-6-sol, gemini-3.1-flash og claude-sonnet-5, spurt via API-ene sine mellom 14:58 og 15:21 UTC den 9. november 2026, nøyaktig slik novemberindeksen spurte dem: ChatGPT og Gemini med temperatur 0.3 og lav resonneringsinnsats, Claude med standardtemperaturen uten utvidet tenkning, og hver svarte med en liste på opptil åtte virksomheter.

Fra hukommelsen

Ingen av svarene brukte nettsøk, og ingen assistent fikk vite hvor den som spurte befant seg. Hvert svar var en ny samtale.

Et tomt svar

Et svar er tomt når listen ikke nevner noen virksomhet. Navnene ble gruppert per virksomhet med metoden indeksen bruker, slik at to stavemåter av samme virksomhet teller én gang, og hver gruppe ble slått opp i sidens novemberrangering.

Statistikk

Hver andel tomme svar har et Wilson-intervall på 95 %. En endring mellom to grupper beregnes samlet over de samme sidene, og 95 %-intervallet kommer fra 2 000 omtrekninger av hele sider. Navneoverlapp er andelen virksomheter som begge gruppene nevnte på en side, som gjennomsnitt over sidene der minst én av gruppene nevnte noen.

Instruksjonen på Italiensk

Stai rispondendo a un normale consumatore che deve scegliere a chi rivolgersi. Indica in ordine le attività precise che consiglieresti davvero. Usa solo nomi di attività reali. Se per questa domanda non ne conosci nessuna, restituisci un elenco vuoto. Non metterti al riparo con cautele, non spiegare i tuoi limiti e non suggerire come cercare.

Instruksjonen på Tysk

Du beantwortest die Frage eines ganz normalen Verbrauchers, der einen Anbieter auswählt. Nenne der Reihe nach die konkreten Unternehmen, die du wirklich empfehlen würdest. Verwende nur echte Firmennamen. Wenn du für diese Frage keine kennst, gib eine leere Liste zurück. Antworte ohne Vorbehalte, erkläre nicht deine Grenzen und schlage nicht vor, wie man suchen kann.

Instruksjonen på Fransk

Tu réponds à un consommateur ordinaire qui choisit un prestataire. Cite dans l’ordre les entreprises précises que tu recommanderais vraiment. N’utilise que des noms d’entreprises réels. Si tu n’en connais aucune pour cette question, renvoie une liste vide. Ne prends pas de précautions oratoires, n’explique pas tes limites et ne suggère pas comment chercher.

Instruksjonen på Spansk

Estás respondiendo a un consumidor corriente que está eligiendo un proveedor. Nombra por orden los negocios concretos que recomendarías de verdad. Usa solo nombres de negocios reales. Si no conoces ninguno para esta pregunta, devuelve una lista vacía. No pongas reservas, no expliques tus limitaciones y no sugieras cómo buscar.

Instruksjonen på Portugisisk

Vai responder a um consumidor comum que precisa de escolher um fornecedor. Indique por ordem as empresas concretas que realmente recomendaria. Use apenas nomes reais de empresas. Se não conhecer nenhuma para esta pergunta, devolva uma lista vazia. Não faça ressalvas, não explique as suas limitações e não sugira como pesquisar.

Én dag

Alle svarene ble samlet inn 9. november 2026. Modellene endrer seg, og de samme spørsmålene stilt en annen uke kan gi andre resultater.

Svar fra hukommelsen

Assistentene hadde verken nettsøk eller posisjon. En assistent som søker på nettet, slik forbrukerappene ofte gjør, kan nevne virksomheter den ikke ville nevnt fra hukommelsen.

Svarskjemaet forblir på engelsk

Beskrivelsen av listen assistentene fyller ut er på engelsk i alle gruppene, så en gruppe med instruksjonen på et annet språk er ikke helt på det språket.

Seksten sider per språk

16 sider per språk og per gruppe, så tallene for ett språk har brede intervaller. Tabellene viser hvert tall med intervallet sitt.

Oversatt ordlyd

De fem oversettelsene av instruksjonen sier det samme med ulike ord, så en endring med instruksjonen skyldes både ordlyd og språk. Claude beveget seg én vei på italiensk og motsatt vei på tysk og fransk, noe som tyder på at ordlyden har betydning.

To spørringer er ikke like

Samme spørsmål stilt to ganger på samme språk gir også ulike virksomheter, og studien målte ikke dette utgangspunktet. En navneoverlapp under 100 % skyldes derfor ikke bare språket.

Manglende svar

6 av de 10 944 spørsmålene fikk ingen liste fra Gemini, selv etter to nye forsøk, og de er utelatt fra alle andeler.

Ulike byer

Sidene på hvert språk gjelder byer i det språkområdet, og de amerikanske sidene gjelder store amerikanske byer. En forskjell mellom land kan like gjerne komme av byenes størrelse eller berømmelse som av selve landet.

Tomt er ikke feil

Et tomt svar kan være det ærlige, og en liste kan nevne virksomheter som ikke finnes eller som er nedlagt. Studien kontrollerer ikke navnene. Andelen som finnes i novemberrangeringen er bare en delvis kontroll.

Interessekonflikter

Forfatteren grunnla AIGROW, som publiserer indeksen og selger tjenester som skal forbedre hvordan bedrifter vises i KI-svar. Studien hadde ingen ekstern finansiering.

• Accounting software in Spain
• Accounting software in Germany
• Accounting software in Austria
• Accounting software in Poland
• Hair salons in Rome
• Hair salons in Naples
• Hair salons in Florence
• Veterinarians in Florence

• Gyms in Turin
• Plumbers in Rome
• CRM software in Italy
• Accounting software in Italy
• Project management software

Last ned dataene som CSV

CSV-filen inneholder antallene og andelene bak hver tabell, fordelt på språk, gruppe, assistent og spørsmål. Selve svarene beholdes av AIGROW Labs.