Claudes sprogkløft lukkes ikke på engelsk

Siderne

96 lokale sider fra AIGROW Index for november 2026, trukket tilfældigt med et fast seed: 16 for hvert af sprogene (Italiensk, tysk, fransk, spansk og portugisisk) og 16 i 15 amerikanske byer, hvis navne staves ens på italiensk og tysk. Hver gruppe har de samme 16 typer virksomheder, én side for hver.

Spørgsmålene

Hver side stiller de fire spørgsmål fra sin novemberside: ét om den bedste i branchen i byen og tre om et konkret behov. Spørgsmålene på engelsk bruger hver bys engelske navn. Hver assistent fik hvert spørgsmål stillet 3 gange i hver arm, i alt 10.944 svar.

Armene

På de 80 sider på fem sprog blev hvert spørgsmål stillet på tre måder: på byens sprog med instruktionen på engelsk, som Indekset gør; på byens sprog med instruktionen også på det sprog; og på engelsk. På de 16 amerikanske sider blev det stillet på engelsk, på italiensk med instruktionen på engelsk, på italiensk med instruktionen på italiensk og på tysk med instruktionen på engelsk.

Instruktionen

Hvert spørgsmål følges af de fire sætninger, som AIGROW-scanningen og Indekset sender som systeminstruktion: “You are answering an ordinary consumer who is choosing a supplier. Name the specific businesses you would actually recommend, in order. Use real business names only. If you do not know any for this question, return an empty list. Do not hedge, do not explain your limitations, do not suggest how to search.” De samme fire sætninger på hvert af de fem sprog er vist nedenfor.

Modellerne

gpt-6-sol, gemini-3.1-flash og claude-sonnet-5, spurgt via deres API'er mellem 14:58 og 15:21 UTC den 9. november 2026, præcis som novemberindekset spurgte dem: ChatGPT og Gemini ved temperatur 0,3 med lav ræsonneringsindsats, Claude ved sin standardtemperatur uden udvidet tænkning, hver med et svar i form af en liste med op til otte virksomheder.

Fra hukommelsen

Intet svar brugte websøgning, og ingen assistent fik at vide, hvor den spørgende person befandt sig. Hvert svar var en ny samtale.

Et tomt svar

Et svar er tomt, når dets liste ikke nævner nogen virksomhed. Navnene blev grupperet efter virksomhed med den metode, Indekset bruger, så to stavemåder af den samme virksomhed tæller én gang, og hver gruppe blev slået op i sidens novemberrangering.

Statistik

Hver rate for tomme svar har et Wilson-interval på 95 %. En ændring mellem to arme er poolet over de samme sider, og dens 95 %-interval stammer fra 2.000 resamplinger af hele sider. Navneoverlap er andelen af virksomheder, som begge arme nævnte på en side, gennemsnitligt over de sider, hvor mindst én af armene nævnte nogen.

Instruktionen på Italiensk

Stai rispondendo a un normale consumatore che deve scegliere a chi rivolgersi. Indica in ordine le attività precise che consiglieresti davvero. Usa solo nomi di attività reali. Se per questa domanda non ne conosci nessuna, restituisci un elenco vuoto. Non metterti al riparo con cautele, non spiegare i tuoi limiti e non suggerire come cercare.

Instruktionen på Tysk

Du beantwortest die Frage eines ganz normalen Verbrauchers, der einen Anbieter auswählt. Nenne der Reihe nach die konkreten Unternehmen, die du wirklich empfehlen würdest. Verwende nur echte Firmennamen. Wenn du für diese Frage keine kennst, gib eine leere Liste zurück. Antworte ohne Vorbehalte, erkläre nicht deine Grenzen und schlage nicht vor, wie man suchen kann.

Instruktionen på Fransk

Tu réponds à un consommateur ordinaire qui choisit un prestataire. Cite dans l’ordre les entreprises précises que tu recommanderais vraiment. N’utilise que des noms d’entreprises réels. Si tu n’en connais aucune pour cette question, renvoie une liste vide. Ne prends pas de précautions oratoires, n’explique pas tes limites et ne suggère pas comment chercher.

Instruktionen på Spansk

Estás respondiendo a un consumidor corriente que está eligiendo un proveedor. Nombra por orden los negocios concretos que recomendarías de verdad. Usa solo nombres de negocios reales. Si no conoces ninguno para esta pregunta, devuelve una lista vacía. No pongas reservas, no expliques tus limitaciones y no sugieras cómo buscar.

Instruktionen på Portugisisk

Vai responder a um consumidor comum que precisa de escolher um fornecedor. Indique por ordem as empresas concretas que realmente recomendaria. Use apenas nomes reais de empresas. Se não conhecer nenhuma para esta pergunta, devolva uma lista vazia. Não faça ressalvas, não explique as suas limitações e não sugira como pesquisar.

Én dag

Alle svar blev indsamlet den 9. november 2026. Modellerne ændrer sig, og de samme spørgsmål stillet en anden uge kan give andre resultater.

Svar fra hukommelsen

Assistenterne havde ingen websøgning og ingen lokation. En assistent, der søger på nettet, som forbrugerapps ofte gør, kan nævne virksomheder, den ikke ville nævne ud fra hukommelsen.

Svarformularen forbliver på engelsk

Beskrivelsen af den liste, assistenterne udfylder, er på engelsk i alle arme, så en arm med instruktionen på et andet sprog er ikke helt på det sprog.

Seksten sider pr. sprog

16 sider pr. sprog og pr. gruppe, så tallene for ét sprog har brede intervaller. Tabellerne viser hvert tal med dets interval.

Oversat ordlyd

De fem oversættelser af instruktionen siger det samme med forskellige ord, så en ændring med instruktionen er en ændring af ordlyd såvel som af sprog. Claude bevægede sig i den ene retning på italiensk og i den anden på tysk og fransk, hvilket tyder på, at ordlyden har betydning.

To forespørgsler er forskellige

Det samme spørgsmål stillet to gange på det samme sprog nævner også forskellige virksomheder, og undersøgelsen målte ikke denne baseline, så et navneoverlap under 100 % skyldes ikke udelukkende sproget.

Manglende svar

6 af de 10.944 spørgsmål fik ingen liste fra Gemini, selv efter to nye forsøg, og de er udeladt af alle rater.

Forskellige byer

Siderne på hvert sprog hører til byer i det pågældende sprogområde, og de amerikanske sider hører til store amerikanske byer. En forskel mellem lande kan lige så vel skyldes byernes størrelse eller berømmelse som selve landet.

Tom er ikke forkert

Et tomt svar kan være det ærlige, og en liste kan nævne virksomheder, der ikke findes eller er lukket. Undersøgelsen kontrollerer ikke navnene; andelen, der findes i novemberrangeringen, er kun en delvis kontrol.

Interessekonflikter

Forfatteren grundlagde AIGROW, som udgiver Indekset og sælger tjenester, der har til formål at forbedre, hvordan virksomheder optræder i AI-svar. Undersøgelsen havde ingen ekstern finansiering.

• Accounting software in Spain
• Accounting software in Germany
• Accounting software in Austria
• Accounting software in Poland
• Hair salons in Rome
• Hair salons in Naples
• Hair salons in Florence
• Veterinarians in Florence

• Gyms in Turin
• Plumbers in Rome
• CRM software in Italy
• Accounting software in Italy
• Project management software

Download data som CSV

CSV-filen indeholder antal og rater bag hver tabel, fordelt på sprog, arm, assistent og spørgsmål. Selve svarene forbliver hos AIGROW Labs.