Punktacja TOP10 to siedem kryteriów o stałych wagach i publicznych wzorach. Wynik zawsze mieści się między 0 a 100 punktów, a wersję wzorów zamrażamy przed głosowaniem, żeby nikt nie mógł jej zmienić po wynikach.
Podstawą wyniku są realne opinie klientów z Google i Facebooka. Wysoka średnia ocen ma największe znaczenie: sama jakość ocen waży połowę wyniku. Głosowanie mieszkańców dokłada najwyżej 5 punktów, więc mobilizacja znajomych nie przesuwa firmy ponad lepiej ocenianych konkurentów.
Dane wejściowe pochodzą wyłącznie z dozwolonych źródeł i muszą być możliwe do odtworzenia w ramach ich licencji. Przy każdym ważnym rekordzie zapisujemy czas, źródło i wersję metodologii.
Siedem kryteriów
Cztery kryteria opisują jakość i wiarygodność opinii, dwa kolejne pokazują, czy firma się poprawia i czy opinie zdobywa regularnie, a ostatnie to głos mieszkańców.
| Kryterium | Waga (pkt) | Co mierzy |
|---|---|---|
| 1. Jakość ocen klientów (J) | 50 | Skorygowana średnia ocen, z uwzględnieniem niepewności małej próby. |
| 2. Liczba opinii (L) | 15 | Wiarygodność próbki, z malejącym przyrostem. |
| 3. Aktualność opinii (A) | 10 | Udział opinii z ostatnich 12 miesięcy. |
| 4. Stabilność ocen (S) | 10 | Udział ocen skrajnie negatywnych, czyli jednej i dwóch gwiazdek. |
| 5. Trend opinii (T) | 5 | Czy średnia z ostatnich 12 miesięcy rośnie, jest stała czy spada względem wcześniejszych 12 miesięcy. |
| 6. Regularność opinii (R) | 5 | W ilu miesiącach roku firma zdobywa opinie i czy nie przychodzą one hurtem w jednym miesiącu. |
| 7. Głosowanie mieszkańców (G) | 5 | Głosy mieszkańców w danej kategorii. |
| Łącznie | 100 | Siedem kryteriów, maksymalnie 100 punktów. |
Wzory
Każde kryterium ma własny wzór i własną wagę. Suma wszystkich siedmiu to maksymalnie 100 punktów.
Średnia ocen skorygowana o liczbę opinii. Mała próba jest ściągana w stronę wartości referencyjnej, żeby kilka opinii nie decydowało o wyniku.
Rsk = (n · r + m · C) / (n + m), gdzie r to średnia od 1 do 5, n liczba opinii, m = 50 i C = 4,2. Funkcja clip ogranicza wynik do przedziału od 0 do 1.
Wiarygodność próbki. Przyrost punktów maleje, a po osiągnięciu progu dla klasy branży kolejne opinie nie zwiększają wyniku.
Nref to próg liczby opinii dla klasy branży.
Udział opinii z ostatnich 12 miesięcy. Firma bez opinii nie kwalifikuje się do rankingu.
n12 to liczba opinii z ostatnich 12 miesięcy. Dla n = 0 firma nie kwalifikuje się.
Udział ocen skrajnie negatywnych, czyli jednej i dwóch gwiazdek. Im mniej takich ocen, tym więcej punktów.
p to udział ocen jednej i dwóch gwiazdek.
Czy średnia z ostatnich 12 miesięcy rośnie, jest stała czy spada względem wcześniejszych 12 miesięcy.
R1 i R0 to skorygowane średnie z obu okresów. Pełny opis i przykład.
W ilu miesiącach roku firma zdobywa opinie i czy nie przychodzą one hurtem w jednym miesiącu.
K to współczynnik pokrycia miesięcy, a Cn kara za koncentrację opinii. Pełny opis i przykład.
Głosy mieszkańców w danej kategorii, najwyżej 5 punktów. Gdy nikt nie głosuje, G = 0 dla wszystkich firm.
v to ważne głosy firmy, a vmax największa liczba ważnych głosów w kategorii.
Kryterium 5
Porównujemy średnią z ostatnich 12 miesięcy (r12) ze średnią z wcześniejszych 12 miesięcy (r12p). Obie średnie korygujemy w stronę średniej ogólnej firmy r, żeby kilka przypadkowych opinii nie zmieniało wyniku.
R1 = (n12 · r12 + 10 · r) / (n12 + 10), R0 = (n12p · r12p + 10 · r) / (n12p + 10).
T = 5 · clip(0,5 + (R1 - R0) / 1,0).
Poprawa o co najmniej 0,5 gwiazdki daje 5 punktów, brak zmiany daje wynik neutralny 2,5 punktu, a pogorszenie o co najmniej 0,5 daje 0. Obie średnie muszą opierać się na co najmniej nmin opiniach (zależy od klasy branży). Przy mniejszej liczbie T = 2,5 i firma ma oznaczenie „dane niepełne”.
| Przykład (60 opinii w każdym roku) | Śr. wcześniej | Śr. obecnie | Zmiana po korekcie | T (pkt) |
|---|---|---|---|---|
| Firma A: poprawa | 4,3 | 4,8 | +0,43 | 4,64 |
| Firma B: stabilnie | 4,8 | 4,8 | +0,00 | 2,50 |
| Firma C: pogorszenie | 4,9 | 4,4 | -0,43 | 0,36 |
Poprawa dostaje więcej punktów, stabilna jakość wynik neutralny, a pogorszenie mniej.
Kryterium 6
Premiujemy firmy, które zdobywają autentyczne opinie systematycznie przez cały rok. Niech a to liczba miesięcy z co najmniej jedną opinią w ostatnich 12 miesiącach, a mref = min(12; n12), bo firma nie może mieć opinii w większej liczbie miesięcy niż opinii w ogóle.
K = min(1; a / mref) to współczynnik pokrycia. Niech c to udział opinii z najbardziej aktywnego miesiąca. Kara za koncentrację (dla n12 co najmniej 12): Cn = clip((c - 0,25) / 0,35).
R = 5 · K · (1 - 0,6 · Cn).
Koncentracja może obniżyć wynik najwyżej o 60 procent punktów z pokrycia. Gdy n12 jest mniejsze niż 6, regularności nie da się wiarygodnie ocenić: R = 2,5 i oznaczenie „dane niepełne”.
| Przykład | n12 | c | K | Cn | R (pkt) |
|---|---|---|---|---|---|
| Firma A: opinie w 11 z 12 miesięcy | 120 | 14% | 0,92 | 0,00 | 4,58 |
| Firma B: opinie w 7 z 12 miesięcy | 70 | 20% | 0,58 | 0,00 | 2,92 |
| Firma C: prawie wszystkie opinie w jednym miesiącu | 60 | 85% | 0,17 | 1,00 | 0,33 |
Sygnał kontrolny: miesiąc z co najmniej 10 opiniami i liczbą opinii trzykrotnie większą niż mediana pozostałych miesięcy trafia do kolejki redaktora. Żadna opinia nie jest wykluczana bez decyzji redaktora, a każdą decyzję dokumentujemy.
Kalkulator
Ustaw dane fikcyjnej firmy i zobacz, jak zmienia się każde z siedmiu kryteriów. Wybierz klasę branży, bo od niej zależą progi liczby opinii.
Przesuń suwaki i obserwuj składniki.
Przykład
Kategoria Restauracje (klasa branży: wysoka, Nref = 1000, nmin = 20), dane fikcyjne. Wyniki liczy skrypt ze wzorów powyżej. Podajemy je z dokładnością do dwóch miejsc po przecinku, a suma jest sumą składowych z tabeli.
| Firma | Średnia | Opinie | Opinie 12 mies. | Opinie wcześniej | Oceny 1 i 2 |
|---|---|---|---|---|---|
| Stara Piekarnia | 4,9 | 420 | 80 | 95 | 2% |
| Bistro Centrum | 4,8 | 1100 | 160 | 190 | 5% |
| Restauracja Rynek | 4,7 | 650 | 130 | 120 | 8% |
| Kuchnia Rodzinna | 4,9 | 180 | 40 | 45 | 3% |
| Zielony Stół | 5,0 | 35 | 10 | 8 | 0% |
| Firma | Śr. 12 mies. | Śr. wcześniej | Miesiące z opiniami | Największy miesiąc | Głosy |
|---|---|---|---|---|---|
| Stara Piekarnia | 4,9 | 4,8 | 12 z 12 | 14% | 310 |
| Bistro Centrum | 4,6 | 4,9 | 12 z 12 | 13% | 650 |
| Restauracja Rynek | 4,8 | 4,5 | 11 z 12 | 16% | 900 |
| Kuchnia Rodzinna | 4,9 | 4,9 | 4 z 12 | 75% | 400 |
| Zielony Stół | 5,0 | 5,0 | 6 z 12 | 30% | 100 |
| Poz. | Firma | J / 50 | L / 15 | A / 10 | S / 10 | T / 5 | R / 5 | G / 5 | Suma |
|---|---|---|---|---|---|---|---|---|---|
| 1 | Stara Piekarnia | 44,18 | 13,12 | 9,52 | 9,20 | 2,95 | 5,00 | 1,72 | 85,69 |
| 2 | Restauracja Rynek | 38,81 | 14,07 | 10,00 | 6,80 | 3,89 | 4,58 | 5,00 | 83,15 |
| 3 | Bistro Centrum | 42,46 | 15,00 | 7,27 | 8,00 | 1,08 | 5,00 | 3,61 | 82,42 |
| 4 | Kuchnia Rodzinna | 41,59 | 11,29 | 10,00 | 8,80 | 2,50 | 0,67 | 2,22 | 77,07 |
| 5 | Zielony Stół | 34,31 | 7,78 | 10,00 | 10,00 | 2,50 | 3,00 | 0,56 | 68,15 |
Restauracje zdobywają znacznie więcej opinii niż kancelarie, więc progi zależą od klasy branży. Klasy są wersjonowane razem ze wzorami i weryfikowane po pierwszych rankingach.
| Klasa | Nref (L) | nmin (T) | Przykładowe branże |
|---|---|---|---|
| Wysoka | 1000 | 20 | restauracje, pizzerie, kawiarnie, hotele |
| Średnia | 400 | 10 | uroda, zdrowie, motoryzacja, szkoły, serwisy |
| Niska | 120 | 5 | kancelarie, biura, hydraulicy, elektrycy, fotografowie |
Nie udajemy, że policzono pełną metodologię, gdy danych nie ma. Poziom punktacji wybieramy dla całej kategorii: najwyższy, dla którego co najmniej 80 procent kwalifikujących się firm ma kompletne dane.
Poniżej poziomu Full wynik skalujemy do 100 punktów i podajemy nazwę poziomu przy rankingu. Pojedyncza firma z niepełną historią dostaje w trendzie i regularności wynik neutralny (2,5 punktu) oraz oznaczenie „dane niepełne”. Nie jest ani karana, ani nagradzana.
Nie zakładamy, że Google lub Facebook udostępniają pełną historię recenzji. Publiczne interfejsy zwykle zwracają średnią ocen, łączną liczbę opinii i ograniczoną próbę recenzji, a warunki dostawców ograniczają przechowywanie, kopiowanie i ponowne wykorzystanie treści oraz wymagają podania źródła. Facebook może przedstawiać opinie w innym formacie niż gwiazdki.
Dlatego startujemy od poziomu Basic. Daty opinii, czyli poziomy Extended i Full, włączamy tylko ze źródeł dozwolonych regulaminem, na przykład za zgodą właściciela profilu albo na podstawie licencji. Każde źródło weryfikujemy przed wdrożeniem.
