Тия бенчмаркове до колко съответстват на реално ползване?
Тук може да ги разгледаш една част какво представляват
например
Artificial Analysis Intelligence Index v4.1.1 включва 9 оценки: GDPval-AA v2, 𝜏³-Banking, Terminal-Bench v2.1, SciCode, Humanity's Last Exam, GPQA Diamond, CritPt, AA-Omniscience, AA-LCR
𝜏³-Banking
Финтех бенчмарк за клиентска поддръжка от рамката 𝜏-Knowledge, който тества дали агентите могат да се ориентират в голяма неструктурирана база данни с знания и да изпълняват многоетапни повиквания към инструменти (tool calls), за да разрешат реалистични банкови работни процеси.
Вижте примерни задачи
𝜏³-Banking е финтех домейнът на рамката 𝜏-Knowledge — третият бенчмарк от 𝜏-серията на Sierra Research, който разширява 𝜏-Bench към среди, в които успехът изисква едновременно намиране на правилната политика от голяма неструктурирана база данни и изпълнение на правилната многоетапна последователност от повиквания към инструменти.
Банковият корпус обхваща около 700 взаимосвързани документa с политики (≈195K токена, 21 продуктовa категория). Задачите включват спорове, замразяване на сметки, временни кредити и промени в продуктите — работни процеси, при които разрешаването на една клиентска заявка често изисква намиране на съответната политика, разсъждение върху нея и изпълнение на няколко инструмента последователно, включително понякога инструменти, споменати само в документацията, а не изрично изброени.
Изходите се оценяват спрямо състоянието на бекенд базата данни (напр. дали спорът е регистриран, дали кредитът е издаден), а не спрямо качеството на разговора. Оценяваме пълния набор 𝜏³-Banking (97 задачи) и докладваме pass@1, усреднено за повтарянията.
GDPval-AA v2
GDPval-AA v2 е оценъчната рамка на Artificial Analysis за датасета GDPval на OpenAI. Тестира AI модели върху реални задачи в рамките на 44 професии и 9 големи индустрии. На моделите се предоставя достъп до shell и възможност за сърфиране в уеб в агентен цикъл чрез Stirrup за решаване на задачите, а рейтингите Elo се базират на ослепителни двойкови сравнения (blind pairwise comparisons).
Вижте примерни задачи
GDPval-AA v2 използва 220 задачи, разработени от OpenAI в сътрудничество с професионалисти от индустрията, които отразяват реалната сложност.
Бенчмаркът изисква от моделите да произвеждат разнообразни резултати — документи, презентации, диаграми и таблични изчисления, които отговарят на реалните работни продукти във финансите, здравеопазването, правната сфера и други професионални домейни.
Всички оценки се извършват независимо от Artificial Analysis.
превода е с Qwen3.6 35b на Reasoning на Ultra - опитвам се субективно да оценя по малък модел с по високи ризонинг да гони резултат подобен на по големи от него ... и се подготвям за излизането на 3.8 за да съм свикнал до някъде
Повече за теста на за халюцинации на български тук
А до каква степен тази ниска халюцинация не се дължи на по-слабата употреба на самите модели и тяхната популярност? Сещаш се популярен модел, повече употреба съответно повече халюцинира и обратно?
Макар, че има някаква закономерност. Кодекс например след пормнята с новите мдели Сол, Тера и Луна има моменти в които се държи безобразно. И редовно си го пусках на старат версия 4 вместо на 5.2. Сега съм го оставил две семдици да видим след 10.07 каот се прибера колко ще е откачил
То е нормализиран тест...
AA-Omniscience е разширен knowledge + hallucination бенчмарк от Artificial...
