Bloom
Bloom — інструмент для автоматизованої поведінкової оцінки великих мовних моделей. На відміну від фіксованих бенчмарків, Bloom генерує різноманітні тестові сценарії на основі seed-конфігурації, яка описує цільову поведінку та параметри оцінки. Система запускає діалоги з моделлю, скорує результати й створює динамічні набори тестів. Кожна оцінка повинна цитуватися зі своєю повною seed-конфігурацією для забезпечення відтворюваності. Інструмент дозволяє зондувати моделі щодо сикофантії, самозбереження, політичного упередження та інших поведінкових характеристик. Встановлення простою командою pip, налаштування через YAML-конфігурацію, запуск через CLI-команду.
Для кого
Дослідники AI безпеки, ML-інженери та компанії, що розробляють LLM-сервіси і потребують систематичної оцінки поведінкових ризиків. Команди, які хочуть відтворюваних і кастомізабельних бенчмарків замість стандартних фіксованих тестів.