Test LLM

Params

• Model: Llama 3.2 3B Llama 3.2 3B Instruct EuroLLM 1.7B
Temperature:

Temperature: 0.1 – 0.3 (робить відповіді передбачуваними та логічними).

Temperature: 0.7 – 1.2 (додає «іскру» та несподівані звороти).

Top P:

Top-P: 0.1 (звужує вибір лише до найбільш імовірних слів).

Top-P: 0.9 (дозволяє моделі вибирати з широкого спектра слів).

Temperature та Top-P функціонують дуже схожим чином. Тому рекомендується налаштовувати лише один з них, а не обидва.

Top K:

Вибірка Top-k є простішою альтернативою Top-p. Вона обмежує модель вибіркою лише з k найімовірніших наступних токенів. Приклад: Якщо top_k = 5, модель визначає п'ять токенів з найвищими ймовірностями для наступного кроку. Потім вона ігнорує всі інші токени та вибирає лише з цих п'яти найвищих, зазвичай після перерозподілу їхніх ймовірностей.

Frequency Penalty:

Параметр, який налаштовує те, як модель обробляє повторювані токени під час генерації тексту. Frequency Penalty зменшує повторення та заохочує різноманітність у виводі. Frequency Penalty – це число від -2,0 до 2,0: додатні значення штрафують повторювані токени, зменшуючи надлишковість. Від’ємні значення заохочують повторне використання токенів, збільшуючи повторення.

Frequency Penalty: 0.0 (якщо токени мають повторюватися для точності, не варто їх обмежувати).

Frequency Penalty: 0.5 (помірне покарання за повторення, що сприяє різноманітності без втрати зв’язності).

Presence Penalty:

Presence Penalty – це параметр, який регулює схильність моделі повторно використовувати токени, які вже з'являлися у виході. Він працює, безпосередньо перешкоджаючи використанню будь-якого токена, який був згенерований раніше, незалежно від того, як часто він з'являвся. Подібно до Frequency Penalty, Presence Penalty може мати значення від -2,0 до 2,0. Знижуючи ймовірність повторного використання раніше згенерованих токенів, модель заохочує дослідження нових токенів.

Додатні значення карають нові токени, що з'явилися у згенерованому тексті, заохочуючи новизну.

Від'ємні значення винагороджують раніше використані токени, заохочуючи повторення

Max New Tokens:

Встановлює верхню межу загальної кількості токенів, які модель може обробити за одну взаємодію. Це включає як вхідні токени (те, що ви надаєте як запит), так і вихідні токени (те, що модель генерує як відповідь). Низьке значення для максимальної кількості токенів генерує коротшу відповідь, тоді як вище значення генерує довшу відповідь. Залежно від завдання, ви можете встановити максимальну кількість токенів на потрібне число.