Дата рождения: 01.11.1983
Тотальная неудачница и убийца жёстких дисков. Самая большая поклонница Ариэль. Член ордена Вселенского тормоза имени Осаки-сан. Любительница каваййных переднеприводных машинок. Суккуб на полставки. Когти прилагаются.
Linda-chan
Нахрена в чят ботов добавляют функцию вывода ответа по буквам? Это нихрена не иммерсивно, мессенджеры и чяты, которые изображают такие сервисы, так не работают. Напишешь боту «Привет» и ждёшь, пока он наберёт три абзаца текста =_=
hirthwork
Эмулируют ГПТхи, которые и в самом деле генерят текст по токенам и каждое слово может состоять из нескольких токенов
dss
Это логично после рекомендаций сайтоделам выдавать как можно быстрее хоть что-нибудь пользователю, даже если это разметка без контента, и потом подгружать оставшееся яваскриптами.
И всё это под рассказы "Amazon подтверждает, что замедление загрузки страницы на 0,1 секунду снижает объем продаж на 1%".
Linda-chan
Но зачем? Сгенерировали на сервере и выдали одном блоком.
Пользователь может потерять интерес пока будешь генерить. Один токен генерится порядка 50мс и для развёрнутого ответа может потребоваться времени больше чем attention span рядового пользователя. Поэтому генерация ответа и стримится на веб-страницу, чтобы пользователь сразу залип в чтение.
Звучит крайне тупо. Человек уже пришёл к боту, чятится с ним полчаса, а бот всё эттэншн спанит и эттэншн спанит.