Две собственные модели по 150M — реранкер и верификатор обоснованности — работают на вашей видеокарте через WebGPU. Ни одного запроса на сервер: поиск по кодексам, ранжирование и проверка текста на выдумки считаются здесь. Ответ можно вписать свой или отредактировать предложенный — проверяется любой.
Каждое предложение сверяется верификатором с найденными фрагментами. Зелёное — подтверждается, красное — во фрагментах этого нет.
Числа ниже получены офлайн на отложенных выборках и полным корпусом в 100 865 фрагментов. В браузере лежит только подкорпус кодексов (9 321 фрагмент), поэтому демо показывает работу моделей, а не воспроизводит эти замеры.
В браузере работают ru-reranker-edge-150m и ru-grounding-verifier-150m, оба квантованы в int8 по 149 МБ. Ответчик ru-legal-rag-edge-0.6b сюда пока не завезён: 4-битный ONNX весит 530 МБ и его нечем было проверить локально, поэтому в демо он не включён — страница подхватит его сама, когда появится.