MOXXYLABS/Laboratorium

Laboratorium
modeli eksperckich.

Badamy nową klasę modeli AI: VELM, czyli walidowane modele eksperckie (validated expert language models). VELM to wąski ekspert połączony z automatycznym walidatorem swojej dziedziny, czyli narzędziem, które potrafi wykazać, że odpowiedź jest błędna.

Poznaj Kern

Odpowiedź musi
przejść prawdziwe sprawdzenie.

Duże modele wiedzą dużo, a mimo to zgadują. Mały model, który odpowiada przed kompilatorem, testami albo bilansem, zasługuje na zaufanie w swojej dziedzinie, działa na Twoim sprzęcie i mówi, kiedy zadanie wykracza poza jego wiedzę.

JEDEN WALIDATOR, CZTERY ZADANIA

Sprawdzenie towarzyszy
modelowi na każdym etapie.

  1. 01

    W danych

    Każdy przykład treningowy najpierw przechodzi walidator. Błędy i ich poprawki też stają się danymi.

  2. 02

    W treningu

    Sprawdzenia stają się sygnałem treningowym. Model uczy się na odpowiedziach, które się kompilują i przechodzą testy.

  3. 03

    W ewaluacji

    Sukces oznacza przejście ukrytych testów na egzaminie, którego model nie widział w treningu.

  4. 04

    Przy odpowiedzi

    Każda odpowiedź jest sprawdzana, zanim ją zobaczysz. Gdy coś nie przejdzie, model poprawia tylko ten fragment.

01 / METODA

Jak prowadzimy badania

Każde twierdzenie o modelu zaczyna się jako hipoteza z progiem. Uznajemy ją za spełnioną dopiero wtedy, gdy cały przedział ufności przekracza próg.

  • Progi zapisane przed pomiarem
  • Zamrożony egzamin, który nie trafia do treningu
  • Każdy wynik z przedziałem ufności
  • Wyniki negatywne zostają w raporcie
02 / KIERUNKI BADAŃ

Co badamy dalej

Nowe pomysły sprawdzamy na tym samym trzonie co produkt i porównujemy z bazową wersją Kern.

  • Małe modele, które pytają serwer języka (LSP)
  • Nauka od kompilatora: trening naprawy i nagrody
  • Skalibrowana pewność z ukrytych stanów modelu
  • Modele zapętlone: więcej obliczeń na bajt wag
  • Kilka tokenów na krok dla szybszych odpowiedzi
  • Dyfuzja blokowa dla kodu
03 / POZA KODEM

Wszędzie tam, gdzie da się sprawdzić odpowiedź

Metoda działa w każdej dziedzinie z automatycznym walidatorem. Kod jest pierwszy, bo jego walidator jest kompletny. Pozostałe dziedziny to kierunek na później.

  • Księgowość: bilans, przeliczenie podatków, schematy e-faktur
  • Budownictwo: przeliczone obliczenia konstrukcyjne, kontrola modelu budynku
  • Prawo, z ograniczeniami: przepisy w mocy, terminy, wymagane klauzule

POROZMAWIAJMY O AI

Czego nauczymy
Twój model?

Opisz swoją dziedzinę, dane i sposób, w jaki da się sprawdzić dobrą odpowiedź. Powiemy Ci, czy lepiej sprawdzi się model ekspercki, gotowy model czy zwykłe oprogramowanie.

Porozmawiajmy