Miután a hardver, a szoftver és a modell is készen állt elkezdődhetett az elő tesztelése Szabinak. Klikker, szóbeli utasítás, értelmezés, végrehajtás.
A 25 kérdéses banchmarkon és a 40 kérdéses red-team-en is végig kellett menjek, hogy Szabi megbízhatóan működik-e a 3B-s és 8B-s modellel is.
Sajnos az STT (speach-to-txt) még a felhős modellen se tökéletes, ez gyarkan vezetett félreértésekhez és téves válaszokhoz. Meg kellettt nekem is tanulnom mit és hogyan mondjak, hogy a legjobb átirat jöjjön létre.
A tesztek kiderítettek még néhány apró hibát (felhő liveness probe-ok, kamerahasználat és látás, standby mód) amit javítani kellett.
A tesztek végére Szabi készen állt az október 21-i demóra: mozog, fordul, lát, helyesen válaszol (általában), felsorolja az elérhető Wifi hálózatokat, tartja a persona-t és gyorsan kapcsol a felhő és a helyi LLM között a hálózat minőségétől függően.
Hogy sikerült-e a POC, sikerült-e bizonyítani az open-source robotok létjogosultságát azt döntsd el Te.
FAQ
Miért használok klikkert és nem wake-word-öt?
Az STT nem elég megbízható és a „Szabi” szó használata wake-wordként túl rövid, ezért a legmegbízhatóbb választás a klikker volt.
Hogyan dönti el Szabi, hogy a felhőt vagy a helyi modelt használja?
Miután a szóbeli utasítás rögzítésre került az orchestrator megnézi, hogy elérhető-e a felhő instance VPN-en keresztül. Ha igen, akkor oda küldi a hangfelvételt átiratra és feldolgozásra, ha nem, akkor a helyi STT és modell dolgozik.
Milyen lett Szabi persona-ja?
Szabi persona-ja egy Büün (Yotengrit) értékrenden alapuló személyiség, aki csak a Teremtőjének és családjának engedelmeskedik. Csak magyarul beszél és követi a „ne bánts, ne árts, istápolj, segíts” elveit.