//DI integracija
DI, kuris atlieka vieną darbą, ir kurį galima patikrinti
Dauguma DI projektų žlunga vienodai: modelio prašoma nuspręsti tai, ko niekas negali patikrinti, ir po pusmečio jo rezultatais niekas nebepasitiki. Mes kuriame kitokius: modeliui skiriama siaura užduotis sistemoje, kuri jau turi taisykles, kiekvienas atsakymas atsekamas, o viską, kas svarbu, patvirtina žmogus. Vieną tokį sprendimą patys naudojame kasdien, ir būtent dėl jo šis puslapis egzistuoja.
Ką apima mūsų DI integravimo darbai...
Atsakymai į klausimus pagal jūsų dokumentų archyvą
Geriausiai tinka vizitinei svetainei, nukreipimo puslapiui ar aiškiai apibrėžtai funkcijai. Fiksuota kaina, fiksuotas terminas.
Juodraščiai — ataskaitos, pasiūlymai, aprašymai
Geriausiai tinka vizitinei svetainei, nukreipimo puslapiui ar aiškiai apibrėžtai funkcijai. Fiksuota kaina, fiksuotas terminas.
Gaunamų užduočių klasifikavimas ir paskirstymas
Geriausiai tinka vizitinei svetainei, nukreipimo puslapiui ar aiškiai apibrėžtai funkcijai. Fiksuota kaina, fiksuotas terminas.
Asistentai, veikiantys per įrankių registrą, o ne savo nuožiūra
Geriausiai tinka vizitinei svetainei, nukreipimo puslapiui ar aiškiai apibrėžtai funkcijai. Fiksuota kaina, fiksuotas terminas.
Pagalbos pokalbių robotai, išmanantys jūsų produktą
Geriausiai tinka vizitinei svetainei, nukreipimo puslapiui ar aiškiai apibrėžtai funkcijai. Fiksuota kaina, fiksuotas terminas.
Infrastruktūra — vertinimo testai, versijavimas, kaštų kontrolė
Geriausiai tinka vizitinei svetainei, nukreipimo puslapiui ar aiškiai apibrėžtai funkcijai. Fiksuota kaina, fiksuotas terminas.
//kaip mes kuriame
Kaip iš tikrųjų kuriama DI funkcija
[01]
Randame siaurą užduotį
Viena pasikartojanti užduotis, turinti atsakingą žmogų ir jau šiandien kainuojanti. „Įdiekime DI į produktą“ — ne užduoties aprašas; „vadybininkas neturėtų keturiasdešimt kartų per mėnesį perrašinėti to paties ataskaitos įvado“ — jau taip.
[02]
Sutariame, kas yra geras rezultatas
Dvidešimt realių pavyzdžių su atsakymais, kuriuos priimtumėte. Tai tampa vertinimo rinkiniu, o be jo niekas negali pasakyti, ar užklausos pakeitimas padėjo.
[03]
Sukuriame nuobodžiąją pusę
Eilė, pakartotiniai bandymai, laiko limitai, atsistatymas po gedimo, versijuojamos užklausos, kaštų lubos. Tyliai lūžtantis modelio iškvietimas yra blogiau nei jokios funkcijos.
[04]
Paleidžiame su patvirtinimu
Pirmoji versija tik rengia juodraščius žmogui. Kai ja pasitiki ir vertinimo rinkinys, ir komanda, patvirtinimo žingsnį galima sušvelninti — sąmoningai, o ne pamažu apie jį pamirštant.
5
LLM procesai, realiai veikiantys mūsų pačių CRM
0
iš jų rašo klientui matomą skaičių be žmogaus patikros
4 sav.
iki bandomojo projekto, kuris su jūsų duomenimis arba veikia, arba ne
100%
užklausų ir procesų perduodama kaip jums priklausantys failai
//taisyklė
Kur modeliui leidžiama spręsti
Tai ir yra visas projektavimo klausimas, ir beveik kiekvienas žlugęs DI projektas į jį atsakė neteisingai. Mūsų taisyklė telpa į vieną eilutę: modelis atsako už kalbą, sistema nustato faktus, o viską, ką pamatys klientas, tvirtina žmogus. Trys stulpeliai žemiau rodo, kaip tai veikia mūsų valdomoje CRM.
//modelio darbas
Kalba
Formuluotės, eiliškumas, tonas, santrauka. Ten, kur klaida reiškia prastą sakinį, o ne prastą sprendimą.
ataskaitos komentaras
pasiūlymo įvadinė pastraipa
kaip užduotis suformuluota plane
//sistemos darbas
Faktai
Skaičiai, sudėtis, tinkamumas. Deterministinis kodas su taisykle, kurią galima perskaityti, ir rezultatu, kurį galima atkartoti.
kurios užduotys patenka į planą — pagal audito radinius
kiekvienas ataskaitos rodiklis — iš duomenų momentinės kopijos
kaina — įrašyta žmogaus, modelis jos nemato
//žmogaus darbas
Parašas
Niekas nepasiekia kliento vien modelio sprendimu. Patvirtinimas yra būsena duomenų bazėje, o ne įprotis, kurį kas nors gali praleisti.
planas patvirtinamas anksčiau, nei tampa matomas
asistentas pasiūlo veiksmų planą ir laukia
ataskaitą publikuoja žmogus, po to ji užšaldoma
//įrodymas
Penki procesai, veikiantys mūsų pačių sąskaita
Šio principo mes neišskaitėme iš straipsnių. Mūsų SEO platformoje kiekvieną darbo dieną veikia penki LLM procesai, ir kiekvienas jų sąmoningai siauras. Užklausos ir jų versijos laikomos failuose versijų kontrolės sistemoje, o ne įklijuojamos į konsolę, todėl kiekvienas modelio elgsenos pokytis yra kažkieno peržiūrėtas pakeitimas repozitorijoje — o bet kurį seną rezultatą visada galima atsekti iki tikslios užklausos, kuri jį sugeneravo.
Būtent šią dalį klientai nuvertina. Modelis — savaitės darbas; visas likęs projektas — tai, kad jo elgseną būtų galima peržiūrėti, testuoti ir pigiai eksploatuoti.
[01]
Plano generavimas
formuluotės ir eiliškumas; sudėtis — pagal audito radinius
[02]
Ataskaitos komentaras
komentuoja skaičius, bet jų niekada nerašo
[03]
Pasiūlymo juodraštis
tik įvadas — kainą įrašo žmogus, ir modelis jos nemato
[04]
Žinių klasifikavimas
žymi įkeltą dokumentą, kad paieška galėtų jį filtruoti
[05]
Asistentas
skaito sistemos duomenis, siūlo veiksmų planą, pats nieko nerašo
//prieštaravimai
Ką tikriausiai dabar galvojate
Tai paslauga, kurioje pardavimų kalbos ir inžinerinė realybė labiausiai nutolusios viena nuo kitos. Štai ką mes sakome iš tikrųjų.
„DI išsigalvoja faktus.“
Taip, ir jokia užklausa to neištaisys. Sprendimas slypi architektūroje: niekada neprašykite iš jo fakto, kuris jums svarbus. Skaičiai ateina iš duomenų bazės, tinkamumas — iš taisyklių, o modeliui lieka siaura užduotis: tai išsakyti žodžiais. Mūsų pačių ataskaitose modelis neturi prieigos prie jokio skaičiaus, kurio jam neperdavėme.
„Mūsų duomenys negali išeiti už įmonės ribų.“
Tada ir neišeis. Galimybės, pradedant pigiausia: pašalinti identifikatorius prieš iškvietimą, naudoti ES regione veikiantį API su sutartimi, kad duomenys nebus naudojami mokymui, arba paleisti atvirąjį modelį savo įrangoje. Kiekviena brangesnė už ankstesnę, ir mes sąžiningai pasakysime, kurios iš tikrųjų reikia jūsų atvejui.
„Kiek kainuos tai eksploatuoti?“
Tai skaičius, kurį galime įvertinti dar prieš pradėdami kurti, nes žinome ir apimtį, ir užklausos dydį. Dauguma vidinių procesų kainuoja dešimtis eurų per mėnesį, ne tūkstančius. Kaštų lubos ir naudojimo registravimas kiekvienai funkcijai yra kūrimo dalis, todėl sąskaita niekada nenustebins.
„Ar po pusmečio tai nebus pasenę?“
Modelis keisis; procesas aplink jį neturėtų. Modelio teikėją atskiriame sąsaja, o užklausas laikome versijuojamuose failuose, todėl modelio pakeitimas tėra konfigūracijos pakeitimas ir vienas vertinimo testų paleidimas. Būtent dėl to verta tai kurti kaip programinę įrangą, o ne kaip gudrią užklausą.
„Ar negalėtume tiesiog naudoti ChatGPT?“
Žmogui, kuris užduotį atlieka retkarčiais, — taip, ir mes tai pasakysime, užuot siuntę jums kainos pasiūlymą. Tai nustoja veikti, kai užduotis kartojasi kasdien, reikalauja jūsų duomenų, turi atsidurti kitoje sistemoje arba kaskart pateikti tokios pat formos atsakymą. Tai ir yra riba tarp įpročio ir funkcijos.
„Mūsų komanda juo nepasitikės.“
Iš pradžių ir neturėtų. Todėl pirmoji versija tik rengia juodraščius, o patvirtina žmogus. Pasitikėjimas atsiranda, kai komanda kelias savaites mato, kad modelis neklysta, — o patvirtinimo žingsnis lieka tiems atvejams, kai jis vis dėlto suklysta.
//atvejų studijos
Trys veikiančios funkcijos
Visos trys veikia mūsų pačių SEO platformoje — tai sąžininga versija: pirmiausia jas išbandėme su savimi. Mūsų pačių produktas. Sutaupytas laikas matuotas mūsų komandoje — jūsų rezultatai bus kitokie.
juodraščiai
Pusės metų planas per kelias minutes, o ne per dieną
Skenavimo robotas randa problemas, katalogas nusprendžia, kurios užduotys tinka, o modelis jas aprašo ir išdėlioja per mėnesius. Vadybininkas redaguoja ir tvirtina, užuot pradėjęs nuo tuščio dokumento.
kas parenka užduotis
katalogas
kas jas aprašo
modelis
kas tvirtina
žmogus
ataskaitos
Komentaras, kuriam skaičiai negali prieštarauti
Mėnesio ataskaita užfiksuoja savo skaičius jos sukūrimo metu. Modelis gauna šią momentinę kopiją ir rašo tik aplink ją esantį tekstą, todėl tekstas niekada negali prieštarauti virš jo esančiai lentelei — o tokią klaidą esame matę kitur.
skaičiai, kuriuos rašo modelis
jokių
ataskaita po publikavimo
užšaldyta
klientas ją mato
po patvirtinimo
asistentas
Agentas, kuris pasiūlo ir laukia
Jis gali skaityti sistemos duomenis per įrankių registrą, apribotą pagal naudotojo rolę, ir gali pasiūlyti veiksmų seką. Įvykdyti jos negali. Patvirtinimas — vienas paspaudimas, ir būtent tas paspaudimas yra esmė.
įrankiai skaitymui
pagal rolę
veiksmai, kuriuos atlieka pats
nulis
audito žurnalas
kiekvienas žingsnis
//kiek tai kainuoja
Pradėkite nuo vieno proceso
Niekam nereikėtų pirkti visos DI programos. Pirkite vieną procesą, pamatuokite jį pagal vertinimo rinkinį ir dėl antrojo spręskite remdamiesi įrodymais. Modelio naudojimas apmokamas savikaina, atskirai nuo mūsų atlygio.
GALIMYBIŲ SPRINTAS
nuo €4K
4 savaitės
Vienas procesas su jūsų realiais duomenimis, vertinimo rinkinys, kaštų įvertinimas ir aiškus „taip“ arba „ne“, kuriuo galite remtis.
Į GAMYBINĘ APLINKĄ
nuo €8K
6–12 savaičių
Eilės, pakartotiniai bandymai, versijuojamos užklausos, patvirtinimo būsenos, naudojimo registravimas ir sąsaja aplink visa tai.
NEPALEIDŽIAME IŠ AKIŲ
nuo €399
per mėnesį, be įsipareigojimų
Vertinimo testai po kiekvieno modelio pakeitimo, užklausų derinimas, kaštų peržiūra ir modelio pakeitimas, kai pasirodo geresnis.
//klausimai
Atsakymai į klausimus apie DI integraciją
Kokį modelį naudojate?
Tą, kuris už priimtiną kainą geriausiai pasirodo jūsų vertinimo rinkinyje — dažniausiai OpenAI arba Anthropic modelį, kartais savo serveriuose veikiantį atvirąjį, kai duomenys negali išeiti už įmonės ribų. Teikėjas atskirtas sąsaja, todėl prie šio sprendimo galima grįžti nieko neperrašant.
Ar apmokote modelį mūsų duomenimis?
Beveik niekada, ir paprastai jus nuo to atkalbėsime. Paieška jūsų dokumentuose išsprendžia didžiąją dalį to, ką žmonės turi omenyje sakydami „apmokykite jį mūsų duomenimis“, kainuoja menką dalį ir atsinaujina vos įkėlus naują failą. Papildomas apmokymas (fine-tuning) skirtas formatui ir tonui, o ne žinioms.
Ar galite įdiegti DI į produktą, kurio nekūrėte?
Taip, ir dažnai būtent nuo to pradedama. Mums reikia skaitymo prieigos prie duomenų, kuriuos naudotų funkcija, ir aiškiai atsakingo žmogaus jūsų pusėje. Jei duomenys išbarstyti po keturias sistemas ir nėra vieno patikimo šaltinio, tai ir yra pirmasis projektas — ir mes tai pasakysime.
Kas nutinka, kai modelis suklysta?
Klaidą pagauna žmogus, nes pirmoji versija visada tik rengia juodraščius. Be to, kiekvienas rezultatas registruojamas kartu su jį sugeneravusios užklausos versija, blogi atvejai patenka į vertinimo rinkinį, o kitas užklausos pakeitimas matuojamas pagal juos. Klaidų tikimasi; tikroji nesėkmė — jų nepastebėti.
Kada patartumėte net nesivarginti?
Kai užduotis pasitaiko du kartus per mėnesį, kai niekas negali pasakyti, kaip atrodo teisingas atsakymas, kai duomenų dar nėra arba kai taisyklė kode atliktų darbą pigiau ir niekada nehaliucinuotų. Trys iš šių keturių atvejų per pirmuosius pokalbius pasitaiko reguliariai.
//įrankiai
Su kuo kuriame
modeliai savo serveriuose
SEO
platforma, kurioje veikia šie procesai
Svetainių kūrimas
produktas, kuriame turi gyventi DI funkcija
Kainos
fiksuota kaina, laikas ir medžiagos arba atskira komanda
//susisiekite su mumis
Papasakokite apie užduotį. Mes pasakysime, ar ją turėtų atlikti modelis.
Trisdešimt minučių su inžinieriumi, nemokamai. Aptariame, kokia tai užduotis, ar yra duomenų, kaip atrodo teisingas atsakymas ir maždaug kiek kainuotų tai eksploatuoti. Nemažai tokių pokalbių baigiasi patarimu „verčiau parašykite taisyklę“ — ir šis atsakymas taip pat nemokamas.