Cén fáth a bhfuil do chúntóir luathaithe AI ag dul amú? Is é an freagra an t-aiseolas

I rith an mhí seo nó an mhí seo caite, chas mé le go leor úinéirí clódóirí beaga agus meánmhéide a d’fhiafraigh an rud céanna: an cúntóir luathaithe AI agus an róbat seirbhís custaiméara a d’úsáid siad anuraidh, bhí siad iontach ag an tús, ach anois ní fheiceann siad aon fheabhsú, agus uaireanta déanann siad botúin níos measa

Léiríonn páipéar le déanaí dar teideal Scaling Laws for Agent Harnesses via Effective Feedback Compute an feiniméan seo go soiléir. Scríobh Xuanliang Zhang agus daoine eile é, agus léigh mé achoimre i Sínis le Wisely Chen

Déanann sé cainníochtú ar rud frith-intuigthe: ceapann tú má thugann tú níos mó cumhachta ríomhaireachta, níos mó uirlisí, agus níos mó rith don AI, go mbeidh sé níos láidre, ach ní mar sin atá

Úsáideann an páipéar raw tokens agus tool calls chun ráta ratha an tasc a mhíniú, agus níl an comhéifeacht comhghaolaithe R² ach:

・0.33 go

・0.42

I ngnáthchaint an chló: Má dhéanann tú taifead ar gach comhrá AI go mion, má ríomhann tú an luachan trí huaire in ionad uair amháin, agus má nascann tú dhá bhunachar sonraí eile leis, ní fhéadfaidh na gníomhartha "déanaim go leor" seo ach trí nó ceithre faoin gcéad den toradh a mhíniú. Níl aon bhaint ag an 60% eile leis an acmhainn a úsáideann tú

Cuirim é seo i gcomparáid le printíseach a oiliúint. Má chuireann máistir printíseach ag priontáil dhá chéad leathanach cleachtaidh sa lá, ach gan riamh botúin a cheartú, ní thiocfaidh aon fheabhas air. Ní bheidh sé níos fearr, ach beidh sé níos tuirseach

Is é bunús an pháipéir ná Effective Feedback Compute, nó EFC. Ciallaíonn sé seo: nach n-áirítear gach idirghníomhú, ach go ndéanann "aiseolas éifeachtach" difríocht

Sainmhíníonn sé ceithre choinníoll le haghaidh aiseolais éifeachtach, agus cuirfidh mé i gcomparáid iad leis an gcló:

・Informative (Faisnéiseach): Tugann an t-aiseolas eolas nua. Má ghearánann an custaiméir go bhfuil an luachan ró-chostasach ach gan a rá an bhfuil sé mar gheall ar an bpáipéar nó an iar-phróiseáil, is aiseolas gan úsáid é sin

・Valid (Bailí): Tá an t-aiseolas iontaofa, ní torann nó buille faoi thuairim. Má dhéanann an díoltóir nóta faoi "níl cúram ar an gcustaiméir faoin bpraghas" ach go raibh sé mícheart, is measa é sin a chur isteach ná é a fhágáil amach

・Non-redundant (Gan a bheith athráiteach): Ná labhair faoi rudaí atá ar eolas cheana féin. Má thaifeadann an córas 100 uair go bhfuil "páipéar copair 100lb ag teastáil ón gcustaiméir", níl aon eolas nua ann

・Retained (Coinnithe): Tá an ceann seo an-tábhachtach. Ar úsáideadh an t-aiseolas i ndáiríre sa chéad chinneadh eile? Má thugann an díoltóir breithiúnas ceart sa ghrúpa ach nach gcuirtear isteach sa loighic luachan é, is ionann é agus gan é a rá ar chor ar bith

An uimhir is tábhachtaí: Rinne an páipéar turgnamh rialaithe. Gan an buiséad ríomhaireachta a athrú, trí cháilíocht an aiseolais a fheabhsú, d'ardaigh ráta ratha an tasc ó 27% go 90%

Níor chosain sé pingin bhreise, ní raibh ach an t-aiseolas éifeachtach, agus d'éirigh sé trí huaire níos fearr. Tar éis athríomh, d'ardaigh an cumhacht míniúcháin R² ó:

・0.33 go

・0.94 go

・0.99

Is é an cur chuige seo an rud atá á chur chun cinn ag eolaíocht na foghlama le blianta fada: 'cleachtadh d'aon ghnó' (deliberate practice): caithfidh an t-aiseolas a bheith sonrach, ceart, agus úsáidte sa chéad chleachtadh eile. Is ionann gan a bheith ag machnamh tar éis cleachtadh agus gan a bheith ag cleachtadh ar chor ar bith. Tá AI cosúil le daoine sa mhéid sin

Nuair atá an prionsabal ar eolas agat, is í an cheist: conas an lúb seo a nascadh sa phróiseas priontála? Seo roinnt rudaí is féidir a dhéanamh an tseachtain seo

Ar an gcéad dul síos, tóg tábla "freagra caighdeánach". Aithin an 20-30 táirge is mó a luaitear le sé mhí anuas: catalóga, leabhair, greamáin, boscaí. Eagraigh na cóid, an páipéar, an iar-phróiseáil agus an raon praghsanna ceart isteach i bhfírinne bhunúsach (ground truth). Mura n-oireann luachan an AI leis seo, ní bheidh aon "chomhartha ceart" agat le ceartú

An dara ceann, taifead gach botún AI, agus taifead an bhunchúis. Ná scríobh "botún sa luachan", scríobh "rinne sé luachan ar pháipéar 200g in ionad 250g" nó "dearmad déanta ar chostas na snasta". Seo an chuid Informative

An tríú ceann, ionchuir na cásanna teipthe go rialta. Caitheann tú uair an chloig gach mí ag athbhreithniú na luachanna míchearta agus na bhfreagraí seirbhíse custaiméara, agus déanann tú an t-ordú nó an riail a mhodhnú. Seo an chuid Retained

An ceathrú ceann, sula gcuireann tú aon fheidhm eile leis, cuir ceist ar an gceathrú pointe de EFC: an athróidh sé cinneadh an AI an chéad uair eile? Mura ndéanfaidh, is cur amú airgid agus ama é

Tá sé mar an gcéanna don dearadh. Má úsáideann tú AI chun íomhánna a chruthú nó moltaí a scríobh, is é aiseolas an chustaiméara do chomhartha. Taifead go sonrach cén fáth ar dhiúltaigh siad, seachain é an chéad uair eile, agus beidh do ráta ratha níos airde

Tá cuid de na soláthróirí ag cur "cuimhne AI" chun cinn, rud a fhuaimeann go maith. Ach tá rabhadh sa pháipéar a aontaím go mór leis

Réitíonn an ailtireacht chuimhne an ceathrú pointe is deacra, ach réitíonn sé "cuimhne" amháin, ní chabhróidh sé leat na chéad trí phointe eile a scagadh

I bhfocail eile, má chuireann tú aiseolas mícheart, athráiteach, nó torannach isteach, úsáidfear na cuimhní míchearta seo arís agus arís eile, rud atá níos measa ná gan cuimhne a bheith agat ar chor ar bith

Mar sin, nuair a thugann tú isteach aon fheidhm chuimhne, caithfidh tú "geata scríobh" a chur leis: an bhfuil an fhaisnéis seo úsáideach, iontaofa, agus neamh-athráiteach? Ná lig do roghanna custaiméara gan fhíorú a bheith ina "fhírinne" don chóras

Caithfidh mé a bheith macánta, níl an páipéar seo ina leigheas ar gach rud. Tá:

・0.94 go

・0.99 mar an teorainn teoiriciúil, ní féidir le córas fíor-ama é a bhaint amach. Agus tá sé deacair a fháil amach an n-athraíonn an t-aiseolas cinntí i ndáiríre. Ach fós féin, aontaím leis an treo lárnach

Ní bheidh an iomaíocht maidir le huirlisí AI sa todhchaí faoi cé mhéad feidhm atá acu, ach cé atá in ann gach píosa aiseolais a úsáid i ndáiríre. Ní hé an cúntóir AI maith an ceann a dhéanann níos mó oibre, ach an ceann a fhoghlaimíonn rud éigin nua gach uair

・Má thugann tú níos mó cumhachta ríomhaireachta agus uirlisí don AI, ní chuireann sé ach 3-4 faoin gcéad leis an toradh (R²:

・0.33

・0

・42), tá an 60% eile ag brath ar cháilíocht an aiseolais

・Gan an chumhacht ríomhaireachta a athrú, ach aiseolas éifeachtach a dhéanamh, is féidir an ráta ratha a ardú ó 27% go 90%. Tá an difríocht sna "cleachtaí cearta", ní sa "chleachtadh níos mó"

・Caithfidh aiseolas éifeachtach a bheith: faisnéiseach, ceart, neamh-athráiteach, agus úsáidte. Gan an ceathrú pointe, is cur amú ama é

・Ní réitíonn feidhm chuimhne AI ach "cuimhne", ní chabhróidh sé leat botúin a scagadh; gan geata scríobh, is measa cuimhní míchearta ná gan cuimhne ar chor ar bith

・Is é an príomhghníomh ná cásanna teipthe AI a ionchur uair sa mhí chun é a dhéanamh níos cruinne

Don chlódóir agus don stiúideo dearaidh, ní í an fhíor-cheist "an cheart dom AI a thabhairt isteach?", ach "an bhfuil sásra athbhreithnithe deartha agam tar éis é a thabhairt isteach?". Tá an chuid is mó de dhaoine sáinnithe ag an gcéad chéim

Molaim tosú le rud beag: roghnaigh cás minic, mar shampla luachan catalóige nó fiosrúchán samplach greamáin. Tóg tábla freagraí caighdeánacha, cuir am ar leith in áirithe gach mí chun na cásanna a ndearna an AI botún iontu a athbhreithniú agus na rialacha a cheartú. Nuair a bheidh an lúb seo ag obair, smaoinigh ar fheidhm chuimhne a chur leis

Do na soláthróirí seirbhísí comhtháite, is bealach é seo chun nasc fadtéarmach a chruthú leis an gcustaiméir: má dhearann tú lúb aiseolais mhaith don chustaiméir, beidh an córas níos oiriúnaí dá riachtanais de réir a chéile

・Teastaíonn "aiseolas tráthúil" ó Ghníomhairí: Effective Feedback Compute agus cleachtadh d'aon ghnó do Ghníomhairí