ఈ గైడ్ లాంగ్చెయిన్లో గరిష్ట మార్జినల్ ఔచిత్యం ఉదాహరణ సెలెక్టర్ ద్వారా ఎంపికను ఉపయోగించే ప్రక్రియను వివరిస్తుంది.
లాంగ్చెయిన్లో గరిష్ట మార్జినల్ రిలెవెన్స్ (MMR) ద్వారా ఎంపికను ఎలా ఉపయోగించాలి?
ప్రాంప్ట్ మరియు ఉదాహరణ యొక్క కొసైన్ సారూప్యతను ఉపయోగించి సమాచారాన్ని సేకరించేందుకు గరిష్ట మార్జినల్ ఔచిత్యం ఉదాహరణ ఎంపిక సాధనం ఉపయోగించబడుతుంది. డేటాకు పొందుపరిచే పద్ధతులను వర్తింపజేసి, వచనాన్ని సంఖ్యా రూపంలోకి మార్చిన తర్వాత కొసైన్ సారూప్యత లెక్కించబడుతుంది.
LangChainలో MMR ఉదాహరణ సెలెక్టర్ని ఉపయోగించే ప్రక్రియను తెలుసుకోవడానికి, జాబితా చేయబడిన దశలను అనుసరించండి:
దశ 1: మాడ్యూల్లను ఇన్స్టాల్ చేయండి
పిప్ ఆదేశాన్ని ఉపయోగించి LangChain యొక్క డిపెండెన్సీలను ఇన్స్టాల్ చేయడం ద్వారా ప్రక్రియను ప్రారంభించండి:
పిప్ ఇన్స్టాల్ లాంగ్చెయిన్
OpenAIEmbedding() పద్ధతిని వర్తింపజేయడానికి దాని వాతావరణాన్ని ఉపయోగించడానికి OpenAI మాడ్యూల్ను ఇన్స్టాల్ చేయండి:
pip ఇన్స్టాల్ openai
సెమాంటిక్ సారూప్యతను ఉపయోగించి అవుట్పుట్ పొందడానికి ఉపయోగించే FAISS ఫ్రేమ్వర్క్ను ఇన్స్టాల్ చేయండి:
pip ఇన్స్టాల్ faiss-gpu
ఇప్పుడు, కింది కోడ్ని ఉపయోగించి వచనాన్ని చిన్న భాగాలుగా విభజించడానికి టిక్టోకెన్ టోకెనైజర్ని ఇన్స్టాల్ చేయండి:
pip tiktoken ఇన్స్టాల్
దశ 2: లైబ్రరీలు మరియు ఉదాహరణలను ఉపయోగించడం
MMR ఉదాహరణ ఎంపిక సాధనం, FAISS, OpenAIEmbeddings మరియు PromptTemplateని నిర్మించడం కోసం లైబ్రరీలను దిగుమతి చేసుకోవడం తదుపరి దశ. లైబ్రరీలను దిగుమతి చేసిన తర్వాత, బహుళ శ్రేణులలో వాటి సంబంధిత ఇన్పుట్లకు ఇన్పుట్లు మరియు అవుట్పుట్లను అందించే ఉదాహరణ సెట్ను సృష్టించండి:
నుండి లాంగ్చైన్. అడుగుతుంది . ఉదాహరణ_సెలెక్టర్ దిగుమతి (MaxMarginalRelevanceExampleSelector ,
సెమాంటిక్సిమిలారిటీ ఎగ్జాంపుల్ సెలెక్టర్ ,
)
నుండి లాంగ్చైన్. వెక్టర్ స్టోర్లు దిగుమతి FAISS
నుండి లాంగ్చైన్. పొందుపరచడం దిగుమతి OpenAIEmbeddings
నుండి లాంగ్చైన్. అడుగుతుంది దిగుమతి కొన్ని షాట్ప్రోంప్ట్ టెంప్లేట్ , ప్రాంప్ట్ టెంప్లేట్
ఉదాహరణ_ప్రాంప్ట్ = ప్రాంప్ట్ టెంప్లేట్ (
ఇన్పుట్_వేరియబుల్స్ = [ 'ఇన్పుట్' , 'అవుట్పుట్' ] ,
టెంప్లేట్ = 'ఇన్పుట్: {input} \n అవుట్పుట్: {output}' ,
)
ఉదాహరణలు = [
{ 'ఇన్పుట్' : 'సంతోషంగా' , 'అవుట్పుట్' : 'విచారంగా' } ,
{ 'ఇన్పుట్' : 'పొడవైన' , 'అవుట్పుట్' : 'చిన్న' } ,
{ 'ఇన్పుట్' : 'శక్తివంతమైన' , 'అవుట్పుట్' : 'నీరసమైన' } ,
{ 'ఇన్పుట్' : 'ఎండ' , 'అవుట్పుట్' : 'ముదురు' } ,
{ 'ఇన్పుట్' : 'గాలులతో కూడిన' , 'అవుట్పుట్' : 'ప్రశాంతత' } ,
]
దశ 3: బిల్డింగ్ ఎగ్జాంపుల్ సెలెక్టర్
ఇప్పుడు, వివిధ పారామితులను కలిగి ఉన్న MaxMarginalRelevanceExampleSelector() పద్ధతిని ఉపయోగించి MMR ఉదాహరణ సెలెక్టర్ను రూపొందించడం ప్రారంభించండి:
ఉదాహరణ_సెలెక్టర్ = MaxMarginalRelevanceExampleSelector. ఉదాహరణల నుండి (ఉదాహరణలు ,
OpenAIEmbeddings ( ) ,
FAISS ,
కె = 2 ,
)
mmr_prompt = కొన్ని షాట్ప్రోంప్ట్ టెంప్లేట్ (
ఉదాహరణ_సెలెక్టర్ = ఉదాహరణ_సెలెక్టర్ ,
ఉదాహరణ_ప్రాంప్ట్ = ఉదాహరణ_ప్రాంప్ట్ ,
ఉపసర్గ = 'ప్రతి ఇన్పుట్కు వ్యతిరేక పదాన్ని ఇవ్వండి' ,
ప్రత్యయం = 'ఇన్పుట్: {విశేషణం} \n అవుట్పుట్:' ,
ఇన్పుట్_వేరియబుల్స్ = [ 'విశేషణం' ] ,
)
దశ 4: MMR ఉదాహరణ ఎంపిక సాధనాన్ని పరీక్షిస్తోంది
ఇన్పుట్తో ప్రింట్() పద్ధతిలో కాల్ చేయడం ద్వారా గరిష్ట మార్జినల్ ఔచిత్యం MMR ఉదాహరణ సెలెక్టర్ని పరీక్షించండి:
ముద్రణ ( mmr_prompt. ఫార్మాట్ ( విశేషణం = 'ఆందోళన' ) )
దశ 5: సెమాంటిక్ సిమిలారిటీని ఉపయోగించడం
ఈ దశ SemanticSimilarityExampleSelector() పద్ధతిని ఉపయోగిస్తుంది మరియు LangChain ద్వారా మద్దతిచ్చే FewShotPromptTemplate() పద్ధతిని ఉపయోగిస్తుంది:
ఉదాహరణ_సెలెక్టర్ = సెమాంటిక్సిమిలారిటీ ఎగ్జాంపుల్ సెలెక్టర్. ఉదాహరణల నుండి (ఉదాహరణలు ,
OpenAIEmbeddings ( ) ,
FAISS ,
కె = 2 ,
)
ఇదే_ప్రాంప్ట్ = కొన్ని షాట్ప్రోంప్ట్ టెంప్లేట్ (
ఉదాహరణ_సెలెక్టర్ = ఉదాహరణ_సెలెక్టర్ ,
ఉదాహరణ_ప్రాంప్ట్ = ఉదాహరణ_ప్రాంప్ట్ ,
ఉపసర్గ = 'ప్రతి ఇన్పుట్కు వ్యతిరేక పదాన్ని ఇవ్వండి' ,
ప్రత్యయం = 'ఇన్పుట్: {విశేషణం} \n అవుట్పుట్:' ,
ఇన్పుట్_వేరియబుల్స్ = [ 'విశేషణం' ] ,
)
ముద్రణ ( ఇదే_ప్రాంప్ట్. ఫార్మాట్ ( విశేషణం = 'ఆందోళన' ) )
లాంగ్చెయిన్లో గరిష్ట మార్జినల్ ఔచిత్యం లేదా MMR ద్వారా ఎంపిక చేసిన వాటిని ఉపయోగించడం గురించి అంతే.
ముగింపు
లాంగ్చెయిన్లో గరిష్ట మార్జినల్ ఔచిత్యం లేదా MMR ఉదాహరణ సెలెక్టర్ ద్వారా ఎంపికను ఉపయోగించడానికి, అవసరమైన మాడ్యూల్లను ఇన్స్టాల్ చేయండి. ఆ తర్వాత, ఇన్పుట్ మరియు అవుట్పుట్ ప్రాంప్ట్ టెంప్లేట్ని ఉపయోగించి ఉదాహరణ సెట్ను రూపొందించడానికి లైబ్రరీలను దిగుమతి చేయండి. సంబంధిత అవుట్పుట్ను పొందడానికి MMR ఉదాహరణ సెలెక్టర్ మరియు FewShotPromptTemplate() పద్ధతిని ఉపయోగించి పరీక్షించడానికి MMR ఉదాహరణ సెలెక్టర్ను రూపొందించండి. ఈ గైడ్ LangChainలో సెలెక్ట్-బై-MMR ఉదాహరణ సెలెక్టర్ని ఉపయోగించే ప్రక్రియను వివరించింది.