లాంగ్‌చెయిన్ అనేది ఆర్టిఫిషియల్ ఇంటెలిజెన్స్‌ని ఉపయోగించి పెద్ద భాషా నమూనాలను రూపొందించడానికి ఒక ఫ్రేమ్‌వర్క్, తద్వారా ఇది టెక్స్ట్‌ను రూపొందించగలదు మరియు మానవులతో పరస్పర చర్య చేయగలదు. asyncio అనేది LLM వంటి మోడల్‌ను ఒకే ఆదేశం లేదా ప్రశ్నను ఉపయోగించి అనేకసార్లు కాల్ చేయడానికి ఉపయోగించే లైబ్రరీ. ఇది వచనాన్ని సమర్ధవంతంగా రూపొందించడానికి మా LLM మోడల్ పని వేగాన్ని కూడా అందిస్తుంది.
ఈ కథనం LangChainలో 'asyncio' లైబ్రరీని ఎలా ఉపయోగించాలో ప్రదర్శిస్తుంది.
లాంగ్‌చెయిన్‌లో “అసిన్సియో” లైబ్రరీని ఎలా ఉపయోగించాలి/ఎగ్జిక్యూట్ చేయాలి?
Async APIని LLMలకు మద్దతుగా ఉపయోగించవచ్చు కాబట్టి LangChainలో asyncio లైబ్రరీని ఉపయోగించడం కోసం, ఈ గైడ్‌ని అనుసరించండి:
ముందస్తు అవసరాలను ఇన్స్టాల్ చేయండి
LLMలకు ఏకకాలంలో కాల్ చేయడానికి LangChainలోని asyncio లైబ్రరీని ఉపయోగించడం ప్రారంభించడానికి LangChain మాడ్యూల్‌ను ఇన్స్టాల్ చేయండి:
పిప్ ఇన్స్టాల్ లాంగ్చైన్
OpenAIEmbeddingsని ఉపయోగించి LLMలను నిర్మించడానికి OpenAI మాడ్యూల్ కూడా అవసరం:
పిప్ ఇన్స్టాల్ ఓపెనై
ఇన్‌స్టాలేషన్‌ల తర్వాత, కింది కోడ్‌ని ఉపయోగించి OpenAI API కీని కాన్ఫిగర్ చేయండి:
మమ్మల్ని దిగుమతి చేసుకోండిగెట్పాస్ని దిగుమతి చేయండి
os.ఎన్విరాన్ [ 'OPENAI_API_KEY' ] = getpass.getpass ( 'OpenAI API కీ:' )
LLMని రూపొందించడానికి asyncioని ఉపయోగించడం
కింది కోడ్ దీన్ని LangChainలో ఉపయోగిస్తుంది కాబట్టి LLMలకు మద్దతు ఇవ్వడానికి asyncio లైబ్రరీని ఉపయోగించవచ్చు:
దిగుమతి సమయంasyncio దిగుమతి
#LangChain నుండి asyncio లైబ్రరీలను ఉపయోగించడానికి దిగుమతి చేస్తోంది
langchain.llms నుండి OpenAIని దిగుమతి చేయండి
#సీరియల్ జనరేషన్ యొక్క టైమ్‌స్టాంప్ పొందడానికి ఫంక్షన్‌ను నిర్వచించండి
డెఫ్ జనరేట్_సీరియల్‌గా ( ) :
llm = OpenAI ( ఉష్ణోగ్రత = 0.9 )
కోసం _ లో పరిధి ( 5 ) :
resp = llm.జనరేట్ ( [ 'నువ్వేమి చేస్తున్నావు?' ] )
ముద్రణ ( resp.generations [ 0 ] [ 0 ] .వచనం )
#సింక్రోనస్ జనరేషన్ యొక్క టైమ్‌స్టాంప్ పొందడానికి ఫంక్షన్‌ను నిర్వచించండి
async def async_generate ( llm ) :
resp = నిరీక్షించు llm.agenerate ( [ 'నువ్వేమి చేస్తున్నావు?' ] )
ముద్రణ ( resp.generations [ 0 ] [ 0 ] .వచనం )
#ఏకకాలంలో డేటాను రూపొందించే టైమ్‌స్టాంప్‌ను పొందడానికి ఫంక్షన్‌ను నిర్వచించండి
async def generate_concurrently ( ) :
llm = OpenAI ( ఉష్ణోగ్రత = 0.9 )
పనులు = [ async_generate ( llm ) కోసం _ లో పరిధి ( 10 ) ]
asyncio.gather కోసం వేచి ఉండండి ( * పనులు )
#ఏకాలిక అవుట్‌పుట్ పొందడానికి asyncio ఉపయోగించి ఫలిత అవుట్‌పుట్‌ను కాన్ఫిగర్ చేయండి
s = సమయం.perf_counter ( )
ఉత్పత్తి_ఏకకాలంలో వేచి ఉండండి ( )
గడిచిన = time.perf_counter ( ) - ఎస్
ముద్రణ ( '\033[1మీ' + f 'ఏకకరెంట్ {elapsed:0.2f} సెకన్లలో అమలు చేయబడుతుంది.' + '\033[0మీ' )
#సీరియల్ అవుట్‌పుట్ పొందడానికి ఫలిత అవుట్‌పుట్ కోసం టైమ్‌స్టాంప్‌ను కాన్ఫిగర్ చేయండి
s = సమయం.perf_counter ( )
ఉత్పత్తి_క్రమంగా ( )
గడిచిన = time.perf_counter ( ) - ఎస్
ముద్రణ ( '\033[1మీ' + f 'సీరియల్ {elapsed:0.2f} సెకన్లలో అమలు చేయబడింది.' + '\033[0మీ' )
పై కోడ్ అసిన్సియో లైబ్రరీని ఉపయోగించి టెక్స్ట్‌లను రూపొందించడానికి సమయాన్ని కొలవడానికి రెండు విభిన్న ఫంక్షన్‌లను ఉపయోగిస్తుంది ఉత్పత్తి_క్రమంగా() మరియు ఉత్పత్తి_ఏకకాలంలో () :
అవుట్‌పుట్
సీరియల్ టెక్స్ట్ జనరేషన్ కంటే ఫంక్షన్‌ల సమయ సంక్లిష్టత మరియు ఏకకాలిక వచన ఉత్పత్తి యొక్క సమయ సంక్లిష్టత మెరుగ్గా ఉన్నాయని క్రింది స్క్రీన్‌షాట్ ప్రదర్శిస్తుంది:
LangChainలో LLMలను రూపొందించడానికి 'asyncio' లైబ్రరీని ఉపయోగించడం గురించి అంతే.
ముగింపు
LangChainలో asyncio లైబ్రరీని ఉపయోగించడానికి, ప్రక్రియతో ప్రారంభించడానికి LangChain మరియు OpenAI మాడ్యూల్‌లను ఇన్స్టాల్ చేయండి. మునుపటి సంభాషణల నుండి తెలుసుకోవడానికి చాట్‌బాట్‌లను రూపొందించడానికి LLM మోడల్‌ను రూపొందించేటప్పుడు Async API సహాయపడుతుంది. ఈ గైడ్ LangChain ఫ్రేమ్‌వర్క్‌ని ఉపయోగించి LLMలకు మద్దతు ఇవ్వడానికి asyncio లైబ్రరీని ఉపయోగించే విధానాన్ని వివరించింది.