భారీ డేటాను ఉపయోగించి మోడల్‌లకు శిక్షణ ఇవ్వడానికి మరియు పరీక్షించడానికి మెషిన్ లెర్నింగ్ అల్గారిథమ్‌లను ఉపయోగించి అత్యంత వేగంగా అభివృద్ధి చెందుతున్న సాంకేతికతలలో ఆర్టిఫిషియల్ ఇంటెలిజెన్స్ ఒకటి. డేటా వివిధ ఫార్మాట్లలో నిల్వ చేయబడుతుంది కానీ LangChainని ఉపయోగించి పెద్ద భాషా నమూనాలను తయారు చేయడానికి, ఎక్కువగా ఉపయోగించే రకం JSON. శిక్షణ మరియు పరీక్ష డేటా ఎటువంటి అస్పష్టత లేకుండా స్పష్టంగా మరియు పూర్తి కావాలి కాబట్టి మోడల్ సమర్థవంతంగా పని చేస్తుంది.
ఈ గైడ్ LangChainలో పైడాంటిక్ JSON పార్సర్‌ని ఉపయోగించే ప్రక్రియను ప్రదర్శిస్తుంది.
LangChainలో Pydantic (JSON) పార్సర్‌ని ఎలా ఉపయోగించాలి?
JSON డేటా వెబ్ స్క్రాపింగ్ మరియు లాగ్‌ల వంటి అనేక ఇతర మూలాధారాల ద్వారా సేకరించగలిగే డేటా యొక్క పాఠ్య ఆకృతిని కలిగి ఉంటుంది. డేటా యొక్క ఖచ్చితత్వాన్ని ధృవీకరించడానికి, ప్రక్రియను సులభతరం చేయడానికి LangChain పైథాన్ నుండి పైడాంటిక్ లైబ్రరీని ఉపయోగిస్తుంది. LangChainలో పైడాంటిక్ JSON పార్సర్‌ని ఉపయోగించడానికి, ఈ గైడ్ ద్వారా వెళ్ళండి:
దశ 1: మాడ్యూల్‌లను ఇన్స్టాల్ చేయండి
ప్రక్రియతో ప్రారంభించడానికి, LangChainలో పార్సర్‌ను ఉపయోగించడం కోసం దాని లైబ్రరీలను ఉపయోగించడానికి LangChain మాడ్యూల్‌ను ఇన్స్టాల్ చేయండి:
పిప్ ఇన్స్టాల్ లాంగ్చైన్
ఇప్పుడు, 'ని ఉపయోగించండి పిప్ ఇన్స్టాల్ ” OpenAI ఫ్రేమ్‌వర్క్‌ని పొందడానికి మరియు దాని వనరులను ఉపయోగించడానికి ఆదేశం:
పిప్ ఇన్స్టాల్ ఓపెనై
మాడ్యూల్‌లను ఇన్స్టాల్ చేసిన తర్వాత, ''ని ఉపయోగించి దాని API కీని అందించడం ద్వారా OpenAI పర్యావరణానికి కనెక్ట్ చేయండి మీరు 'మరియు' getpass 'లైబ్రరీలు:
మమ్మల్ని దిగుమతి చేసుకోండిగెట్పాస్ని దిగుమతి చేయండి
os.ఎన్విరాన్ [ 'OPENAI_API_KEY' ] = getpass.getpass ( 'OpenAI API కీ:' )
దశ 2: లైబ్రరీలను దిగుమతి చేయండి
ప్రాంప్ట్ కోసం టెంప్లేట్‌ను రూపొందించడానికి ఉపయోగించే అవసరమైన లైబ్రరీలను దిగుమతి చేయడానికి LangChain మాడ్యూల్‌ని ఉపయోగించండి. ప్రాంప్ట్ కోసం టెంప్లేట్ సహజ భాషలో ప్రశ్నలు అడిగే పద్ధతిని వివరిస్తుంది కాబట్టి మోడల్ ప్రాంప్ట్‌ను సమర్థవంతంగా అర్థం చేసుకోగలదు. అలాగే, చాట్‌బాట్‌ను రూపొందించడానికి LLMలను ఉపయోగించి గొలుసులను సృష్టించడానికి OpenAI మరియు ChatOpenAI వంటి లైబ్రరీలను దిగుమతి చేయండి:
langchain.prompts దిగుమతి నుండి (ప్రాంప్ట్ టెంప్లేట్,
ChatPrompt మూస,
హ్యూమన్ మెసేజ్ ప్రాంప్ట్ టెంప్లేట్,
)
langchain.llms నుండి OpenAIని దిగుమతి చేయండి
langchain.chat_models నుండి ChatOpenAIని దిగుమతి చేయండి
ఆ తర్వాత, LangChainలో JSON పార్సర్‌ని ఉపయోగించడానికి బేస్ మోడల్, ఫీల్డ్ మరియు వాలిడేటర్ వంటి పైడాంటిక్ లైబ్రరీలను దిగుమతి చేయండి:
langchain.output_parsers నుండి PydanticOutputParser దిగుమతిపైడాంటిక్ దిగుమతి బేస్ మోడల్, ఫీల్డ్, వాలిడేటర్ నుండి
దిగుమతి జాబితాను టైప్ చేయడం నుండి
దశ 3: మోడల్‌ను రూపొందించడం
పైడాంటిక్ JSON పార్సర్‌ని ఉపయోగించడం కోసం అన్ని లైబ్రరీలను పొందిన తర్వాత, OpenAI() పద్ధతితో ముందే రూపొందించిన పరీక్షించిన మోడల్‌ను పొందండి:
మోడల్_పేరు = 'text-davinci-003'ఉష్ణోగ్రత = 0.0
మోడల్ = OpenAI ( మోడల్_పేరు = మోడల్_పేరు, ఉష్ణోగ్రత = ఉష్ణోగ్రత )
దశ 4: యాక్టర్ బేస్ మోడల్‌ను కాన్ఫిగర్ చేయండి
నటుడి ఫిల్మోగ్రఫీని అడగడం ద్వారా వారి పేర్లు మరియు చలనచిత్రాలు వంటి నటులకు సంబంధించిన సమాధానాలను పొందడానికి మరొక నమూనాను రూపొందించండి:
క్లాస్ యాక్టర్ ( బేస్ మోడల్ ) :పేరు: str = ఫీల్డ్ ( వివరణ = 'ప్రధాన నటుడి పేరు' )
సినిమా_పేర్లు: జాబితా [ str ] = ఫీల్డ్ ( వివరణ = 'నటుడు ప్రధాన పాత్ర పోషించిన చిత్రాలు' )
నటుడు_ప్రశ్న = 'నేను ఏ నటుడి ఫిల్మోగ్రఫీని చూడాలనుకుంటున్నాను'
parser = PydanticOutputParser ( pydantic_object = నటుడు )
prompt = ప్రాంప్ట్ మూస (
టెంప్లేట్ = 'వినియోగదారు నుండి ప్రాంప్ట్‌కు ప్రత్యుత్తరం ఇవ్వండి. \n {format_instructions} \n {query} \n ' ,
ఇన్‌పుట్_వేరియబుల్స్ = [ 'ప్రశ్న' ] ,
పాక్షిక_వేరియబుల్స్ = { 'format_instructions' : parser.get_format_instructions ( ) } ,
)
దశ 5: బేస్ మోడల్‌ని పరీక్షిస్తోంది
ప్రాంప్ట్ కోసం రూపొందించబడిన ఫలితాలను కలిగి ఉన్న అవుట్పుట్ వేరియబుల్‌తో పార్స్() ఫంక్షన్‌ని ఉపయోగించి అవుట్‌పుట్‌ను పొందండి:
_input = prompt.format_prompt ( ప్రశ్న = నటుడు_ప్రశ్న )output = మోడల్ ( _input.to_string ( ) )
parser.parse ( అవుట్పుట్ )
పేరుగల నటుడు ' టామ్ హాంక్స్ ” మోడల్ నుండి పైడాంటిక్ ఫంక్షన్‌ని ఉపయోగించి అతని చిత్రాల జాబితాతో పొందబడింది:
లాంగ్‌చెయిన్‌లో పైడాంటిక్ JSON పార్సర్‌ని ఉపయోగించడం గురించి అంతే.
ముగింపు
LangChainలో పైడాంటిక్ JSON పార్సర్‌ని ఉపయోగించడానికి, వాటి వనరులు మరియు లైబ్రరీలకు కనెక్ట్ చేయడానికి LangChain మరియు OpenAI మాడ్యూల్‌లను ఇన్స్టాల్ చేయండి. ఆ తర్వాత, బేస్ మోడల్‌ను రూపొందించడానికి మరియు JSON రూపంలో డేటాను ధృవీకరించడానికి OpenAI మరియు pydantic వంటి లైబ్రరీలను దిగుమతి చేయండి. బేస్ మోడల్‌ను రూపొందించిన తర్వాత, పార్స్() ఫంక్షన్‌ను అమలు చేయండి మరియు ఇది ప్రాంప్ట్‌కు సమాధానాలను అందిస్తుంది. ఈ పోస్ట్ లాంగ్‌చెయిన్‌లో పైడాంటిక్ JSON పార్సర్‌ని ఉపయోగించే విధానాన్ని ప్రదర్శించింది.