ఈ బ్లాగ్‌లో, మేము దిగువ అందించిన కంటెంట్‌ను కవర్ చేస్తాము:
- ట్రాన్స్ఫార్మర్ల నుండి 'పైప్లైన్' ఫంక్షన్‌తో మోడల్‌ను లోడ్ చేయడం ద్వారా టెక్స్ట్ జనరేషన్‌ను ఎలా అనుకూలీకరించాలి?
- PyTorchలో టెక్స్ట్‌ని రూపొందించడానికి ట్రాన్స్‌ఫార్మర్ ఆధారిత మోడల్‌ని ఎలా ఉపయోగించాలి?
- TensorFlowలో టెక్స్ట్‌ని రూపొందించడానికి ట్రాన్స్‌ఫార్మర్ ఆధారిత మోడల్‌ని ఎలా ఉపయోగించాలి?
ట్రాన్స్ఫార్మర్ల నుండి 'పైప్లైన్' ఫంక్షన్‌తో మోడల్‌ను లోడ్ చేయడం ద్వారా టెక్స్ట్ జనరేషన్‌ను ఎలా అనుకూలీకరించాలి?
ది ' పైప్లైన్ ”ఫంక్షన్ వినియోగదారు అవసరాలకు అనుగుణంగా ముందుగా శిక్షణ పొందిన AI మోడల్‌ని స్వయంచాలకంగా డౌన్‌లోడ్ చేయడానికి ఉపయోగించబడుతుంది. ఈ నిర్దిష్ట ఫంక్షన్‌ను ఉపయోగించడానికి, వినియోగదారులు “ని ఇన్‌స్టాల్ చేయాలి ట్రాన్స్ఫార్మర్లు ” ప్యాకేజీలు. ఈ ప్యాకేజీ అత్యాధునికమైన ట్రాన్స్‌ఫార్మర్-ఆధారిత మోడళ్లకు యాక్సెస్‌ను అందిస్తుంది, ఇవి సెంటిమెంట్ విశ్లేషణను అలాగే అనేక ఇతర వాటిని చేయగలవు. సహజ భాషా ప్రాసెసింగ్ (NLP) పనులు.
పైన వివరించిన దృశ్యం యొక్క ఆచరణాత్మక ప్రదర్శనను తనిఖీ చేయడానికి, దిగువ-ఇచ్చిన దశలకు వెళ్లండి!
దశ 1: 'ట్రాన్స్‌ఫార్మర్స్' ప్యాకేజీలను ఇన్‌స్టాల్ చేయండి
ప్రారంభంలో, “! పిప్' ట్రాన్స్‌ఫార్మర్ ప్యాకేజీలను ఇన్‌స్టాల్ చేయమని ఆదేశం:
! పిప్ ట్రాన్స్‌ఫార్మర్‌లను ఇన్‌స్టాల్ చేయండి
మీరు గమనిస్తే, పేర్కొన్న ప్యాకేజీ విజయవంతంగా ఇన్‌స్టాల్ చేయబడింది:
దశ 2: ట్రాన్స్‌ఫార్మర్ ఆధారిత మోడల్‌ను దిగుమతి చేయండి
తర్వాత, అవసరమైన ట్రాన్స్‌ఫార్మర్ ఆధారిత మోడల్‌ను దిగుమతి చేయండి. అలా చేయడానికి, ముందుగా, 'ని దిగుమతి చేయండి పైప్లైన్ 'ఫంక్షన్' నుండి ట్రాన్స్ఫార్మర్లు ”. తరువాత, దిగుమతి చేసుకున్న ఫంక్షన్‌ని ఉపయోగించండి మరియు పాస్ చేయండి ' టెక్స్ట్-తరం అవసరమైన మోడల్ పేరుతో పాటు దానికి వాదనగా ' gpt2 ”. తరువాత, వాటిని 'కి పంపండి ఉత్పత్తి ”వేరియబుల్:
నుండి ట్రాన్స్ఫార్మర్లు దిగుమతి పైప్లైన్
ఉత్పత్తి = పైప్లైన్ ( 'టెక్స్ట్-జనరేషన్' , మోడల్ = 'gpt2' )
దశ 3: వచనాన్ని అనుకూలీకరించండి
ఇప్పుడు, కావలసిన వచనాన్ని ఆర్గ్యుమెంట్‌గా పంపండి ఉత్పత్తి ”. క్రింద చూపిన విధంగా:
ఉత్పత్తి ( 'ట్రాన్స్‌ఫార్మర్‌లలో టెక్స్ట్‌ని రూపొందించడానికి gpt2 మోడల్‌ని ఉపయోగించడం ద్వారా' )అందించిన అవుట్పుట్ ప్రకారం, డౌన్‌లోడ్ చేయబడిన ప్రీ-ట్రైన్డ్ “ gpt3 ” మోడల్ టెక్స్ట్ విజయవంతంగా రూపొందించబడింది:
మీరు ఇతర వాదనలను కూడా ఉపయోగించవచ్చు, ఉదాహరణకు:
ప్రాంప్ట్ = 'ట్రాన్స్‌ఫార్మర్‌లలో టెక్స్ట్‌ని రూపొందించడానికి gpt2 మోడల్‌ని ఉపయోగించడం ద్వారా'ముద్రణ ( జన్యువు ( ప్రాంప్ట్ , num_return_sequences = 5 , గరిష్ట_పొడవు = ఇరవై ) )
ఇక్కడ:
- ' ప్రాంప్ట్ ” అనేది ఇన్‌పుట్‌ని కలిగి ఉండే ఆర్గ్యుమెంట్‌గా ఉపయోగించబడుతుంది.
- ' సంఖ్య_రిటర్న్_సీక్వెన్స్ ” ఆర్గ్యుమెంట్ అందించిన టెక్స్ట్ యొక్క సీక్వెన్స్‌ల సంఖ్యను రూపొందించడానికి ఉపయోగించబడుతుంది.
- ' గరిష్ట_పొడవు ” ఆర్గ్యుమెంట్ ఉత్పత్తి చేయబడిన టెక్స్ట్ యొక్క పొడవును పేర్కొనడానికి ఉపయోగించబడుతుంది. మా విషయంలో, ఇది పరిమితం చేయబడింది ' 30 ”టోకెన్లు(పదాలు లేదా విరామచిహ్నాలు):
గమనిక: అనుకూలీకరించిన టెక్స్ట్ మోడల్ శిక్షణ డేటా ఆధారంగా పేర్కొన్న ప్రాంప్ట్ యొక్క కొనసాగింపుగా ఉంటుంది.
PyTorchలో టెక్స్ట్‌ని రూపొందించడానికి ట్రాన్స్‌ఫార్మర్ ఆధారిత మోడల్‌ని ఎలా ఉపయోగించాలి?
వినియోగదారులు వచనాన్ని కూడా అనుకూలీకరించవచ్చు “ పైటార్చ్ ' ఏది ' టార్చ్ ”ఆధారిత మెషిన్ లెర్నింగ్ ఫ్రేమ్‌వర్క్. ఇది NLP మరియు కంప్యూటర్ విజన్ వంటి విభిన్న అప్లికేషన్‌ల కోసం ఉపయోగించబడుతుంది. PyTorchలో వచనాన్ని అనుకూలీకరించడానికి ట్రాన్స్‌ఫార్మర్-ఆధారిత మోడల్‌ను ఉపయోగించడానికి, ముందుగా, “ని దిగుమతి చేయండి GPT2టోకనైజర్ 'మరియు' GPT2 మోడల్ '' నుండి విధులు ట్రాన్స్ఫార్మర్లు ”:
నుండి ట్రాన్స్ఫార్మర్లు దిగుమతి GPT2టోకనైజర్ , GPT2 మోడల్అప్పుడు, 'ని ఉపయోగించండి GPT2టోకనైజర్ 'మేము కోరుకున్న ప్రీ-ట్రైన్డ్ మోడల్ ప్రకారం టోకెనైజర్' gpt2 ”:
టోకెనైజర్ = GPT2టోకనైజర్. నుండి_ముందుగా శిక్షణ పొందిన ( 'gpt2' )తర్వాత, ముందుగా శిక్షణ పొందిన మోడల్ నుండి బరువులను ఇన్‌స్టాంటియేట్ చేయడం:
మోడల్ = GPT2 మోడల్. నుండి_ముందుగా శిక్షణ పొందిన ( 'gpt2' )తరువాత, '' ప్రకటించండి gen_text ” మనం అనుకూలీకరించదలిచిన వచనాన్ని కలిగి ఉన్న వేరియబుల్:
gen_text = 'ట్రాన్స్‌ఫార్మర్‌లలో టెక్స్ట్‌ని రూపొందించడానికి gpt2 మోడల్‌ని ఉపయోగించడం ద్వారా'ఇప్పుడు, 'ని పాస్ చేయండి gen_text 'మరియు' return_tensors=‘pt’ 'పైటోర్చ్‌లో టెక్స్ట్‌ని ఉత్పత్తి చేస్తుంది మరియు ఉత్పత్తి చేయబడిన విలువను నిల్వ చేస్తుంది' ఎన్కోడ్_ఇన్‌పుట్ ”వేరియబుల్:
ఎన్కోడ్_ఇన్‌పుట్ = టోకెనైజర్ ( gen_text , రిటర్న్_టెన్సర్‌లు = 'pt' )చివరగా, పాస్ చేయండి ' ఎన్కోడ్_ఇన్‌పుట్ ''కి అనుకూలీకరించిన వచనాన్ని కలిగి ఉన్న వేరియబుల్ మోడల్ 'పరామితిగా మరియు ఫలిత అవుట్‌పుట్‌ను 'ని ఉపయోగించి పొందండి గరిష్ట_పొడవు 'వాదం' అని సెట్ చేయబడింది ఇరవై 'ఇది అందించిన టోకెన్‌లకు మాత్రమే ఉత్పత్తి చేయబడిన వచనం పరిమితం చేయబడుతుందని సూచిస్తుంది, ' num_return_sequences 'అది సెట్ చేయబడింది' 5 ” ఉత్పత్తి చేయబడిన టెక్స్ట్ టెక్స్ట్ యొక్క 5 సీక్వెన్స్‌లపై ఆధారపడి ఉంటుందని చూపిస్తుంది:
అవుట్పుట్ = మోడల్ ( ** ఎన్కోడ్_ఇన్‌పుట్ )జనరేటర్ ( gen_text , గరిష్ట_పొడవు = ఇరవై , num_return_sequences = 5 )
అవుట్పుట్
TensorFlowలో టెక్స్ట్‌ని రూపొందించడానికి ట్రాన్స్‌ఫార్మర్ ఆధారిత మోడల్‌ని ఎలా ఉపయోగించాలి?
ట్రాన్స్‌ఫార్మర్‌లలో వచనాన్ని రూపొందించడానికి, ' టెన్సర్ ఫ్లో ”ఆధారిత మెషీన్ లెర్నింగ్ ఫ్రేమ్‌వర్క్‌లు కూడా ఉపయోగించబడతాయి. అలా చేయడానికి, ముందుగా, '' వంటి అవసరమైన ఫంక్షన్లను దిగుమతి చేయండి GPT2టోకనైజర్ 'మరియు' TFGPT2 మోడల్ ' నుండి ' ట్రాన్స్ఫార్మర్లు ”. మిగిలిన కోడ్ పైన పేర్కొన్న విధంగానే ఉంటుంది, మేము కేవలం ' TFGPT2 మోడల్ 'ఫంక్షన్' బదులుగా GPT2 మోడల్ ” ఫంక్షన్. క్రింది విధంగా:
నుండి ట్రాన్స్ఫార్మర్లు దిగుమతి GPT2టోకనైజర్ , TFGPT2 మోడల్టోకెనైజర్ = GPT2టోకనైజర్. నుండి_ముందుగా శిక్షణ పొందిన ( 'gpt2' )
మోడల్ = TFGPT2 మోడల్. నుండి_ముందుగా శిక్షణ పొందిన ( 'gpt2' )
వచనం = 'ట్రాన్స్‌ఫార్మర్‌లలో టెక్స్ట్‌ని రూపొందించడానికి gpt2 మోడల్‌ని ఉపయోగించడం ద్వారా'
ఎన్కోడ్_ఇన్‌పుట్ = టోకెనైజర్ ( వచనం , రిటర్న్_టెన్సర్‌లు = 'tf' )
అవుట్పుట్ = మోడల్ ( ఎన్కోడ్_ఇన్‌పుట్ )
జనరేటర్ ( gen_text , గరిష్ట_పొడవు = ఇరవై , num_return_sequences = 5 )
మీరు చూడగలిగినట్లుగా, అనుకూలీకరించిన వచనం విజయవంతంగా రూపొందించబడింది:
అంతే! మేము ట్రాన్స్‌ఫార్మర్‌లలో వచన ఉత్పత్తిని అనుకూలీకరించడం గురించి వివరించాము.
ముగింపు
ట్రాన్స్‌ఫార్మర్‌లలో టెక్స్ట్ జనరేషన్‌ని అనుకూలీకరించడానికి, పైప్లైన్ ఫంక్షన్‌తో మోడల్‌ను లోడ్ చేయడం, ట్రాన్స్‌ఫార్మర్ ఆధారిత మోడల్‌ని ఉపయోగించడం వంటి విభిన్న మార్గాలు ఉన్నాయి “ పైటార్చ్ 'మరియు' టెన్సర్ ఫ్లో ” ఇవి మెషీన్ లెర్నింగ్ ఫ్రేమ్‌వర్క్‌లపై ఆధారపడి ఉంటాయి. ఈ గైడ్‌లో, మేము ట్రాన్స్‌ఫార్మర్‌లలో టెక్స్ట్ జనరేషన్‌ని అనుకూలీకరించే ఆచరణాత్మక ప్రదర్శనతో పాటు సంక్షిప్త సమాచారాన్ని అందించాము.