వ్యక్తిగత డేటా ఎంట్రీలు '' రూపంలో నిల్వ చేయబడతాయి టెన్సర్లు 'పైటార్చ్‌లో మరియు' ప్రవణతలు లోతైన అభ్యాస నమూనా యొక్క శిక్షణ లూప్‌లో వెనుకబడిన ప్రచారాన్ని ఉపయోగించి 'టెన్సర్లు లెక్కించబడతాయి. పదం ' కొలవని ” అంటే డేటా పచ్చిగా ఉందని మరియు ప్రీప్రాసెసింగ్ లేదా ఆప్టిమైజేషన్ ప్రమేయం లేదని అర్థం. టెన్సర్ యొక్క స్కేల్ చేయని గ్రేడియంట్ పేర్కొన్న లాస్ ఫంక్షన్ గురించి మార్పు యొక్క నిజమైన విలువను అందిస్తుంది.
ఈ బ్లాగ్‌లో, PyTorchలో టెన్సర్ యొక్క స్కేల్ చేయని గ్రేడియంట్‌ను ఎలా లెక్కించాలో మేము చర్చిస్తాము.
PyTorchలో టెన్సర్ యొక్క స్కేల్ చేయని గ్రేడియంట్ అంటే ఏమిటి?
టెన్సర్లు అనేవి బహుళ డైమెన్షనల్ శ్రేణులు, ఇవి డేటాను కలిగి ఉంటాయి మరియు PyTorchలోని GPUలలో అమలు చేయగలవు. ఎలాంటి ప్రిప్రాసెసింగ్, ట్రాన్స్‌ఫార్మేషన్‌లు లేదా ఆప్టిమైజేషన్‌లు లేకుండా డేటాసెట్ నుండి ముడి డేటాను కలిగి ఉన్న టెన్సర్‌లను అన్‌స్కేల్డ్ టెన్సర్లు అంటారు. అయితే, ఒక ' స్కేల్ చేయని గ్రేడియంట్ ” అనేది స్కేల్ చేయని టెన్సర్‌కి భిన్నంగా ఉంటుంది మరియు రెండింటినీ తికమక పెట్టకుండా జాగ్రత్త తీసుకోవాలి. ఎంచుకున్న లాస్ ఫంక్షన్‌కు సంబంధించి టెన్సర్ యొక్క స్కేల్ చేయని గ్రేడియంట్ లెక్కించబడుతుంది మరియు దీనికి తదుపరి ఆప్టిమైజేషన్‌లు లేదా స్కేలింగ్ లేవు.
PyTorchలో టెన్సర్ యొక్క అన్‌స్కేల్ చేయని గ్రేడియంట్‌ను ఎలా లెక్కించాలి?
టెన్సర్ యొక్క స్కేల్ చేయని గ్రేడియంట్ అనేది ఎంచుకున్న లాస్ ఫంక్షన్‌కు సంబంధించిన ఇన్‌పుట్ డేటా మార్పు రేటు యొక్క వాస్తవ విలువ. శిక్షణ లూప్ సమయంలో మోడల్ యొక్క ప్రవర్తన మరియు దాని పురోగతిని అర్థం చేసుకోవడానికి ముడి గ్రేడియంట్ డేటా ముఖ్యం.
PyTorchలో ఒక టెన్సర్ యొక్క స్కేల్ చేయని గ్రేడియంట్‌ను ఎలా లెక్కించాలో తెలుసుకోవడానికి దిగువ ఇవ్వబడిన దశలను అనుసరించండి:
దశ 1: IDEని సెటప్ చేయడం ద్వారా ప్రాజెక్ట్‌ను ప్రారంభించండి
PyTorch ప్రాజెక్ట్‌ల అభివృద్ధికి Google Colaboratory IDE ఉత్తమ ఎంపికలలో ఒకటి, ఎందుకంటే ఇది వేగవంతమైన ప్రాసెసింగ్ కోసం GPUలకు ఉచిత ప్రాప్యతను అందిస్తుంది. కోలాబ్‌కి వెళ్లండి వెబ్సైట్ మరియు 'పై క్లిక్ చేయండి కొత్త నోట్‌బుక్ ”పని ప్రారంభించడానికి ఎంపిక:
దశ 2: ఎసెన్షియల్ టార్చ్ లైబ్రరీని దిగుమతి చేయండి
PyTorch ఫ్రేమ్‌వర్క్ యొక్క అన్ని కార్యాచరణలు ఇందులో ఉన్నాయి టార్చ్ ' గ్రంధాలయం. ప్రతి PyTorch ప్రాజెక్ట్ ఈ లైబ్రరీని ఇన్‌స్టాల్ చేయడం మరియు దిగుమతి చేయడం ద్వారా ప్రారంభమవుతుంది:
!పిప్ ఇన్‌స్టాల్ టార్చ్టార్చ్ దిగుమతి
పై కోడ్ క్రింది విధంగా పనిచేస్తుంది:
- '! పిప్ ” అనేది ప్రాజెక్ట్‌లలో లైబ్రరీలను ఇన్‌స్టాల్ చేయడానికి ఉపయోగించే పైథాన్ కోసం ఇన్‌స్టాలేషన్ ప్యాకేజీ.
- ది ' దిగుమతి ” కమాండ్ ఇన్‌స్టాల్ చేయబడిన లైబ్రరీలను ప్రాజెక్ట్‌లోకి కాల్ చేయడానికి ఉపయోగించబడుతుంది.
- ఈ ప్రాజెక్ట్ యొక్క కార్యాచరణ మాత్రమే అవసరం మంట ' గ్రంధాలయం:
దశ 3: గ్రేడియంట్‌తో పైటార్చ్ టెన్సర్‌ను నిర్వచించండి
ఉపయోగించడానికి ' టార్చ్.టెన్సర్ ()” గ్రేడియంట్‌తో టెన్సర్‌ని నిర్వచించే పద్ధతి “ requires_grad=నిజం 'పద్ధతి:
A = torch.tensor([5.0], requires_grad=True)దశ 4: ఒక సాధారణ నష్టం ఫంక్షన్ నిర్వచించండి
చూపిన విధంగా సాధారణ అంకగణిత సమీకరణాన్ని ఉపయోగించి నష్టం ఫంక్షన్ నిర్వచించబడుతుంది:
నష్టం_ఫంక్షన్ = A*5 
దశ 5: గ్రేడియంట్‌ను లెక్కించండి మరియు అవుట్‌పుట్‌కు ప్రింట్ చేయండి
ఉపయోగించడానికి ' వెనుకబడిన ()” చూపిన విధంగా స్కేల్ చేయని ప్రవణతను లెక్కించే పద్ధతి:
loss_function.backward()unscaled_grad = A.grad
ప్రింట్ ('పైటార్చ్ టెన్సర్ యొక్క స్కేల్ చేయని గ్రేడియంట్: ', అన్‌స్కేల్డ్_గ్రాడ్)
పై కోడ్ క్రింది విధంగా పనిచేస్తుంది:
- ఉపయోగించడానికి ' వెనుకబడిన ()” బ్యాక్‌వర్డ్ ప్రచారం ద్వారా స్కేల్ చేయని ప్రవణతను లెక్కించడానికి పద్ధతి.
- కేటాయించండి ' A.grad ' కు ' unscaled_grad ” వేరియబుల్.
- చివరగా, 'ని ఉపయోగించండి ముద్రణ ()” అన్‌స్కేల్ చేయని ప్రవణత యొక్క అవుట్‌పుట్‌ను ప్రదర్శించడానికి పద్ధతి:
గమనిక : మీరు ఇక్కడ మా Colab నోట్‌బుక్‌ని యాక్సెస్ చేయవచ్చు లింక్ .
అనుకూల చిట్కా
టెన్సర్‌ల యొక్క స్కేల్ చేయని గ్రేడియంట్ PyTorch ఫ్రేమ్‌వర్క్‌లోని న్యూరల్ నెట్‌వర్క్ కోసం లాస్ ఫంక్షన్‌తో ఇన్‌పుట్ డేటా యొక్క ఖచ్చితమైన సంబంధాన్ని చూపుతుంది. ముడి సవరించని గ్రేడియంట్ రెండు విలువలు క్రమపద్ధతిలో ఎలా సంబంధం కలిగి ఉన్నాయో చూపిస్తుంది.
విజయం! PyTorchలో టెన్సర్ యొక్క స్కేల్ చేయని గ్రేడియంట్‌ను ఎలా లెక్కించాలో మేము ఇప్పుడే చూపించాము.
ముగింపు
ముందుగా టెన్సర్‌ను నిర్వచించడం ద్వారా పైటోర్చ్‌లోని టెన్సర్ యొక్క స్కేల్ చేయని ప్రవణతను లెక్కించండి, ఆపై గ్రేడియంట్‌ను కనుగొనడానికి బ్యాక్‌వర్డ్() పద్ధతిని ఉపయోగించండి. డీప్ లెర్నింగ్ మోడల్ ఇన్‌పుట్ డేటాను నిర్వచించిన లాస్ ఫంక్షన్‌తో ఎలా సంబంధం కలిగి ఉందో ఇది చూపిస్తుంది. ఈ బ్లాగ్‌లో, మేము PyTorchలో టెన్సర్ యొక్క స్కేల్ చేయని గ్రేడియంట్‌ను ఎలా లెక్కించాలో దశల వారీగా ట్యుటోరియల్ ఇచ్చాము.