PyTorchలో ప్రీ-ట్రైన్డ్ మోడల్‌ను ఎలా దిగుమతి చేసుకోవాలి?

Pytorchlo Pri Traind Modal Nu Ela Digumati Cesukovali



PyTorchలో మెషిన్ లెర్నింగ్ మోడల్‌లు చాలా క్లిష్టంగా ఉంటాయి మరియు మిలియన్ల కొద్దీ వరుసలు మరియు టెరాబైట్‌ల డేటాతో వివరంగా ఉంటాయి. శిక్షణలో ఉపయోగించిన డేటాసెట్ ఎంత ఎక్కువ మరియు వైవిధ్యంగా ఉంటే మోడల్ యొక్క అనుమితులు అంత మెరుగ్గా ఉంటాయి. కొత్త డేటా నుండి అనుమితులను గీయడానికి గతంలో శిక్షణ పొందిన మోడళ్లను ఉపయోగించడం చాలా ముఖ్యమైనది ఎందుకంటే ఇది వనరులను ఆదా చేస్తుంది మరియు అదే సూక్ష్మంగా రూపొందించిన నమూనాలను ఉపయోగించవచ్చు.

ఈ బ్లాగ్‌లో, మేము PyTorchలో ముందుగా శిక్షణ పొందిన మోడల్‌ను ఎలా దిగుమతి చేసుకోవాలో అనే రెండు పద్ధతులను పరిశీలిస్తాము.

టార్చ్‌విజన్‌ని ఉపయోగించి పైటార్చ్‌లో ప్రీ-ట్రైన్డ్ మోడల్‌ను ఎలా దిగుమతి చేసుకోవాలి?

ది ' టార్చ్విజన్ ”పైటోర్చ్‌లో ప్రీ-ట్రైన్డ్ మోడల్‌లను దిగుమతి చేసుకోవడానికి లైబ్రరీని ఉపయోగించవచ్చు. ఇది ప్రాథమిక ఉపవిభాగం ' మంట ” లైబ్రరీ మరియు గతంలో కంపైల్ చేసిన డేటాసెట్‌లు మరియు శిక్షణ పొందిన మోడల్‌ల కార్యాచరణను కలిగి ఉంటుంది. ఈ లైబ్రరీ పెద్ద డేటాసెట్‌లో శిక్షణ పొందిన మోడల్‌లను కాల్ చేయగల సామర్థ్యాన్ని వినియోగదారులకు అందిస్తుంది. ఈ ముందస్తు శిక్షణ పొందిన నమూనాలు కొత్త డేటాకు వర్తించబడతాయి మరియు సుదీర్ఘమైన మరియు నిర్వహించలేని శిక్షణా లూప్‌ల అవసరం లేకుండా చెల్లుబాటు అయ్యే అనుమితులను అందించగలవు.







Torchvisionని ఉపయోగించి PyTorchలో ప్రీ-ట్రైన్డ్ మోడల్‌ని ఎలా దిగుమతి చేసుకోవాలో తెలుసుకోవడానికి క్రింద ఇవ్వబడిన దశలను అనుసరించండి:



దశ 1: Google Colab తెరవండి
కోలాబరేటరీకి వెళ్లండి వెబ్సైట్ Google ద్వారా సృష్టించబడింది మరియు 'ని ప్రారంభించండి కొత్త నోట్‌బుక్ 'ప్రాజెక్ట్ ప్రారంభించడానికి:







దశ 2: అవసరమైన లైబ్రరీలను దిగుమతి చేయండి
Colab IDE సెటప్ చేయబడిన తర్వాత, ప్రాజెక్ట్‌లో అవసరమైన లైబ్రరీలను ఇన్‌స్టాల్ చేసి దిగుమతి చేసుకోవడం మొదటి దశ:

! పిప్ ఇన్‌స్టాల్ టార్చ్

దిగుమతి మంట
దిగుమతి టార్చ్విజన్
దిగుమతి టార్చ్విజన్. నమూనాలు

పై కోడ్ క్రింది విధంగా పనిచేస్తుంది:



  • ది ' పిప్ పైథాన్ కోసం ప్యాకేజీ ఇన్‌స్టాలర్‌ని ఇన్‌స్టాల్ చేయడానికి ఉపయోగించబడుతుంది మంట ' గ్రంధాలయం.
  • తరువాత, ' దిగుమతి ” ఆదేశం Colab ప్రాజెక్ట్‌లోకి లైబ్రరీని దిగుమతి చేయడానికి ఉపయోగించబడుతుంది.
  • అప్పుడు, ' టార్చ్విజన్ ” లైబ్రరీ ప్రాజెక్ట్‌లోకి దిగుమతి చేయబడింది. ఇది డేటాసెట్‌లు మరియు మోడల్‌ల కోసం కార్యాచరణను కలిగి ఉంటుంది.
  • ది ' టార్చ్విజన్.మోడల్ 'మాడ్యూల్ అవశేష న్యూరల్ నెట్‌వర్క్ వంటి ముందస్తు శిక్షణ పొందిన నమూనాల కలగలుపును కలిగి ఉంది' ResNet ”:

దశ 3: ప్రీ-ట్రైన్డ్ మోడల్‌ను దిగుమతి చేయండి
దిగువ కోడ్ లైన్‌ని ఉపయోగించి “torchvision.models” ప్యాకేజీలో సేవ్ చేయబడిన ప్రీ-ట్రైన్డ్ మోడల్‌ను దిగుమతి చేయండి:

ప్రీ_ట్రైన్డ్_మోడల్ = టార్చ్విజన్. నమూనాలు . తీవ్రమైన50 ( ముందుగా శిక్షణ పొందిన = నిజమే )

పైన ఉన్న కోడ్ లైన్ క్రింది విధంగా పనిచేస్తుంది:

  • వేరియబుల్‌ను నిర్వచించండి మరియు సూచన కోసం తగిన పేరును ఇవ్వండి “Pre_Trained_Model” .
  • ఉపయోగించడానికి 'torchvision.models' జోడించడానికి మాడ్యూల్ ' ResNet ” మోడల్.
  • జోడించు ' తీవ్రమైన50 'మోడల్ మరియు సెట్' pretrained=నిజం ” దాని వాదనగా:

“ప్రింట్()” పద్ధతిని ఉపయోగించి ముందుగా శిక్షణ పొందిన మోడల్‌ను అవుట్‌పుట్‌గా తర్వాత వీక్షించండి:

ముద్రణ ( ప్రీ_ట్రైన్డ్_మోడల్ )

గమనిక : మీరు ఇక్కడ టార్చ్‌విజన్‌ని ఉపయోగించి ప్రీ-ట్రైన్డ్ పైటార్చ్ మోడల్ దిగుమతిని వివరించే మా కోలాబ్ నోట్‌బుక్‌ని యాక్సెస్ చేయవచ్చు లింక్ .

హగ్గింగ్ ఫేస్ డేటాబేస్ నుండి ప్రీ-ట్రైన్డ్ పైటార్చ్ మోడల్‌ను ఎలా దిగుమతి చేసుకోవాలి?

ముందుగా శిక్షణ పొందిన మోడల్‌ను దిగుమతి చేసుకోవడానికి మరొక పద్ధతి హగ్గింగ్ ఫేస్ ప్లాట్‌ఫారమ్ నుండి పొందడం. హగ్గింగ్ ఫేస్ అనేది ప్రీ-ట్రైన్డ్ మోడల్స్ మరియు డేటా సైంటిస్టులు మరియు ప్రోగ్రామర్‌ల కోసం అందుబాటులో ఉన్న పెద్ద డేటాసెట్‌ల కోసం అత్యంత ప్రజాదరణ పొందిన ఆన్‌లైన్ డేటాబేస్‌లలో ఒకటి.

హగ్గింగ్ ఫేస్ డేటాసెట్ నుండి ముందుగా శిక్షణ పొందిన PyTorch మోడల్‌ని దిగుమతి చేసుకోవడానికి దిగువ దశలను అనుసరించండి:

దశ 1: Colab నోట్‌బుక్‌ను ప్రారంభించండి మరియు అవసరమైన లైబ్రరీలను ఇన్‌స్టాల్ చేసి దిగుమతి చేయండి
మొదటి దశ Colab IDEలో నోట్‌బుక్‌ను ప్రారంభించడం మరియు లైబ్రరీలను ఇన్‌స్టాల్ చేయడం ' పిప్ 'ప్యాకేజీ ఇన్‌స్టాలర్ మరియు వాటిని ఉపయోగించి దిగుమతి చేయండి' దిగుమతి ” ఆదేశం:

! పిప్ ఇన్‌స్టాల్ టార్చ్
! పిప్ ట్రాన్స్‌ఫార్మర్‌లను ఇన్‌స్టాల్ చేయండి

దిగుమతి మంట
దిగుమతి ట్రాన్స్ఫార్మర్లు
ట్రాన్స్ఫార్మర్ల నుండి దిగుమతి ఆటోమోడల్

ఈ ప్రాజెక్ట్‌లో కింది లైబ్రరీలు అవసరం

  • ది ' మంట ”లైబ్రరీ అనేది అవసరమైన పైటార్చ్ లైబ్రరీ.
  • ది ' ట్రాన్స్ఫార్మర్లు ” లైబ్రరీ హగ్గింగ్ ఫేస్, దాని నమూనాలు మరియు దాని డేటాసెట్‌ల కార్యాచరణను కలిగి ఉంది:

దశ 2: హగ్గింగ్ ఫేస్ నుండి మోడల్‌ను దిగుమతి చేయండి
ఈ ఉదాహరణలో, ' నుండి దిగుమతి చేయవలసిన మోడల్ హగ్గింగ్ ఫేస్ ” ఇందులో డేటాబేస్ అందుబాటులో ఉంది లింక్ . ఉపయోగించడానికి ' AutoModel.from_pretrained() క్రింద చూపిన విధంగా హగ్గింగ్ ఫేస్ నుండి ప్రీ-ట్రైన్డ్ మోడల్‌ను దిగుమతి చేసుకునే పద్ధతి:

ప్రీ_ట్రైన్డ్_మోడల్_పేరు = 'హెల్సింకి-NLP/opus-mt-en-zh'
ముందుగా_శిక్షణ పొందిన_మోడల్ = ఆటోమోడల్. నుండి_ముందుగా శిక్షణ పొందిన ( ప్రీ_ట్రైన్డ్_మోడల్_పేరు )

ముద్రణ ( ముందుగా_శిక్షణ పొందిన_మోడల్ )

పై కోడ్ క్రింది విధంగా పనిచేస్తుంది:

  • హగ్గింగ్ ఫేస్ ప్లాట్‌ఫారమ్‌లోని దాని వెబ్‌సైట్ నుండి మోడల్ పేరును కాపీ చేసి, దానికి కేటాయించండి ప్రీ_ట్రైన్డ్_మోడల్_పేరు ” Colab లో వేరియబుల్.
  • అప్పుడు, 'ని ఉపయోగించండి AutoModel.from_pretrained() ” పద్ధతి మరియు మోడల్ పేరు వేరియబుల్‌ను దాని వాదనగా ఇన్‌పుట్ చేయండి.
  • చివరగా, ఉపయోగించండి 'ముద్రణ() ”అవుట్‌పుట్‌లో దిగుమతి చేసుకున్న మోడల్‌ను ప్రదర్శించడానికి పద్ధతి.

హగ్గింగ్ ఫేస్ నుండి దిగుమతి చేసుకున్న ప్రీ-ట్రైన్డ్ మోడల్ దిగువ అవుట్‌పుట్‌ను చూపుతుంది:

గమనిక : హగ్గింగ్ ఫేస్ నుండి ప్రీ-ట్రైన్డ్ మోడల్‌ను ఎలా దిగుమతి చేసుకోవాలో వివరించే మా Colab నోట్‌బుక్‌ని మీరు యాక్సెస్ చేయవచ్చు. లింక్ .

అనుకూల చిట్కా

హగ్గింగ్ ఫేస్ అనేది పెద్ద డేటాసెట్‌లు మరియు కాంప్లెక్స్ మోడల్‌ల యొక్క విలువైన సేకరణ, ఇది డీప్ లెర్నింగ్ ప్రాజెక్ట్‌లలో అందరికీ ఉపయోగించడానికి ఉచితం. ఇతరులు ఉపయోగించడానికి మీరు మీ స్వంత డేటాసెట్‌లను కూడా అప్‌లోడ్ చేయవచ్చు మరియు ప్రపంచవ్యాప్తంగా ఉన్న డేటా శాస్త్రవేత్తలు మరియు డెవలపర్‌ల మధ్య సహకారం కోసం ప్లాట్‌ఫారమ్ ట్యూన్ చేయబడింది.

విజయం! టార్చ్‌విజన్ లైబ్రరీని ఉపయోగించడం ద్వారా లేదా ట్రాన్స్‌ఫార్మర్స్ లైబ్రరీని ఉపయోగించి హగ్గింగ్ ఫేస్ డేటాబేస్ నుండి ప్రీ-ట్రైన్డ్ పైటార్చ్ మోడల్‌ని ఎలా దిగుమతి చేసుకోవాలో మేము చూపించాము.

ముగింపు

PyTorchలో ప్రీ-ట్రైన్డ్ మోడల్‌ను దిగుమతి చేసుకోవడానికి, వినియోగదారులు టార్చ్‌విజన్ లైబ్రరీని లేదా Google Colabలోని ట్రాన్స్‌ఫార్మర్స్ లైబ్రరీని ఉపయోగించి హగ్గింగ్ ఫేస్ ఆన్‌లైన్ డేటాబేస్ నుండి ఉపయోగించవచ్చు. ఈ ముందస్తు శిక్షణ పొందిన నమూనాలు శిక్షణలో విలువైన సమయం మరియు హార్డ్‌వేర్ వనరులను వెచ్చించకుండా ఉండటానికి మరియు విశ్వసనీయ అనుమితుల కోసం నేరుగా కొత్త డేటాను పరీక్షించడానికి ఉపయోగించబడతాయి. ఈ బ్లాగ్‌లో, మేము PyTorchలో ప్రీ-ట్రైన్డ్ మోడల్‌లను దిగుమతి చేసుకోవడానికి రెండు పద్ధతులను చూపించాము.