విషయాల అంశం:
- PySpark DataFrame to JSON To_json()ని ToPandas()తో ఉపయోగించడం
- ToJSON()ని ఉపయోగించి JSONకి పైస్పార్క్ డేటాఫ్రేమ్
- PySpark DataFrame నుండి JSONకి Write.json()ని ఉపయోగించి
అన్ని ఉదాహరణలలో ఒక సాధారణ PySpark DataFrameని పరిశీలిద్దాం మరియు పేర్కొన్న ఫంక్షన్‌లను ఉపయోగించి దానిని JSONగా మారుద్దాం.
అవసరమైన మాడ్యూల్:
PySpark లైబ్రరీని ఇంకా ఇన్‌స్టాల్ చేయకపోతే మీ వాతావరణంలో ఇన్‌స్టాల్ చేయండి. దీన్ని ఇన్‌స్టాల్ చేయడానికి మీరు కింది ఆదేశాన్ని చూడవచ్చు:
పిప్ ఇన్‌స్టాల్ పిస్పార్క్
PySpark DataFrame to JSON To_json()ని ToPandas()తో ఉపయోగించడం
పాండాస్ డేటాఫ్రేమ్‌ను JSONగా మార్చే పాండాస్ మాడ్యూల్‌లో to_json() పద్ధతి అందుబాటులో ఉంది. మన PySpark DataFrameని Pandas DataFrameకి మార్చినట్లయితే మనం ఈ పద్ధతిని ఉపయోగించుకోవచ్చు. PySpark DataFrameని Pandas DataFrameగా మార్చడానికి, toPandas() పద్ధతి ఉపయోగించబడుతుంది. to_json() యొక్క సింటాక్స్ దాని పారామితులతో పాటు చూద్దాం.
సింటాక్స్:
dataframe_object.toPandas().to_json(orient,index,...)
- మార్చబడిన JSONని కావలసిన ఫార్మాట్‌గా ప్రదర్శించడానికి ఓరియంట్ ఉపయోగించబడుతుంది. ఇది 'రికార్డులు', 'టేబుల్', 'విలువలు', 'నిలువు వరుసలు', 'సూచిక', 'విభజన' పడుతుంది.
- మార్చబడిన JSON స్ట్రింగ్ నుండి ఇండెక్స్‌ను చేర్చడానికి/తీసివేయడానికి సూచిక ఉపయోగించబడుతుంది. ఇది 'నిజం'కి సెట్ చేయబడితే, సూచికలు ప్రదర్శించబడతాయి. లేకపోతే, ఓరియంట్ 'స్ప్లిట్' లేదా 'టేబుల్' అయితే సూచికలు ప్రదర్శించబడవు.
ఉదాహరణ 1: 'రికార్డ్స్'గా ఓరియంట్
3 అడ్డు వరుసలు మరియు 4 నిలువు వరుసలతో “skills_df” PySpark DataFrameని సృష్టించండి. ఓరియంట్ పారామీటర్‌ను “రికార్డ్‌లు”గా పేర్కొనడం ద్వారా ఈ డేటాఫ్రేమ్‌ను JSONకి మార్చండి.
పైస్పార్క్ దిగుమతిపాండాలను దిగుమతి చేసుకోండి
pyspark.sql దిగుమతి SparkSession నుండి
linuxhint_spark_app = SparkSession.builder.appName( 'Linux సూచన' ).getOrCreate()
3 అడ్డు వరుసలు మరియు 4 నిలువు వరుసలతో # నైపుణ్యాల డేటా
నైపుణ్యాలు =[{ 'id' : 123 , 'వ్యక్తి' : 'తేనె' , 'నైపుణ్యం' : 'పెయింటింగ్' , 'బహుమతి' : 25000 },
{ 'id' : 112 , 'వ్యక్తి' : 'మౌని' , 'నైపుణ్యం' : 'నృత్యం' , 'బహుమతి' : 2000 },
{ 'id' : 153 , 'వ్యక్తి' : 'తులసి' , 'నైపుణ్యం' : 'పఠనం' , 'బహుమతి' : 1200 }
]
# పై డేటా నుండి నైపుణ్యాల డేటాఫ్రేమ్‌ను సృష్టించండి
skills_df = linuxhint_spark_app.createDataFrame(నైపుణ్యాలు)
# వాస్తవ నైపుణ్యాల డేటా
skills_df.show()
# ఓరియంట్‌తో to_json()ని 'రికార్డ్స్'గా ఉపయోగించి JSONకి మార్చండి
json_skills_data = skills_df.toPandas().to_json(orient= 'రికార్డులు' )
ప్రింట్(json_skills_data)
అవుట్‌పుట్:
+---+------+------+----------+
| id|వ్యక్తి|బహుమతి| నైపుణ్యం|
+---+------+------+----------+
| 123 | తేనె| 25000 |పెయింటింగ్|
| 112 | మౌని| 2000 | నృత్యం|
| 153 |తులసి| 1200 | చదవడం|
+---+------+------+----------+
[{ 'id' : 123 , 'వ్యక్తి' : 'తేనె' , 'బహుమతి' : 25000 , 'నైపుణ్యం' : 'పెయింటింగ్' },{ 'id' : 112 , 'వ్యక్తి' : 'మౌని' , 'బహుమతి' : 2000 , 'నైపుణ్యం' : 'నృత్యం' },{ 'id' : 153 , 'వ్యక్తి' : 'తులసి' , 'బహుమతి' : 1200 , 'నైపుణ్యం' : 'పఠనం' }]
PySpark DataFrame విలువల నిఘంటువుతో JSON శ్రేణికి మార్చబడిందని మనం చూడవచ్చు. ఇక్కడ, కీలు కాలమ్ పేరును సూచిస్తాయి మరియు విలువ PySpark DataFrameలో అడ్డు వరుస/సెల్ విలువను సూచిస్తుంది.
ఉదాహరణ 2: ఓరియంట్‌గా “స్ప్లిట్”
'స్ప్లిట్' ఓరియంట్ ద్వారా అందించబడిన JSON ఫార్మాట్‌లో నిలువు వరుసల జాబితా, సూచిక జాబితా మరియు డేటా జాబితా ఉన్న నిలువు వరుస పేర్లు ఉంటాయి. కిందిది 'స్ప్లిట్' ఓరియంట్ యొక్క ఆకృతి.
json_skills_data = skills_df.toPandas().to_json(orient= 'విభజన' )
ప్రింట్(json_skills_data)
అవుట్‌పుట్:
{ 'నిలువు వరుసలు' :[ 'id' , 'వ్యక్తి' , 'బహుమతి' , 'నైపుణ్యం' ], 'సూచిక' :[ 0 , 1 , 2 ], 'సమాచారం' :[[ 123 , 'తేనె' , 25000 , 'పెయింటింగ్' ],[ 112 , 'మౌని' , 2000 , 'నృత్యం' ],[ 153 , 'తులసి' , 1200 , 'పఠనం' ]]}ఉదాహరణ 3: ఓరియంట్‌గా “ఇండెక్స్”
ఇక్కడ, PySpark DataFrame నుండి ప్రతి అడ్డు వరుస కాలమ్ పేరుగా కీతో నిఘంటువు రూపంలో రిటైర్ చేయబడింది. ప్రతి నిఘంటువు కోసం, సూచిక స్థానం కీగా పేర్కొనబడింది.
json_skills_data = skills_df.toPandas().to_json(orient= 'సూచిక' )
ప్రింట్(json_skills_data)
అవుట్‌పుట్:
{ '0' :{ 'id' : 123 , 'వ్యక్తి' : 'తేనె' , 'బహుమతి' : 25000 , 'నైపుణ్యం' : 'పెయింటింగ్' }, '1' :{ 'id' : 112 , 'వ్యక్తి' : 'మౌని' , 'బహుమతి' : 2000 , 'నైపుణ్యం' : 'నృత్యం' }, '2' :{ 'id' : 153 , 'వ్యక్తి' : 'తులసి' , 'బహుమతి' : 1200 , 'నైపుణ్యం' : 'పఠనం' }}ఉదాహరణ 4: 'నిలువు వరుసలు'గా ఓరియంట్
ప్రతి రికార్డుకు నిలువు వరుసలు కీలకం. ప్రతి నిలువు వరుస సూచిక సంఖ్యలతో నిలువు విలువలను తీసుకునే నిఘంటువుని కలిగి ఉంటుంది.
json_skills_data = skills_df.toPandas().to_json(orient= 'నిలువు వరుసలు' )
ప్రింట్(json_skills_data)
అవుట్‌పుట్:
{ 'id' :{ '0' : 123 , '1' : 112 , '2' : 153 }, 'వ్యక్తి' :{ '0' : 'తేనె' , '1' : 'మౌని' , '2' : 'తులసి' }, 'బహుమతి' :{ '0' : 25000 , '1' : 2000 , '2' : 1200 }, 'నైపుణ్యం' :{ '0' : 'పెయింటింగ్' , '1' : 'నృత్యం' , '2' : 'పఠనం' }}ఉదాహరణ 5: 'విలువలు'గా ఓరియంట్
మీకు JSONలో విలువలు మాత్రమే అవసరమైతే, మీరు “విలువలు” ఓరియంట్‌కి వెళ్లవచ్చు. ఇది ప్రతి వరుసను జాబితాలో ప్రదర్శిస్తుంది. చివరగా, అన్ని జాబితాలు జాబితాలో నిల్వ చేయబడతాయి. ఈ JSON సమూహ జాబితా రకానికి చెందినది.
json_skills_data = skills_df.toPandas().to_json(orient= 'విలువలు' )
ప్రింట్(json_skills_data)
అవుట్‌పుట్:
[[ 123 , 'తేనె' , 25000 , 'పెయింటింగ్' ],[ 112 , 'మౌని' , 2000 , 'నృత్యం' ],[ 153 , 'తులసి' , 1200 , 'పఠనం' ]]ఉదాహరణ 6: ఓరియంట్‌గా “టేబుల్”
'టేబుల్' ఓరియంట్ కాలమ్ డేటా రకాలతో పాటు ఫీల్డ్ పేర్లతో కూడిన స్కీమా, ప్రాథమిక కీగా సూచిక మరియు పాండాస్ వెర్షన్‌ను కలిగి ఉన్న JSONని అందిస్తుంది. విలువలతో కూడిన నిలువు వరుస పేర్లు 'డేటా'గా ప్రదర్శించబడతాయి.
json_skills_data = skills_df.toPandas().to_json(orient= 'టేబుల్' )
ప్రింట్(json_skills_data)
అవుట్‌పుట్:
{ 'స్కీమా' :{ 'క్షేత్రాలు' :[{ 'పేరు' : 'సూచిక' , 'రకం' : 'పూర్ణ సంఖ్య' },{ 'పేరు' : 'id' , 'రకం' : 'పూర్ణ సంఖ్య' },{ 'పేరు' : 'వ్యక్తి' , 'రకం' : 'తీగ' },{ 'పేరు' : 'బహుమతి' , 'రకం' : 'పూర్ణ సంఖ్య' },{ 'పేరు' : 'నైపుణ్యం' , 'రకం' : 'తీగ' }], 'ప్రాధమిక కీ' :[ 'సూచిక' ], 'పాండస్_వెర్షన్' : '1.4.0' }, 'సమాచారం' :[{ 'సూచిక' : 0 , 'id' : 123 , 'వ్యక్తి' : 'తేనె' , 'బహుమతి' : 25000 , 'నైపుణ్యం' : 'పెయింటింగ్' },{ 'సూచిక' : 1 , 'id' : 112 , 'వ్యక్తి' : 'మౌని' , 'బహుమతి' : 2000 , 'నైపుణ్యం' : 'నృత్యం' },{ 'సూచిక' : 2 , 'id' : 153 , 'వ్యక్తి' : 'తులసి' , 'బహుమతి' : 1200 , 'నైపుణ్యం' : 'పఠనం' }]}ఉదాహరణ 7: ఇండెక్స్ పరామితితో
మొదట, మేము ఇండెక్స్ పరామితిని 'ట్రూ' గా సెట్ చేయడం ద్వారా పాస్ చేస్తాము. మీరు ప్రతి నిలువు వరుస విలువ కోసం ఇండెక్స్ పొజిషన్‌ని డిక్షనరీలో కీలాగా అందించడాన్ని చూస్తారు.
రెండవ అవుట్‌పుట్‌లో, సూచిక “తప్పు”కి సెట్ చేయబడినందున, సూచిక స్థానాలు లేకుండా నిలువు పేర్లు (“నిలువు వరుసలు”) మరియు రికార్డులు (“డేటా”) మాత్రమే అందించబడతాయి.
# ఇండెక్స్=ట్రూతో to_json()ని ఉపయోగించి JSONకి మార్చండిjson_skills_data = skills_df.toPandas().to_json(index=True)
ప్రింట్(json_skills_data, ' \n ' )
# ఇండెక్స్=తప్పుతో to_json()ని ఉపయోగించి JSONకి మార్చండి
json_skills_data= skills_df.toPandas().to_json(index=False,orient= 'విభజన' )
ప్రింట్(json_skills_data)
అవుట్‌పుట్:
{ 'id' :{ '0' : 123 , '1' : 112 , '2' : 153 }, 'వ్యక్తి' :{ '0' : 'తేనె' , '1' : 'మౌని' , '2' : 'తులసి' }, 'బహుమతి' :{ '0' : 25000 , '1' : 2000 , '2' : 1200 }, 'నైపుణ్యం' :{ '0' : 'పెయింటింగ్' , '1' : 'నృత్యం' , '2' : 'పఠనం' }}{ 'నిలువు వరుసలు' :[ 'id' , 'వ్యక్తి' , 'బహుమతి' , 'నైపుణ్యం' ], 'సమాచారం' :[[ 123 , 'తేనె' , 25000 , 'పెయింటింగ్' ],[ 112 , 'మౌని' , 2000 , 'నృత్యం' ],[ 153 , 'తులసి' , 1200 , 'పఠనం' ]]
ToJSON()ని ఉపయోగించి JSONకి పైస్పార్క్ డేటాఫ్రేమ్
PySpark DataFrameని JSON ఆబ్జెక్ట్‌గా మార్చడానికి toJSON() పద్ధతి ఉపయోగించబడుతుంది. ప్రాథమికంగా, ఇది జాబితాతో చుట్టుముట్టబడిన JSON స్ట్రింగ్‌ను అందిస్తుంది. ది [‘{నిలువు:విలువ,...}’,…. ] ఈ ఫంక్షన్ ద్వారా అందించబడిన ఆకృతి. ఇక్కడ, PySpark DataFrame నుండి ప్రతి అడ్డు వరుస కాలమ్ పేరును కీగా ఉంచి నిఘంటువుగా అందించబడుతుంది.
సింటాక్స్:
dataframe_object.toJSON()ఇండెక్స్, కాలమ్ లేబుల్‌లు మరియు డేటా రకం వంటి పారామితులను పాస్ చేయడం సాధ్యపడుతుంది.
ఉదాహరణ:
5 అడ్డు వరుసలు మరియు 4 నిలువు వరుసలతో “skills_df” PySpark DataFrameని సృష్టించండి. toJSON() పద్ధతిని ఉపయోగించి ఈ డేటాఫ్రేమ్‌ని JSONకి మార్చండి.
పైస్పార్క్ దిగుమతిpyspark.sql దిగుమతి SparkSession నుండి
linuxhint_spark_app = SparkSession.builder.appName( 'Linux సూచన' ).getOrCreate()
5 అడ్డు వరుసలు మరియు 4 నిలువు వరుసలతో # నైపుణ్యాల డేటా
నైపుణ్యాలు =[{ 'id' : 123 , 'వ్యక్తి' : 'తేనె' , 'నైపుణ్యం' : 'పెయింటింగ్' , 'బహుమతి' : 25000 },
{ 'id' : 112 , 'వ్యక్తి' : 'మౌని' , 'నైపుణ్యం' : 'సంగీతం/నృత్యం' , 'బహుమతి' : 2000 },
{ 'id' : 153 , 'వ్యక్తి' : 'తులసి' , 'నైపుణ్యం' : 'పఠనం' , 'బహుమతి' : 1200 },
{ 'id' : 173 , 'వ్యక్తి' : 'పరిగెడుతూ' , 'నైపుణ్యం' : 'సంగీతం' , 'బహుమతి' : 2000 },
{ 'id' : 43 , 'వ్యక్తి' : 'కమల' , 'నైపుణ్యం' : 'పఠనం' , 'బహుమతి' : 10000 }
]
# పై డేటా నుండి నైపుణ్యాల డేటాఫ్రేమ్‌ను సృష్టించండి
skills_df = linuxhint_spark_app.createDataFrame(నైపుణ్యాలు)
# వాస్తవ నైపుణ్యాల డేటా
skills_df.show()
# JSON శ్రేణికి మార్చండి
json_skills_data = skills_df.toJSON().colect()
ప్రింట్(json_skills_data)
అవుట్‌పుట్:
+---+------+------+-------------+| id|వ్యక్తి|బహుమతి| నైపుణ్యం|
+---+------+------+-------------+
| 123 | తేనె| 25000 | పెయింటింగ్|
| 112 | మౌని| 2000 |సంగీతం/నృత్యం|
| 153 |తులసి| 1200 | చదవడం|
| 173 | రన్| 2000 | సంగీతం|
| 43 |కమల| 10000 | చదవడం|
+---+------+------+-------------+
[ '{'id':123,'వ్యక్తి':'తేనె','బహుమతి':25000,'నైపుణ్యం':'పెయింటింగ్'}' , '{'id':112,'వ్యక్తి':'మౌని','బహుమతి':2000,'నైపుణ్యం':'సంగీతం/నృత్యం'}' , '{'id':153,'వ్యక్తి':'తులసి','బహుమతి':1200,'నైపుణ్యం':'చదవడం'}' , '{'id':173,'వ్యక్తి':'రన్','బహుమతి':2000,'నైపుణ్యం':'సంగీతం'}' , '{'id':43,'వ్యక్తి':'కమల','బహుమతి':10000,'నైపుణ్యం':'చదవడం'}' ]
PySpark DataFrameలో 5 అడ్డు వరుసలు ఉన్నాయి. ఈ 5 అడ్డు వరుసలు కామాతో వేరు చేయబడిన స్ట్రింగ్‌ల నిఘంటువు వలె అందించబడతాయి.
PySpark DataFrame నుండి JSONకి Write.json()ని ఉపయోగించి
PySpark DataFrameని JSON ఫైల్‌కి వ్రాస్తుంది/సేవ్ చేసే PySparkలో write.json() పద్ధతి అందుబాటులో ఉంది. ఇది ఫైల్ పేరు/మార్గాన్ని పారామీటర్‌గా తీసుకుంటుంది. ప్రాథమికంగా, ఇది బహుళ ఫైల్‌లలో (విభజించబడిన ఫైల్‌లు) JSONని అందిస్తుంది. వాటన్నింటినీ ఒకే ఫైల్‌లో విలీనం చేయడానికి, మేము coalesce() పద్ధతిని ఉపయోగించవచ్చు.
సింటాక్స్:
dataframe_object.coalesce( 1 ).write.json(‘file_name’)- జోడించు మోడ్ - dataframe_object.write.mode('append').json('file_name')
- ఓవర్‌రైట్ మోడ్ - dataframe_object.write.mode('ఓవర్‌రైట్').json('file_name')
ఇప్పటికే ఉన్న JSONని జోడించడం/ఓవర్‌రైట్ చేయడం సాధ్యమవుతుంది. write.mode()ని ఉపయోగించి, మేము “అనుబంధించు”ని పాస్ చేయడం ద్వారా డేటాను జోడించవచ్చు లేదా ఈ ఫంక్షన్‌కు “ఓవర్‌రైట్” పాస్ చేయడం ద్వారా ఇప్పటికే ఉన్న JSON డేటాను ఓవర్‌రైట్ చేయవచ్చు.
ఉదాహరణ 1:
3 అడ్డు వరుసలు మరియు 4 నిలువు వరుసలతో “skills_df” PySpark DataFrameని సృష్టించండి. ఈ డేటాఫ్రేమ్‌ను JSONకి వ్రాయండి.
పైస్పార్క్ దిగుమతిపాండాలను దిగుమతి చేసుకోండి
pyspark.sql దిగుమతి SparkSession నుండి
linuxhint_spark_app = SparkSession.builder.appName( 'Linux సూచన' ).getOrCreate()
3 అడ్డు వరుసలు మరియు 4 నిలువు వరుసలతో # నైపుణ్యాల డేటా
నైపుణ్యాలు =[{ 'id' : 123 , 'వ్యక్తి' : 'తేనె' , 'నైపుణ్యం' : 'పెయింటింగ్' , 'బహుమతి' : 25000 },
{ 'id' : 112 , 'వ్యక్తి' : 'మౌని' , 'నైపుణ్యం' : 'నృత్యం' , 'బహుమతి' : 2000 },
{ 'id' : 153 , 'వ్యక్తి' : 'తులసి' , 'నైపుణ్యం' : 'పఠనం' , 'బహుమతి' : 1200 }
]
# పై డేటా నుండి నైపుణ్యాల డేటాఫ్రేమ్‌ను సృష్టించండి
skills_df = linuxhint_spark_app.createDataFrame(నైపుణ్యాలు)
# write.json()
skills_df.coalesce( 1 ).write.json( 'skills_data' )
JSON ఫైల్:
నైపుణ్యాలు_డేటా ఫోల్డర్‌లో విభజించబడిన JSON డేటా ఉన్నట్లు మనం చూడవచ్చు.
JSON ఫైల్‌ని తెరవండి. PySpark DataFrame నుండి అన్ని అడ్డు వరుసలు JSONగా మార్చబడినట్లు మనం చూడవచ్చు.
PySpark DataFrameలో 5 అడ్డు వరుసలు ఉన్నాయి. ఈ 5 అడ్డు వరుసలు కామాతో వేరు చేయబడిన స్ట్రింగ్‌ల నిఘంటువు వలె అందించబడతాయి.
ఉదాహరణ 2:
ఒక అడ్డు వరుసతో “skills2_df” PySpark DataFrameని సృష్టించండి. మోడ్‌ను “అనుబంధం”గా పేర్కొనడం ద్వారా మునుపటి JSON ఫైల్‌కి ఒక అడ్డు వరుసను జోడించండి.
పైస్పార్క్ దిగుమతిపాండాలను దిగుమతి చేసుకోండి
pyspark.sql దిగుమతి SparkSession నుండి
linuxhint_spark_app = SparkSession.builder.appName( 'Linux సూచన' ).getOrCreate()
నైపుణ్యాలు2 =[{ 'id' : 78 , 'వ్యక్తి' : 'మేరీ' , 'నైపుణ్యం' : 'స్వారీ' , 'బహుమతి' : 8960 }
]
# పై డేటా నుండి నైపుణ్యాల డేటాఫ్రేమ్‌ను సృష్టించండి
skills2_df = linuxhint_spark_app.createDataFrame(skills2)
అనుబంధం మోడ్‌తో # write.json().
skills2_df.write.mode( 'జోడించు' ).json( 'skills_data' )
JSON ఫైల్:
మేము విభజించబడిన JSON ఫైల్‌లను చూడవచ్చు. మొదటి ఫైల్ మొదటి డేటాఫ్రేమ్ రికార్డ్‌లను కలిగి ఉంది మరియు రెండవ ఫైల్ రెండవ డేటాఫ్రేమ్ రికార్డ్‌ను కలిగి ఉంది.
ముగింపు
PySpark DataFrameని JSONకి మార్చడానికి మూడు విభిన్న మార్గాలు ఉన్నాయి. మొదట, మేము వివిధ పారామితులను పరిగణనలోకి తీసుకోవడం ద్వారా వేర్వేరు ఉదాహరణలతో PySpark DataFrameని PySpark DataFrameకి మార్చడం ద్వారా JSONకి మార్చే to_json() పద్ధతిని చర్చించాము. తర్వాత, మేము toJSON() పద్ధతిని ఉపయోగించాము. చివరగా, PySpark DataFrameని JSONకి వ్రాయడానికి write.json() ఫంక్షన్‌ని ఎలా ఉపయోగించాలో తెలుసుకున్నాము. జోడించడం మరియు ఓవర్‌రైటింగ్ ఈ ఫంక్షన్‌తో సాధ్యమవుతుంది.