నేను మా ఉత్పత్తి డేటాబేస్‌ను వదిలివేసాను మరియు ఇప్పుడు AWS కోసం 10% ఎక్కువ చెల్లించాను

పానిక్ బటన్ నుండి మనశ్శాంతి వరకు

ఇది మంగళవారం ఉదయం, ఉదయం 9 గంటలకు ముందు లాగిన్ చేసిన ఇంజనీర్‌ని నేను మాత్రమే. ఒక సాధారణ డేటా పరిష్కారం, లేదా నేను అనుకున్నాను. ఒక తప్పుడు సలహా తర్వాత, మరియు ఉత్పత్తి డేటాబేస్-మా అప్లికేషన్ యొక్క గుండె- పోయింది. చెడిపోలేదు, మందగించలేదు, కానీ పూర్తిగా, భయంకరంగా ఖాళీగా ఉంది. మా మానిటరింగ్ అలర్ట్‌ల నుండి చల్లబడే నిశ్శబ్దంతో పోల్చితే నా నుదుటిపై చల్లటి చెమట ఏమీ లేదు. వెఱ్ఱి పునరుద్ధరణ ప్రయత్నాల యొక్క శాశ్వతమైన అనుభూతి తర్వాత, మేము దానిని తిరిగి పొందాము. కానీ పరీక్ష ముగియలేదు. సేవను పునరుద్ధరించడానికి మేము తీసుకోవలసిన అత్యవసర చర్యలు మా AWS బిల్లులో శాశ్వతంగా 10% పెరుగుదలకు దారితీశాయి, ఆ ఒక్క, ఖరీదైన తప్పును నిరంతరం గుర్తుచేస్తుంది. ఈ అనుభవం బాధాకరంగా ఉన్నప్పటికీ, మౌలిక సదుపాయాల దుర్బలత్వం యొక్క నిజమైన ధర గురించి నాకు క్రూరమైన పాఠాన్ని నేర్పింది.

ఒకే తప్పు యొక్క డొమినో ప్రభావం

డేటాబేస్‌ను తొలగించిన తక్షణ పరిణామాలు స్వచ్ఛమైన గందరగోళం. మా మొదటి ప్రాధాన్యత బ్యాకప్ నుండి పునరుద్ధరించడం, కానీ ప్రక్రియ ఊహించిన దాని కంటే నెమ్మదిగా ఉంది. పనికిరాని సమయాన్ని తగ్గించడానికి, పునరుద్ధరణను వేగవంతం చేయడానికి మేము భారీ, అధికంగా అందించబడిన RDS ఉదాహరణను స్పిన్ అప్ చేయాల్సి వచ్చింది. ఆపై, మళ్లీ కనెక్ట్ కావడానికి ప్రయత్నిస్తున్న వినియోగదారుల వరదలను నిర్వహించడానికి మేము మా అప్లికేషన్ సర్వర్‌లను తాత్కాలికంగా స్కేల్ చేయాల్సి ఉంటుంది. ఈ "అత్యవసర మోడ్" అవస్థాపన, దాదాపు 12 గంటల పాటు నడుస్తుంది, ఇది చాలా ఖరీదైనది. మేము డేటాను పునరుద్ధరించిన తర్వాత కూడా, స్థిరత్వాన్ని నిర్ధారించడానికి పెద్ద డేటాబేస్ ఉదాహరణను ఒక వారం పాటు ఉంచాలని మాకు సూచించారు. భయాందోళనల నుండి పుట్టిన ఆ తాత్కాలిక పరిష్కారం శాశ్వత లైన్ అంశంగా మారింది. డొమినో ప్రభావం స్పష్టంగా ఉంది: ఒక మానవ లోపం పెళుసుగా ఉండే వ్యవస్థను బహిర్గతం చేసింది మరియు త్వరిత పరిష్కారానికి అయ్యే ఖర్చు మా కార్యకలాపాలపై పునరావృత పన్నుగా మారింది.

బ్యాకప్‌లకు మించి: పెళుసుగా ఉండే సిస్టమ్‌ల యొక్క నిజమైన ధర

మాకు బ్యాకప్‌లు ఉన్నాయి. సాంకేతికంగా, మేము కనీస స్థాయిని పూర్తి చేసాము. కానీ ఒక బలమైన వ్యవస్థ కేవలం భద్రతా వలయాన్ని కలిగి ఉండటమే కాదు; ఇది ఉపయోగించడానికి సులభమైన, వేగవంతమైన మరియు నమ్మదగిన భద్రతా వలయాన్ని కలిగి ఉంటుంది. మా పోస్ట్‌మార్టం క్లిష్టమైన బలహీనతలను వెల్లడించింది:

• మాన్యువల్ ప్రాసెస్‌లు: పునరుద్ధరణ ప్రక్రియ అనేది బహుళ-దశల, మాన్యువల్ చెక్‌లిస్ట్, ఇది ఒత్తిడిలో లోపానికి గురయ్యే అవకాశం ఉంది.
• ఐసోలేషన్ లేకపోవడం: ఒక వాతావరణంలో అమలు చేయబడిన కమాండ్ చాలా సులభంగా ఉత్పత్తిని ప్రభావితం చేస్తుంది.
• పేలవమైన దృశ్యమానత: సిస్టమ్ ఆరోగ్యం మరియు మా చర్యల ప్రభావం గురించి మాకు స్పష్టమైన, తక్షణ సూచికలు లేవు.
• రియాక్టివ్ స్కేలింగ్: మాన్యువల్, ఖరీదైన జోక్యం లేకుండా రికవరీ ఈవెంట్‌ను నిర్వహించడానికి మా మౌలిక సదుపాయాలు తగినంతగా లేవు.

నిజమైన ధర కేవలం 10% ఎక్కువ AWS బిల్లు మాత్రమే కాదు. ఇది ఇన్నోవేషన్‌కు బదులుగా రికవరీ కోసం గడిపిన ఇంజినీరింగ్ సమయం, వాటాదారుల విశ్వాసం క్షీణించడం మరియు అది మళ్లీ జరుగుతుందనే భయంతో.

"ఇన్‌ఫ్రాస్ట్రక్చర్ అనేది కార్డుల ఇల్లు కాకూడదు. ఒక్క తప్పిదం వల్ల మొత్తం వ్యాపారాన్ని ఆపరేటింగ్‌గా మరియు ఆర్థికంగా మోకాళ్లకు చేర్చే శక్తి ఉండకూడదు."

మెవేజ్‌తో మాడ్యులర్ సేఫ్టీ నెట్‌ను నిర్మించడం

ఈ సంఘటన మా మొత్తం విధానాన్ని పునరాలోచించవలసి వచ్చింది. మాకు బలమైన వ్యవస్థ మాత్రమే కాకుండా మాడ్యులర్ మరియు నిర్వహించదగినది కూడా అవసరం. ఇక్కడే Mewayz యొక్క మా దత్తత ప్రతిదీ మార్చడానికి ప్రారంభమైంది. మోనోలిథిక్, పెళుసుగా ఉండే సెటప్‌కు బదులుగా, మేము మాడ్యులర్ భాగాలతో నిర్మించడం ప్రారంభించాము. Mewayzతో, మేము మా మౌలిక సదుపాయాలను-డేటాబేస్‌ల నుండి సర్వర్‌లెస్ ఫంక్షన్‌ల వరకు-స్వయం-సమయం, పునర్వినియోగ మాడ్యూల్స్‌గా నిర్వచించవచ్చు. ఈ మాడ్యులారిటీ అంటే మనం ఉత్పత్తిని సంపూర్ణంగా ప్రతిబింబించే ఐసోలేటెడ్ స్టేజింగ్ ఎన్విరాన్‌మెంట్‌లను సృష్టించగలము, ప్రమాదకర కార్యకలాపాలను సురక్షితంగా పరీక్షించడానికి అనుమతిస్తుంది. మరీ ముఖ్యంగా, విస్తరణలు మరియు రోల్‌బ్యాక్‌ల కోసం Mewayz యొక్క అంతర్నిర్మిత ఆటోమేషన్ అంటే, మాన్యువల్ ఎర్రర్‌లను తొలగిస్తూ, రికవరీ ప్రక్రియలను ఒకే క్లిక్‌తో ప్రారంభించవచ్చు. మా అవస్థాపన ఊహాజనితమైంది మరియు, ముఖ్యంగా, స్థితిస్థాపకంగా మారింది.

క్లౌడ్ బిల్లులలో చెల్లించిన పాఠం

ఆ 10% AWS సర్‌ఛార్జ్ అనేది నేను ఇప్పుడు కీలకమైన విద్యలో పెట్టుబడిగా భావిస్తున్నాను. సిస్టమ్ రూపకల్పన మరియు కార్యాచరణ శ్రేష్ఠతపై మూలలను కత్తిరించడం తప్పుడు ఆర్థిక వ్యవస్థ అని ఇది మాకు నేర్పింది. తీవ్ర భయాందోళనతో కూడిన, ఖరీదైన పరిష్కారాలు మొదటి నుండి స్థితిస్థాపకత మరియు మాడ్యులారిటీతో నిర్మించబడకపోవడం యొక్క ప్రత్యక్ష ఫలితం. Mewayz వంటి ప్లాట్‌ఫారమ్‌కి మారడం ద్వారా, మేము మా ఇన్‌ఫ్రాస్ట్రక్చర్‌ను బాధ్యత నుండి నమ్మదగిన ఆస్తిగా మార్చాము. మాడ్యూల్‌లు గార్డ్‌రైల్‌లుగా పనిచేస్తాయి, విపత్తు తప్పులను నివారిస్తాయి మరియు ఏదైనా తప్పు జరిగితే, రికవరీ వేగంగా, స్వయంచాలకంగా మరియు ఖర్చుతో కూడుకున్నదని నిర్ధారిస్తుంది. నిజమైన సామర్థ్యం తప్పులను నివారించడం కాదని, వాటిని తట్టుకునే వ్యవస్థను నిర్మించడం అని తెలుసుకోవడానికి నేను చాలా మూల్యం చెల్లించాను.

తరచుగా అడిగే ప్రశ్నలు

పానిక్ బటన్ నుండి మనశ్శాంతి వరకు

ఇది మంగళవారం ఉదయం, ఉదయం 9 గంటలకు ముందు లాగిన్ చేసిన ఇంజనీర్‌ని నేను మాత్రమే. ఒక సాధారణ డేటా పరిష్కారం, లేదా నేను అనుకున్నాను. ఒక తప్పుడు సలహా తర్వాత, మరియు ఉత్పత్తి డేటాబేస్-మా అప్లికేషన్ యొక్క గుండె- పోయింది. చెడిపోలేదు, మందగించలేదు, కానీ పూర్తిగా, భయంకరంగా ఖాళీగా ఉంది. మా మానిటరింగ్ అలర్ట్‌ల నుండి చల్లబడే నిశ్శబ్దంతో పోల్చితే నా నుదుటిపై చల్లటి చెమట ఏమీ లేదు. వెఱ్ఱి పునరుద్ధరణ ప్రయత్నాల యొక్క శాశ్వతమైన అనుభూతి తర్వాత, మేము దానిని తిరిగి పొందాము. కానీ పరీక్ష ముగియలేదు. సేవను పునరుద్ధరించడానికి మేము తీసుకోవలసిన అత్యవసర చర్యలు మా AWS బిల్లులో శాశ్వతంగా 10% పెరుగుదలకు దారితీశాయి, ఆ ఒక్క, ఖరీదైన తప్పును నిరంతరం గుర్తుచేస్తుంది. ఈ అనుభవం బాధాకరంగా ఉన్నప్పటికీ, మౌలిక సదుపాయాల దుర్బలత్వం యొక్క నిజమైన ధర గురించి నాకు క్రూరమైన పాఠాన్ని నేర్పింది.

ఒకే తప్పు యొక్క డొమినో ప్రభావం

డేటాబేస్‌ను తొలగించిన తక్షణ పరిణామాలు స్వచ్ఛమైన గందరగోళం. మా మొదటి ప్రాధాన్యత బ్యాకప్ నుండి పునరుద్ధరించడం, కానీ ప్రక్రియ ఊహించిన దాని కంటే నెమ్మదిగా ఉంది. పనికిరాని సమయాన్ని తగ్గించడానికి, పునరుద్ధరణను వేగవంతం చేయడానికి మేము భారీ, అధికంగా అందించబడిన RDS ఉదాహరణను స్పిన్ అప్ చేయాల్సి వచ్చింది. ఆపై, మళ్లీ కనెక్ట్ కావడానికి ప్రయత్నిస్తున్న వినియోగదారుల వరదలను నిర్వహించడానికి మేము మా అప్లికేషన్ సర్వర్‌లను తాత్కాలికంగా స్కేల్ చేయాల్సి ఉంటుంది. ఈ "అత్యవసర మోడ్" అవస్థాపన, దాదాపు 12 గంటల పాటు నడుస్తుంది, ఇది చాలా ఖరీదైనది. మేము డేటాను పునరుద్ధరించిన తర్వాత కూడా, స్థిరత్వాన్ని నిర్ధారించడానికి పెద్ద డేటాబేస్ ఉదాహరణను ఒక వారం పాటు ఉంచాలని మాకు సూచించారు. భయాందోళనల నుండి పుట్టిన ఆ తాత్కాలిక పరిష్కారం శాశ్వత లైన్ అంశంగా మారింది. డొమినో ప్రభావం స్పష్టంగా ఉంది: ఒక మానవ లోపం పెళుసుగా ఉండే వ్యవస్థను బహిర్గతం చేసింది మరియు త్వరిత పరిష్కారానికి అయ్యే ఖర్చు మా కార్యకలాపాలపై పునరావృత పన్నుగా మారింది.

బ్యాకప్‌లకు మించి: పెళుసుగా ఉండే సిస్టమ్‌ల యొక్క నిజమైన ధర

మాకు బ్యాకప్‌లు ఉన్నాయి. సాంకేతికంగా, మేము కనీస స్థాయిని పూర్తి చేసాము. కానీ ఒక బలమైన వ్యవస్థ కేవలం భద్రతా వలయాన్ని కలిగి ఉండటమే కాదు; ఇది ఉపయోగించడానికి సులభమైన, వేగవంతమైన మరియు నమ్మదగిన భద్రతా వలయాన్ని కలిగి ఉంటుంది. మా పోస్ట్‌మార్టం క్లిష్టమైన బలహీనతలను వెల్లడించింది:

Mewayzతో మాడ్యులర్ సేఫ్టీ నెట్‌ను నిర్మించడం

ఈ సంఘటన మా మొత్తం విధానాన్ని పునరాలోచించవలసి వచ్చింది. మాకు బలమైన వ్యవస్థ మాత్రమే కాకుండా మాడ్యులర్ మరియు నిర్వహించదగినది కూడా అవసరం. ఇక్కడే మేవేజ్‌ని మా దత్తత ప్రతిదీ మార్చడం ప్రారంభించింది. మోనోలిథిక్, పెళుసుగా ఉండే సెటప్‌కు బదులుగా, మేము మాడ్యులర్ భాగాలతో నిర్మించడం ప్రారంభించాము. Mewayzతో, మేము మా మౌలిక సదుపాయాలను-డేటాబేస్‌ల నుండి సర్వర్‌లెస్ ఫంక్షన్‌ల వరకు-స్వయం-సమయం, పునర్వినియోగ మాడ్యూల్స్‌గా నిర్వచించవచ్చు. ఈ మాడ్యులారిటీ అంటే మనం ఉత్పత్తిని సంపూర్ణంగా ప్రతిబింబించే ఐసోలేటెడ్ స్టేజింగ్ ఎన్విరాన్‌మెంట్‌లను సృష్టించగలము, ప్రమాదకర కార్యకలాపాలను సురక్షితంగా పరీక్షించడానికి అనుమతిస్తుంది. మరీ ముఖ్యంగా, విస్తరణలు మరియు రోల్‌బ్యాక్‌ల కోసం Mewayz యొక్క అంతర్నిర్మిత ఆటోమేషన్ అంటే, మాన్యువల్ ఎర్రర్‌లను తొలగిస్తూ, రికవరీ ప్రక్రియలను ఒకే క్లిక్‌తో ప్రారంభించవచ్చు. మా అవస్థాపన ఊహాజనితమైంది మరియు, ముఖ్యంగా, స్థితిస్థాపకంగా మారింది.

క్లౌడ్ బిల్లులలో చెల్లించిన పాఠం

ఆ 10% AWS సర్‌ఛార్జ్ అనేది నేను ఇప్పుడు కీలకమైన విద్యలో పెట్టుబడిగా భావిస్తున్నాను. సిస్టమ్ రూపకల్పన మరియు కార్యాచరణ శ్రేష్ఠతపై మూలలను కత్తిరించడం తప్పుడు ఆర్థిక వ్యవస్థ అని ఇది మాకు నేర్పింది. తీవ్ర భయాందోళనతో కూడిన, ఖరీదైన పరిష్కారాలు మొదటి నుండి స్థితిస్థాపకత మరియు మాడ్యులారిటీతో నిర్మించబడకపోవడం యొక్క ప్రత్యక్ష ఫలితం. Mewayz వంటి ప్లాట్‌ఫారమ్‌కి మారడం ద్వారా, మేము మా ఇన్‌ఫ్రాస్ట్రక్చర్‌ను బాధ్యత నుండి నమ్మదగిన ఆస్తిగా మార్చాము. మాడ్యూల్‌లు గార్డ్‌రైల్‌లుగా పనిచేస్తాయి, విపత్తు తప్పులను నివారిస్తాయి మరియు ఏదైనా తప్పు జరిగితే, రికవరీ వేగంగా, స్వయంచాలకంగా మరియు ఖర్చుతో కూడుకున్నదని నిర్ధారిస్తుంది. నిజమైన సామర్థ్యం తప్పులను నివారించడం కాదని, వాటిని తట్టుకునే వ్యవస్థను నిర్మించడం అని తెలుసుకోవడానికి నేను చాలా మూల్యం చెల్లించాను.