Böyük verilənlər

Böyük verilənlər (ing. big data) — ənənəvi məlumat emalı proqramı ilə idarə oluna bilməyəcək qədər böyük və ya mürəkkəb verilənlər dəstləri. Çoxlu daxiletməsi (sətir) olan məlumatlar daha böyük statistik güc təklif edir, halbuki daha yüksək mürəkkəbliyə malik məlumatlar (daha çox atribut və ya sütun) daha yüksək yanlış aşkaretmə dərəcəsinə səbəb ola bilər.^[2] Rəsmi tərifin olmaması səbəbindən bəzən sərbəst şəkildə istifadə olunsa da, ən yaxşı şərh odur ki, o, yalnız kiçik miqdarda istifadə edildikdə dərk edilə bilməyən böyük bir məlumat toplusudur.^[3]

Böyük verilənlərin təhlili ilə bağlı problemlərə məlumatların toplanması, saxlanması, təhlili, axtarış, paylaşma, ötürmə, vizuallaşdırma, sorğulama, yeniləmə, məlumat məxfiliyi və məlumat mənbələri daxildir. Böyük verilənlər əvvəlcə üç əsas anlayışla əlaqələndirildi: həcm, müxtəliflik və sürət.^[4] Böyük məlumatların təhlili seçmə zamanı çətinliklər yaradır və bu səbəbdən, əvvəlcə yalnız müşahidələrə və seçmələrə imkan verir. Beləliklə, dördüncü anlayış, doğruluq, məlumatların keyfiyyətinə və ya dərinliyinə aiddir. Böyük verilənlərin doğruluğu üçün ekspertizaya kifayət qədər sərmayə qoyulmadan, məlumatların həcmi və müxtəlifliyi təşkilatın böyük verilənlərdən dəyər yaratmaq və əldə etmək imkanlarını aşan xərclər və risklər yarada bilər.^[5]

Böyük verilənlər termininin cari istifadəsi proqnozlaşdırıcı analitika, istifadəçi davranışının analitikası və ya böyük verilənlərdən dəyər çıxaran digər müəyyən qabaqcıl məlumat analitikası metodlarının istifadəsinə, nadir hallarda isə məlumat dəstinin müəyyən ölçüsünə aiddir. "Hazırda mövcud olan məlumatların miqdarının həqiqətən böyük olduğuna şübhə yoxdur, lakin bu, bu yeni məlumat ekosisteminin ən aktual xüsusiyyəti deyil."^[6] Məlumat dəstlərinin təhlili "biznes meyllərini aşkar etmək, xəstəliklərin qarşısını almaq, cinayətlə mübarizə və s." üçün yeni korrelyasiya tapa bilər.^[7] Alimlər, biznes rəhbərləri, həkimlər, reklamlar və hökumətlər müntəzəm olaraq internet axtarışları, fintech, səhiyyə analitikası, coğrafi informasiya sistemləri, şəhər informatikası və biznes informatikası da daxil olmaqla böyük məlumat dəstləri ilə bağlı çətinliklərlə üzləşirlər. Alimlər meteorologiya, genomika,^[8] konnektomika, mürəkkəb fizika simulyasiyaları, biologiya və ətraf mühit tədqiqatları daxil olmaqla e-elm işində məhdudiyyətlərlə qarşılaşırlar.^[9] Mobil cihazlar, ucuz və çoxsaylı məlumat aşkar edən əşyaların interneti cihazları, antenna, proqram qeydləri, kameralar, mikrofonlar, radiotezlik identifikasiya oxuyucuları və simsiz sensor şəbəkələr kimi cihazlar tərəfindən toplandığı üçün mövcud məlumat dəstlərinin ölçüsü və sayı sürətlə artmışdır.^[10][11] Dünyada adambaşına düşən texnoloji məlumat saxlamaq qabiliyyəti 1980-ci illərdən bəri hər 40 ayda təxminən iki dəfə artmışdır.^[12] 2012-ci ildən etibarən hər gün 2,5 ekzabayt (2,17×2⁶⁰ bayt) məlumat yaradılır.^[13] Beynəlxalq Verilənlər Korporasiyasının (BVK) hesabat proqnozuna əsasən, qlobal məlumat həcminin 2013–2020-ci illər arasında 4,4 zettabaytdan 44 zettabaytadək artacağı proqnozlaşdırılır. 2025-ci ilə qədər BVK 163 zettabayt məlumat olacağını proqnozlaşdırır.^[14] BVK-nin məlumatına görə, 2021-ci ildə böyük verilənlər və biznes analitikası (BDA) həllərinin qlobal xərclərinin 215,7 milyard dollara çatacağı təxmin edilir.^[15][16] Lakin Statista təşkilatı qlobal böyük məlumat bazarının 2027-ci ilə qədər 103 milyard dollara qədər artacağını proqnozlaşdırır.^[17] 2011-ci ildə McKinsey & Company bildirdi ki, əgər ABŞ səhiyyəsi səmərəliliyi və keyfiyyəti artırmaq üçün böyük məlumatlardan yaradıcı və effektiv istifadə etsə, sektor hər il 300 milyard dollardan çox dəyər yarada bilər.^[18] Avropanın inkişaf etmiş iqtisadiyyatlarında hökumət idarəçiləri böyük verilənlərdən istifadə etməklə təkcə əməliyyat səmərəliliyinin artırılmasına 100 milyard avrodan (149 milyard dollar) çox qənaət edə bilərdilər.^[18] Şəxsi məkan məlumatları ilə aktivləşdirilən xidmətlərin istifadəçiləri isə 600 milyard dollar istehlakçı profisiti əldə edə bilər.^[18] Böyük müəssisələr üçün problem bütün təşkilata təsir edən böyük məlumat təşəbbüslərinin kimə məxsus olduğunu müəyyən etməkdir.^[19]

Verilənlərin vizuallaşdırılması üçün istifadə olunan relyasiyalı verilənlər bazası idarəetmə sistemləri və masaüstü statistik proqram paketləri çox vaxt böyük verilənləri emal etmək və təhlil etməkdə çətinlik çəkirlər. Böyük verilənlərin emalı və təhlili "onlarla, yüzlərlə və hətta minlərlə serverdə işləyən kütləvi paralel proqram təminatı" tələb edə bilər.^[20] "Böyük verilənlər" kimi təsnif edilənlər onu təhlil edənlərin imkanlarından və alətlərindən asılı olaraq dəyişir. Bundan əlavə, genişlənən imkanlar böyük verilənləri hərəkətli hədəfə çevirir. "Bəzi təşkilatlar üçün ilk dəfə yüzlərlə giqabayt verilənlərlə qarşılaşmaq məlumatların idarə edilməsi variantlarına yenidən baxmağa ehtiyac yarada bilər. Digərləri üçün verilənlərin ölçüsünün əhəmiyyətli bir məsələyə çevrilməsi onlarla və ya yüzlərlə terabayt çəkə bilər."^[21]

Böyük verilənlər dedikdə "həcmi mövcud üsul və sistemlərin imkanlarını ötüb keçən verilənlər" təsəvvür edilir. "Böyük" məfhumu mövcud hesablama səviyyəsinə görə nisbidir. Massaçusets Texnologiya İnstitutunun professoru S. Madden "böyük verilənlər"i "çox böyük", "çox sürətli", "çox çətin" kimi təsvir edir. Burada "çox çətin" ifadəsi mövcud alətlərlə emal oluna bilməyən verilənlərə aiddir.^[22] Stuart Ward və Adam Barker bu ideyaları ümumiləşdirərək böyük verilənləri böyük və ya mürəkkəb verilənlər dəstinin saxlanması və analizi NoSQL, MapReduce, maşın təlimi ilə məhdudlaşmayan bir sıra üsulların köməyi ilə təsvir edilən termin kimi təyin etmişlər.^[23] Göründüyü kimi, BV-nin anlaşılmasında 3V modelini daha çox istifadə olunan və geniş yayılmış tərif kimi qəbul etmək olar.^[24] Çünki bu model uyğun texnologiya və məhsullara olan tələbləri əldə etmək üçün Böyük verilənləri daha yaxşı xarakterizə edir.^[25]

Data virtuallaşdırma bir yerdə çox mənbələrdən məlumat toplamaq üçün bir yoldur. Assambleya virtualdır: Digər metodlardan fərqli olaraq, məlumatların əksəriyyəti mənşə yerində qalır və tələb olunan xammal mənbələrindən əldə edilir.^[26]

• Hilbert, M, "Big Data for Development: A Review of Promises and Challenges", Development Policy Review, 34 (1), 2016: 135–74, doi:10.1111/dpr.12142, 1 June 2022 tarixində arxivləşdirilib; free access, Arxivləşdirilib 21 aprel 2021 at the Wayback Machine
• Snijders, C.; Matzat, U.; Reips, U.-D. "'Big Data': Big gaps of knowledge in the field of Internet". International Journal of Internet Science. 7. 2012: 1–5. 23 November 2019 tarixində arxivləşdirilib. İstifadə tarixi: 13 April 2013.
• Yanase, J; Triantaphyllou, E. "A Systematic Survey of Computer-Aided Diagnosis in Medicine: Past and Present Developments". Expert Systems with Applications. 138. 2019: 112821. doi:10.1016/j.eswa.2019.112821.

• Peter Kinnaird; Inbal Talgam-Cohen, redaktorlar "Big Data". XRDS: Crossroads, The ACM Magazine for Students. 19 cild no. 1. Association for Computing Machinery. 2012. ISSN 1528-4980. OCLC 779657714.
• Jure Leskovec; Anand Rajaraman; Jeffrey D. Ullman. Mining of massive datasets. Cambridge University Press. 2014. ISBN 978-1-10707723-2. OCLC 888463433.
• Viktor Mayer-Schönberger; Kenneth Cukier. Big Data: A Revolution that Will Transform how We Live, Work, and Think. Houghton Mifflin Harcourt. 2013. ISBN 978-1-29990302-9. OCLC 828620988.
• Press, Gil. "A Very Short History of Big Data". forbes.com. Jersey City, NJ. 9 May 2013. İstifadə tarixi: 17 September 2016.
• Stephens-Davidowitz, Seth. Everybody Lies: Big Data, New Data, and What the Internet Can Tell Us About Who We Really Are. Dey Street Books. 2017. ISBN 978-0-06239085-1.
• "Big Data: The Management Revolution". Harvard Business Review. October 2012.
• O'Neil, Cathy. Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. Broadway Books. 2017. ISBN 978-0-55341883-5.

• Böyük Verilənlər — 4sim.gov.az