ملخص

15.6 ملخص

من أبرز ما جاء في هذا الفصل:

  • علم البيانات مجال متعدد التخصصات يجمع بين جمع ومعالجة وتحليل كميات كبيرة من البيانات لاستخلاص الرؤى ودعم اتخاذ القرارات المستنيرة.
  • دورة حياة علم البيانات إطار العمل الذي يتبعه علماء البيانات لإنجاز مشروع علم بيانات.
  • تشمل دورة حياة علم البيانات 1) اكتساب البيانات، 2) استكشاف البيانات، 3) تحليل البيانات، و 4) إعداد التقارير.
  • بيئة غوغل كولاب بيئة دفتر جوبيتر (Jupyter Notebook) قائمة على السحابة تتيح للمبرمجين كتابة وتشغيل ومشاركة شِفرة Python عبر الإنترنت.
  • NumPy (Numerical Python) مكتبة Python توفر دعمًا للعمليات العددية الفعالة على المصفوفات الكبيرة متعددة الأبعاد، وتُشكّل ركيزةً أساسية لتحليل البيانات في Python.
  • تُطبّق NumPy كائن ndarray الذي يسمح بإنشاء مصفوفات متعددة الأبعاد من أنواع بيانات متجانسة ومعالجة بيانات فعالة.
  • توفر NumPy وظائف للعمليات الرياضية، ومعالجة المصفوفات، وعمليات الجبر الخطي.
  • Pandas مكتبة Python مفتوحة المصدر تُستخدم لتنظيف البيانات ومعالجتها وتحليلها.
  • توفر Pandas هيكلَي البيانات سلسلة (Series) وإطار البيانات (DataFrame)، ووظائف معالجة البيانات، والتكامل مع المكتبات الأخرى.
  • التحليل الاستكشافي للبيانات (EDA) عملية تحليل البيانات لاكتساب رؤى وتحديد الأنماط وفهم البنية الأساسية للبيانات.
  • السِمة مُتغيِّر فردي أو خاصية تُحسب من البيانات الخام في مجموعة بيانات.
  • يمكن استخدام فهرسة البيانات لتحديد والوصول إلى صفوف وأعمدة محددة.
  • يشير تقطيع البيانات إلى تحديد مجموعة فرعية من الصفوف و/أو الأعمدة من إطار البيانات.
  • تتضمن تصفية البيانات تحديد الصفوف أو الأعمدة بناءً على شروط معينة.
  • يمكن أن تحدث القيم المفقودة في مجموعة بيانات عندما تكون البيانات غير متاحة أو لم تُسجل بشكل صحيح.
  • يلعب تصوير البيانات دورًا حاسمًا في علم البيانات لفهم البيانات.
  • تشمل الأنواع المختلفة من التصورات المخطط الشريطي، والمخطط الخطي، ومخطط الانتشار، والمخطط التكراري، والمخطط الصندوقي.
  • ثمة مكتبات عديدة لتصوير البيانات في Python تتيح إنشاء أنواع مختلفة من المخططات بإمكانيات متنوعة. تشمل هذه المكتبات Matplotlib و Seaborn و Plotly.
  • الأسماء المستعارة التقليدية لاستيراد NumPy و Pandas و Matplotlib.pyplot هي np و pd و plt، على التوالي.

في هذه المرحلة، ينبغي أن تكون قادرًا على كتابة برامج لإنشاء هياكل بيانات لتخزين مجموعات بيانات مختلفة واستكشاف مجموعات البيانات وتصويرها.

الدالّة الوصف

np.array()

تُنشئ كائن ndarray من قائمة أو صَف.

np.zeros()

تُنشئ مصفوفة من الأصفار.

np.ones()

تُنشئ مصفوفة من الآحاد.

np.random.rand(n, m)

تُنشئ مصفوفة من الأعداد العشوائية بعدد n من الصفوف و m من الأعمدة

np.genfromtxt('data.csv', delimiter=',')

تُنشئ مصفوفة من ملف CSV.

pd.DataFrame()

تُنشئ إطار بيانات من قائمة أو قاموس أو مصفوفة.

pd.read_csv()

تُنشئ إطار بيانات من ملف CSV.

df.head()

تُرجع الصفوف القليلة الأولى من إطار البيانات.

df.tail()

تُرجع الصفوف القليلة الأخيرة من إطار البيانات.

df.info()

توفر ملخصًا لإطار البيانات، بما في ذلك أسماء الأعمدة، وأنواع البيانات، وعدد القيم غير Null.

df.describe()

تُنشئ عدد الأعمدة، والمتوسط، والانحراف المعياري، والحد الأدنى، والحد الأقصى، والربيعيات.

df.value_counts()

تحسب تكرارات القيم الفريدة في عمود وتعرضها بترتيب تنازلي.

df.unique()

تُرجع مصفوفة من القيم الفريدة في عمود.

loc[]

تسمح بالوصول إلى البيانات في إطار البيانات باستخدام تسميات الصفوف/الأعمدة.

iloc[]

تسمح بالوصول إلى البيانات في إطار البيانات باستخدام فهارس الصفوف/الأعمدة القائمة على الأعداد الصحيحة.

df[condition]

تحدد فقط الصفوف التي تستوفي الشرط (condition) المعطى.

df.loc[start_row:end_row, start_column:end_column]

تُقطّع باستخدام نطاقات التسميات.

df.loc[[label1, label2, ...], :]

تُقطّع الصفوف الموجودة في القائمة [label1, label2, ...].

df.isnull()

تُرجع مصفوفة منطقية بقيم منطقية تُمثل ما إذا كان كل إدخال Null.

fillna()

تستبدل القيم Null.

dropna()

تُزيل جميع الصفوف التي تحتوي على قيمة Null.

plt.bar(x, height)

تأخذ مدخلين، x و height، وترسم أشرطة لكل قيمة x بالارتفاع المعطى في المُتغيِّر height.

plt.plot(x, y)

تأخذ مدخلين، x و y، وترسم خطوطًا تربط أزواج قيم (x, y).

plt.scatter(x, y)

تأخذ مدخلين، x و y، وترسم نقاطًا تُمثل أزواج (x, y).

plt.hist(x)

تأخذ مدخلًا واحدًا، x، وترسم مخططًا تكراريًا للقيم في x لإظهار التوزيع أو الاتجاه.

plt.boxplot(x)

تأخذ مدخلًا واحدًا، x، وتُمثل الحد الأدنى، والحد الأقصى، والربيع الأول، والثاني، والثالث، بالإضافة إلى القيم الشاذة في x.

جدول 15.13 مرجع الفصل 15.