数据清洗之异常值处理
在数据清洗过程中，异常值处理是一个非常重要的步骤。异常值，也称为离群值或异常点，是指与大多数观察值明显不同的观察值。这些值可能是由于测量错误、数据录入错误、设备故障或者真实现象的特殊情况而产生的。异常值可能会对数据分析和建模产生负面影响，因此需要进行适当的处理。下面是一些常见的异常值处理方法：删除异常值： 最简单的方法是直接删除异常值。这种方法适用于异常值数量较少、对数据整体影响较小的情况。但是，如果异常值数量较多或者对数据整体影响较大，则不建议使用这种方法。替换异常值： 可以用数据集的其他统计特征值（如均值、中位数、众数）来替换异常值。这种方法可以保持数据集的整体分布特征，并且相对于直接删除异常值，对数据的影响较小。分箱处理： 将数据分成多个箱子（bins），然后用每个箱子的均值或中位数来代替箱子中的异常值。这种方法可以减少异常值对整体数据的影响，并且保持了数据的整体分布特征。基于模型的方法： 可以使用回归、聚类或其他机器学习模型来识别和处理异常值。这些模型可以自动识别数据中的异常值，并提供相应的处理方案。使用离群值检测算法： 可以使用一些专门用于检测异常值的算法，如孤立森林、局部异常因子等。这些算法可以自动识别数据中的异常值，并提供相应的处理方案。在实际应用中，通常需要结合数据的特点和分析目的来选择合适的异常值处理方法。此外，处理异常值之前，还需要对数据进行探索性分析，以了解数据的分布特征和可能存在的异常情况，从而更加准确地选择合适的处理方法。
逻辑回归算法介绍
逻辑回归是一种用于二分类和多分类任务的机器学习算法。尽管名字中包含“回归”一词，但它主要用于分类，而不是预测连续值。逻辑回归通过构建一个线性模型，并通过非线性函数将其映射到一个概率空间，从而实现分类。以下是逻辑回归的主要特点和工作原理：线性模型：逻辑回归首先构建一个线性模型。设 (x_1, x_2, \ldots, x_n) 是输入特征，(w_1, w_2, \ldots, w_n) 是权重，(b) 是偏置，那么线性组合可以表示为： [ z = w_1 \cdot x_1 + w_2 \cdot x_2 + \ldots + w_n \cdot x_n + b. ]Sigmoid函数：为了将线性模型的输出转换为概率，逻辑回归使用sigmoid函数，也称为逻辑斯蒂函数。该函数可以将任意实数映射到0和1之间，定义如下： [ \sigma(z) = \frac{1}{1 + \exp(-z)}. ]输出概率：通过sigmoid函数，线性模型的输出被转化为概率。对于二分类任务，这个概率可以解释为样本属于某个类别的概率。例如，如果我们预测输出为1的概率是0.7，那么预测输出为0的概率就是0.3。损失函数：逻辑回归的损失函数通常是对数损失或交叉熵损失。对于一个训练样本集，损失函数是样本的负对数似然的和。通过最小化这个损失函数，我们可以找到最合适的模型参数。优化：逻辑回归的优化过程涉及更新权重和偏置，使损失函数最小化。最常用的优化方法是梯度下降及其变种，如随机梯度下降、Adam优化等。二分类和多分类：逻辑回归不仅适用于二分类任务，还可以扩展到多分类。对于多分类问题，通常使用一对多或softmax逻辑回归等技术。解释性：逻辑回归的线性特征使其易于解释。权重的符号和大小可以揭示输入特征与输出之间的关系。总结而言，逻辑回归是一个简单且有效的分类算法，广泛应用于医学、金融、营销等领域。其在小规模数据集和高维特征情况下表现较为优秀。
数据库介绍
什么是数据库 狭义：储存数据的仓库 广义：可以对数据进行储存和管理的软件 以及 数据本身 统称为数据库 数据库是由表，关系，操作组成为什么需要数据库 几乎所有的应用软件的后台都需要数据库 数据库储存数据占用空间小，容易持久保存 储存比较安全 容易维护和升级 数据移植比较容易 简化对数据的操作 为将来学习Oracle做准备 B/S架构里面包含数据库数据库应用软件 大型数据库：Oracle；DBI 中型数据库：SQL Server 小型数据库：MySQL