一、机器学习 | 数据划分和标准化
机器学习中的数据划分和标准化处理是构建高效模型的重要步骤。
数据划分： 目的：数据划分的主要目的是将数据集分为训练集和测试集，以便在训练过程中评估模型的性能。 方法：通常，数据集会被随机划分为训练集和测试集，常见的划分比例是70%训练集和30%测试集，但这个比例可以根据具体的数据集大小和模型复杂度进行调整。 注意事项：在划分数据时，应确保训练集和测试集之间的数据分布尽可能一致，以避免数据泄漏和模型过拟合。
数据标准化： 目的：数据标准化的目的是将数据缩放到一个共同的尺度上，以便模型能够更好地学习和泛化。 方法： 归一化：将数据缩放至01区间，简化了计算过程，适用于需要限制数据范围的情况。 均值方差标准化：通过计算每个数据点与平均值的差值除以标准差，使其分布为标准正态分布，对异常值的处理能力更强。 选择：选择哪种标准化方法取决于模型的特性和数据的分布。例如，对于支持向量机等模型，由于其对数据尺度敏感，因此需要进行标准化处理。而对于逻辑回归等具有伸缩不变性的模型，虽然理论上标准化不会改变最优解，但为了提高迭代算法的收敛速度，仍然推荐进行标准化处理。 处理测试集：在实际操作中，需要使用训练集的标准化规则对测试集进行标准化处理，以保持两者之间的缩放规则一致，并减少计算开销。
操作顺序： 推荐顺序：在构建机器学习模型时，推荐先划分训练集与测试集，再进行数据标准化操作。这样可以避免在特征工程过程中引入测试集的信息，从而防止数据泄漏，并更贴合真实数据分布。
二、简述机器学习的关键步骤
机器学习关键步骤简述：
一、数据收集与预处理
二、模型选择与训练
三、模型评估与优化
四、部署与应用
一、数据收集与预处理：
数据的收集是机器学习的第一步，涵盖了从各种来源获取原始数据的过程。这些数据可能包含噪声、错误或不相关的特征，因此需要进行预处理，如数据清洗、特征选择等，以优化数据质量并提升后续模型训练的准确性。
二、模型选择与训练：
在拥有高质量的数据集后，选择合适的机器学习模型至关重要。模型的选择应根据任务的需求和数据的特性来决定。选定模型后，利用训练数据对其进行训练，通过调整模型参数以最小化预测错误，从而得到一个可以准确预测新数据的模型。
三、模型评估与优化：
训练好的模型需要通过评估来检验其性能。评估通常包括计算模型的准确率、召回率等指标。根据评估结果，可能需要调整模型的参数或更改模型的架构以优化性能。这个步骤有助于确保模型在实际应用中的可靠性。
四、部署与应用：
最后，将训练和优化好的模型部署到实际环境中，使其能够处理真实的数据并产生有用的结果。这一步需要考虑模型的实时性能、可扩展性和安全性等因素，以确保模型在实际应用中的稳定性和效率。
以上即为机器学习的关键步骤简述。每个步骤都有其独特的挑战和解决方法，掌握这些步骤是理解和应用机器学习的基础。
三、机器学习的基本概念
机器学习是一种人工智能领域的技术，它涉及设计和开发算法，使计算机能够从数据中学习和自主改进，而无需显式地进行编程。以下是机器学习的一些基本概念：
数据集（Dataset）：机器学习的算法和模型需要基于数据进行训练和学习。数据集是用于训练和评估模型的样本集合，包括输入数据和对应的输出或标签。
AI 人工智能
特征（Feature）：在机器学习中，特征是描述数据的属性或指标。它们用于表示数据的各个方面，以帮助模型进行学习和预测。
模型（Model）：模型是机器学习算法学习到的表示数据的函数或规则。模型可以通过训练算法从数据中提取模式和规律，并用于预测新的未见过的数据。
训练（Training）：训练是指通过使用已知的输入和对应的输出数据，使机器学习模型学习和调整自身的参数和权重，以便能够对新的输入数据进行准确的预测。
监督学习（Supervised Learning）：监督学习是一种机器学习任务，其中模型从有标签的训练数据中学习，并通过预测输出标签来进行训练和评估。
无监督学习（Unsupervised Learning）：无监督学习是一种机器学习任务，其中模型从无标签的训练数据中学习，并试图发现数据中的结构、模式和关系。
预测（Prediction）：预测是指使用训练好的模型来对新的输入数据进行推断或估计，以生成相应的输出。
泛化（Generalization）：泛化是指机器学习模型在面对新的、未见过的数据时的能力，即能够对未知数据进行准确的预测和推断。
机器学习
这些是机器学习中的一些基本概念，了解这些概念可以帮助理解机器学习的基本原理和方法。机器学习领域有多种算法和技术，每种算法都有其特定的应用和优势。
四、机器学习特征工程&数据预处理
机器学习特征工程与数据预处理的关键点如下：
特征工程的重要性：
特征工程是指在模型搭建前，通过数据预处理和特征提取，将原始数据转换为更有利于模型学习的特征的过程。
它直接决定模型预测的结果好坏，是构建高质量模型的基础。
缺失值处理：
在数据预处理阶段，缺失值是一个常见问题，可以使用工具如pandas或sklearn中的SimpleImputer进行处理。
可以设置填充策略以处理缺失数据，确保数据的完整性和一致性。
数据归一化：
归一化是将数据缩放至特定范围的过程，目的是消除数据的量纲差异。
sklearn中的MinMaxScaler可以实现数据归一化，有助于提升模型性能，特别是在需要计算距离度量或特征权重相似度的算法中。
数据标准化：
标准化则是将数据转换为均值为0、标准差为1的分布，有助于减少数据分布对模型学习的影响。
sklearn的StandardScaler可以通过计算数据的平均值和标准差，实现数据的标准化，特别适用于敏感于数据分布的算法，如支持向量机和神经网络等。
文本特征提取：
对于文本数据，特征工程尤为重要，常用方法包括使用CountVectorizer进行词频统计，以及TFIDF来识别具有分类区分能力的关键词。
TFIDF通过计算词频和逆文档频率来评估词的重要性，有效处理了文本数据中常见的高频词对分类帮助较小的问题。
总结：特征工程是机器学习流程中的关键步骤，它对于提高模型预测准确性至关重要。利用sklearn库提供的工具，可以高效实现特征工程任务，但每个数据集和任务都有其独特性，特征工程需要结合具体问题和数据特性进行灵活调整和优化。
