2026/8/28 8:44:35
FEATURED · 精选文章 
1. 从“笔记”到“工具箱”为什么数据处理是建模的基石翻开任何一本数学建模的教材或者参加一次建模竞赛你大概率会看到这样的流程问题分析、模型假设、模型建立、模型求解、结果分析。这个流程很经典但它常常给人一种错觉好像“模型建立”和“模型求解”才是核心是高手们挥洒智慧的地方。然而根据我多年带学生参赛和实际项目中的经验真正决定一个项目成败、耗费时间最多、也最容易出错的环节往往被这个流程轻描淡写地一笔带过了那就是数据处理。你可以把数学建模想象成盖一栋房子。模型是你的设计蓝图求解算法是你的施工队而数据就是你盖房子用的砖头、水泥和钢筋。如果你的砖头尺寸不一、水泥标号不对、钢筋是生锈的那么无论你的设计图多么精妙施工队多么专业最终盖出来的房子也必然是危楼。数据处理就是确保你手头的“建筑材料”合格、规整、可用的过程。在“数学建模笔记 day-02”这个语境下第二天就深入数据处理恰恰说明了它的前置性和重要性——在动笔写模型之前你必须先搞清楚你的“砖头”长什么样。从网络热词中我们可以看到数据处理工具的“三国演义”Matlab、Excel和Python尤其是Pandas。很多新手会纠结到底学哪个我的建议是根据你的数据来源、处理复杂度和最终交付场景来选但核心是掌握数据处理的通用思想工具只是实现手段。Matlab在矩阵运算和科学计算中得天独厚与建模过程无缝衔接Excel是轻量级、可视化的神器适合快速探索和小规模整理PythonPandas则拥有无与伦比的灵活性和强大的生态适合处理复杂、非结构化和海量数据。在建模初期Excel和Matlab往往是更直接的选择。今天我们就聚焦在Matlab环境下抛开那些花哨的算法实实在在地聊聊如何把你的原始数据无论是来自实验、调查还是公开数据库变成模型“爱吃”的格式。这不仅仅是技术操作更是一种思维训练。2. Matlab数据容器详解向量、矩阵、元胞与结构体在Matlab里操作数据第一步是了解它有哪些“容器”。不同的容器适合装不同的“货物”用错了不仅效率低下还可能报错。2.1 基础容器数值数组向量/矩阵这是Matlab的“母语”。所有数值计算的核心都是基于数值数组。% 创建行向量、列向量和矩阵 row_vec [1, 2, 3, 4, 5]; % 行向量 col_vec [1; 2; 3; 4; 5]; % 列向量分号表示换行 matrix [1, 2, 3; 4, 5, 6; 7, 8, 9]; % 3x3矩阵 % 访问元素Matlab索引从1开始 second_element row_vec(2); % 得到 2 sub_matrix matrix(1:2, 2:3); % 获取第1-2行第2-3列得到 [2,3; 5,6]核心要点Matlab的数组在内存中是按列存储的。这意味着A(:)操作会将矩阵按列展开成一个列向量。在循环遍历矩阵元素时优先对列进行操作通常效率更高。对于建模中的数据比如一组传感器的时序读数通常用列向量表示每个变量矩阵的一列就代表一个变量在不同时间点的观测值。2.2 万能容器元胞数组当你需要把不同类型、不同尺寸的数据放在一个变量里管理时元胞数组就是你的救星。你可以把它想象成一个有很多小格子的储物柜每个格子可以独立存放任意东西——数字、文本、甚至另一个元胞数组或矩阵。% 创建元胞数组 cell_array {Alice, 25, [80, 90, 85]; Bob, 30, [70, 85, 88]}; % 2x3元胞数组 % 第一列是名字字符串第二列是年龄数值第三列是三门课成绩向量 % 访问元胞数组内容有两种方式 % 1. 花括号{}用于获取格子里“内容” name cell_array{1, 1}; % 得到字符串 Alice scores cell_array{1, 3}; % 得到向量 [80, 90, 85] % 2. 圆括号()用于获取“格子”本身仍是一个元胞 a_cell cell_array(1, 1); % 得到一个1x1的元胞内容是 {Alice}踩坑实录最常犯的错误就是混淆()和{}。cell_array(1,3)返回的是一个元胞你不能直接对它进行数值运算比如,-,*,/而cell_array{1,3}返回的是元胞里的内容那个向量可以直接运算。如果你看到错误提示“Undefined operator ‘’ for input arguments of type ‘cell’”十有八九是这里用错了。应用场景在数学建模中元胞数组非常适合存储非均匀的实验数据。例如你有5组实验每组实验的观测次数不同第1组测了10次第2组测了15次…每组的数据时间、读数可以作为一个元胞存入一个元胞数组中方便统一管理但又不要求长度一致。2.3 结构化容器结构体数组如果说元胞数组是储物柜那结构体数组就是标准化的档案袋。每个档案袋结构体都有固定的字段名每个字段下存放对应的数据。这使得数据访问非常直观类似于“对象.属性”。% 创建结构体数组 patient(1).name John Doe; patient(1).age 45; patient(1).test_results [120, 80, 37.5]; % 血压高压、低压、体温 patient(1).date 2023-10-26; patient(2).name Jane Smith; patient(2).age 34; patient(2).test_results [118, 82, 36.8]; patient(2).date 2023-10-27; % 访问数据 all_ages [patient.age]; % 提取所有age字段得到数组 [45, 34] johns_results patient(1).test_results; % 得到 [120, 80, 37.5] % 也可以一次性创建 patient struct(name, {John, Jane}, age, {45, 34}, results, {[120,80,37.5], [118,82,36.8]});为什么选择结构体当你的数据具有清晰的、重复出现的属性集时结构体比元胞数组更优。代码可读性极高你不需要记住“第3列是成绩”而是直接使用.test_results。在建模中如果你要处理多个对象如多个城市、多个股票、多个患者每个对象都有相同的属性维度使用结构体数组会让后续的统计分析、可视化变得非常方便。工具选型小结纯数值规整矩阵直接用数值数组效率最高。混合类型或大小不一的数据块用元胞数组灵活性最强。具有相同属性集合的多个对象用结构体数组可读性和操作性最好。3. 实战从混乱的Excel到整洁的Matlab数据集现在我们进入实战环节。假设你从实验搭档或合作方那里拿到一个名为experiment_data.xlsx的Excel文件里面数据可能很混乱有合并单元格做标题有空行有文本备注数值和文本混在同一列。我们的目标是将它清洗并导入Matlab形成可用于分析的结构化数据。3.1 初步探查与“脏数据”识别不要一上来就用xlsread或readtable。先用Matlab的导入工具手动看一下。% 方法在Matlab命令窗口输入 uiimport(experiment_data.xlsx) % 或者在“主页”选项卡点击“导入数据”。这个图形化工具会预览文件内容让你指定数据范围、表头行、数据类型。通过这个预览你能快速发现以下典型问题表头问题标题占用了多行真正的变量名在第3行。无关行列最前面几行是实验说明最后几行是统计摘要都不是我们需要的主体数据。数据格式不一致某一列应该是数值但其中混入了“N/A”、“-”或文本注释。多余空格字符串数据前后有空格导致“Control”和“Control ”被当作两个类别。识别出这些问题你就知道了清洗的重点。3.2 使用readtable进行智能导入对于现代版的MatlabR2016b以后readtable函数是处理表格数据的首选它比旧的xlsread强大得多能自动识别数据类型并生成一个table变量。% 基本导入 dataTable readtable(experiment_data.xlsx); % 但我们的文件很脏需要指定参数 opts detectImportOptions(experiment_data.xlsx); % 自动检测导入选项 % 查看并修改选项 disp(opts); % 假设我们发现数据从第5行开始变量名在第5行 opts.DataLines [5, Inf]; % 从第5行到文件末尾 opts.VariableNamesLine 5; % 第5行是变量名 % 假设第3列应该是数值但被识别为文本我们强制转换 opts setvartype(opts, 3, double); % 将第3列设为双精度浮点数 % 导入 dataTable readtable(experiment_data.xlsx, opts);table类型是介于矩阵和结构体之间的优秀容器。你可以像结构体一样用点号访问变量dataTable.Temperature也可以像矩阵一样进行逻辑索引并且它自带变量名在显示和绘图时非常友好。3.3 数据清洗核心操作导入后的dataTable可能仍有问题我们需要在Matlab中进行二次清洗。处理缺失值Matlab用NaNNot a Number表示缺失的数值。% 查找缺失值 missing_idx isnan(dataTable.ResponseTime); % 用均值填充根据情况也可用中位数、前后值插补等 mean_val mean(dataTable.ResponseTime, omitnan); dataTable.ResponseTime(missing_idx) mean_val; % 对于分类变量中的缺失文本有时可以设为‘Unknown’ dataTable.Group(cellfun(isempty, dataTable.Group)) {Unknown};处理异常值常用的是基于标准差或分位数箱线图原理。% 假设我们处理‘BloodPressure’列 bp dataTable.BloodPressure; Q1 prctile(bp, 25); Q3 prctile(bp, 75); IQR Q3 - Q1; lower_bound Q1 - 1.5 * IQR; upper_bound Q3 1.5 * IQR; % 找出异常值索引 outlier_idx bp lower_bound | bp upper_bound; % 查看异常值 disp(异常值); disp(bp(outlier_idx)); % 处理可以剔除也可以盖帽Winsorize % 剔除 dataTable(outlier_idx, :) []; % 盖帽法将超出部分设为边界值 bp(bp lower_bound) lower_bound; bp(bp upper_bound) upper_bound; dataTable.BloodPressure bp;字符串处理与分类变量转换% 去除字符串首尾空格 dataTable.Condition strtrim(dataTable.Condition); % 将文本型分类变量转换为categorical类型便于统计和绘图 dataTable.Group categorical(dataTable.Group); % 查看类别 categories(dataTable.Group)3.4 数据重构从“宽表”到“长表”在统计分析或某些绘图函数如boxplot中我们常常需要“长格式”数据。宽表是每个观测对象占一行所有变量占多列。长表则是每个观测值占一行包含标识变量、分类变量和数值变量。 假设原始宽表wideTable有列SubjectID,Test1_Score,Test2_Score,Test3_Score。% 使用stack函数将宽表变长表 longTable stack(wideTable, {Test1_Score, Test2_Score, Test3_Score}, ... NewDataVariableName, Score, ... IndexVariableName, TestType); % 结果longTable会有列SubjectID, TestType, Score % 其中TestType是分类变量值为‘Test1_Score’, ‘Test2_Score’等这个操作对于后续进行方差分析ANOVA或分组绘图至关重要。4. 统计分析的起点假设检验与Matlab实现数据清洗整理好后建模前常常需要做一些探索性统计分析其中假设检验是判断数据差异是否显著的关键工具。网络热词中提到了ttest和ttest2这确实是初学者容易混淆的点。4.1 单样本t检验ttest用途判断一组样本数据的均值是否与某个已知的总体均值理论值、标准值存在显著差异。场景你测量了10批新生产药片的有效成分含量样本想知道其平均含量是否等于标称的100mg总体均值。sample_data [98.5, 101.2, 99.8, 100.5, 100.1, 99.2, 100.8, 98.9, 100.0, 99.5]; pop_mean 100; % 总体均值标称值 % 进行单样本t检验 [h, p, ci, stats] ttest(sample_data, pop_mean); % h: 假设检验结果。h1表示拒绝原假设均值不等h0表示不能拒绝无法认为均值不等。 % p: p值。p 0.05显著性水平通常认为差异显著。 % ci: 样本均值的95%置信区间。 % stats: 包含t值、自由度等统计量的结构体。 fprintf(p值 %.4f\n, p); if h 1 fprintf(在0.05水平上样本均值与%d存在显著差异。\n, pop_mean); else fprintf(在0.05水平上无法认为样本均值与%d存在显著差异。\n, pop_mean); end4.2 双样本t检验ttest2用途判断两组独立样本的均值是否存在显著差异。场景比较使用两种不同教学方法A组和B组的学生考试成绩是否有显著差别。group_a_scores [85, 88, 92, 78, 90, 87]; % 方法A的成绩 group_b_scores [80, 82, 85, 79, 83, 81]; % 方法B的成绩 % 进行独立双样本t检验默认假设两组方差相等 [h, p, ci, stats] ttest2(group_a_scores, group_b_scores); % 如果怀疑两组方差不等应使用‘Vartype’ ‘unequal’参数 % [h, p, ci, stats] ttest2(group_a_scores, group_b_scores, Vartype, unequal); fprintf(两组独立样本t检验 p值 %.4f\n, p);核心区别与选择ttest比较一组数据vs一个数值。ttest2比较两组数据vs两组数据。关键前提t检验要求数据近似服从正态分布。在使用前建议用normplot或lillietestLilliefors检验检查一下数据的正态性。如果数据严重偏离正态分布应考虑使用非参数检验如ranksumWilcoxon秩和检验相当于Mann-Whitney U检验。4.3 配对样本t检验ttest的特殊形式用途比较同一组对象在两种不同条件下的测量值。场景同一批患者服用降压药前和服药后的血压值比较。bp_before [140, 138, 150, 135, 142]; % 服药前 bp_after [132, 130, 145, 128, 136]; % 服药后 % 配对t检验本质上是对“差值”做单样本t检验检验差值均值是否为0 [h, p, ci, stats] ttest(bp_before, bp_after); % 注意这里用的是ttest不是ttest2 % 也可以显式计算差值 difference bp_before - bp_after; [h, p] ttest(difference, 0);为什么用ttest而不是ttest2因为配对数据不是独立的两组数据间存在相关性。直接对差值做检验消除了个体间差异检验效力更高。如果你错误地用了ttest2可能会得到不准确的结论。5. 效率提升脚本化与自动化你的数据处理流程在建模过程中数据处理很少是一次性的。你可能需要多次调整参数、更换数据源或重复实验。把清洗和分析步骤写成脚本或函数能极大提升效率和可复现性。5.1 编写一个数据清洗函数将第3部分的清洗步骤封装起来。function [cleanTable] cleanExperimentData(filename) % CLEANEXPERIMENTDATA 清洗并导入实验数据Excel文件 % 输入 % filename - Excel文件名字符串 % 输出 % cleanTable - 清洗后的table数据 % 1. 设置导入选项根据你的文件结构调整 opts detectImportOptions(filename); opts.DataLines [5, Inf]; opts.VariableNamesLine 5; % 预设变量类型假设你知道各列类型 varTypes {string, double, double, categorical, datetime}; opts setvartype(opts, varTypes); % 2. 导入数据 rawTable readtable(filename, opts); % 3. 重命名变量可选使变量名更友好 rawTable.Properties.VariableNames {ID, Weight, ResponseTime, Group, Date}; % 4. 处理缺失值以ResponseTime为例 missingVal isnan(rawTable.ResponseTime); if any(missingVal) fprintf(发现%d个缺失值使用中位数填充。\n, sum(missingVal)); medianVal median(rawTable.ResponseTime, omitnan); rawTable.ResponseTime(missingVal) medianVal; end % 5. 剔除明显非法值如Weight为负 invalidWeight rawTable.Weight 0; rawTable(invalidWeight, :) []; fprintf(剔除了%d个体重非法记录。\n, sum(invalidWeight)); % 6. 将cleanTable赋值给输出 cleanTable rawTable; % 7. 可选保存清洗后的数据 [filepath, name, ~] fileparts(filename); saveName fullfile(filepath, [name, _cleaned.mat]); save(saveName, cleanTable); fprintf(清洗后的数据已保存至%s\n, saveName); end在命令窗口调用myData cleanExperimentData(my_experiment.xlsx);5.2 利用循环批量处理多个文件如果你的数据分散在多个Excel文件中比如每次实验一个文件批量处理是必须的。dataFolder .\实验数据\; % 数据文件夹路径 fileList dir(fullfile(dataFolder, *.xlsx)); % 获取所有.xlsx文件 allData cell(1, numel(fileList)); % 用元胞数组存储每个文件处理后的table for i 1:length(fileList) filename fullfile(dataFolder, fileList(i).name); fprintf(正在处理%s ...\n, fileList(i).name); try % 调用清洗函数 cleanedTable cleanExperimentData(filename); % 可以为每个表添加一个标识列记录来源文件 cleanedTable.SourceFile repmat({fileList(i).name}, height(cleanedTable), 1); allData{i} cleanedTable; catch ME warning(文件 %s 处理失败%s, fileList(i).name, ME.message); end end % 将所有table垂直拼接成一个总表要求列结构相同 if ~isempty(allData) combinedData vertcat(allData{:}); % 现在可以对combinedData进行整体分析了 end5.3 创建数据分析报告模板将常用的分析、绘图代码片段保存为脚本模板。例如一个standard_analysis.m模板可能包括数据导入和清洗调用你的函数。描述性统计mean,std,min,max,grpstats分组统计。正态性检验。可视化histogram,boxplot,scatter。假设检验t检验、方差分析等。将关键结果如p值、效应量和图表自动保存到Word或PDF报告。通过将这些流程脚本化你就能把重复劳动降到最低把精力集中在模型构建和结果解读这些更有创造性的工作上。数据处理不再是令人头疼的“脏活累活”而是一个高效、可靠、可复现的标准化流程这才是数学建模项目中真正的生产力基石。
Matlab数据处理实战：从Excel导入到假设检验的完整流程
1. 从“笔记”到“工具箱”为什么数据处理是建模的基石翻开任何一本数学建模的教材或者参加一次建模竞赛你大概率会看到这样的流程问题分析、模型假设、模型建立、模型求解、结果分析。这个流程很经典但它常常给人一种错觉好像“模型建立”和“模型求解”才是核心是高手们挥洒智慧的地方。然而根据我多年带学生参赛和实际项目中的经验真正决定一个项目成败、耗费时间最多、也最容易出错的环节往往被这个流程轻描淡写地一笔带过了那就是数据处理。你可以把数学建模想象成盖一栋房子。模型是你的设计蓝图求解算法是你的施工队而数据就是你盖房子用的砖头、水泥和钢筋。如果你的砖头尺寸不一、水泥标号不对、钢筋是生锈的那么无论你的设计图多么精妙施工队多么专业最终盖出来的房子也必然是危楼。数据处理就是确保你手头的“建筑材料”合格、规整、可用的过程。在“数学建模笔记 day-02”这个语境下第二天就深入数据处理恰恰说明了它的前置性和重要性——在动笔写模型之前你必须先搞清楚你的“砖头”长什么样。从网络热词中我们可以看到数据处理工具的“三国演义”Matlab、Excel和Python尤其是Pandas。很多新手会纠结到底学哪个我的建议是根据你的数据来源、处理复杂度和最终交付场景来选但核心是掌握数据处理的通用思想工具只是实现手段。Matlab在矩阵运算和科学计算中得天独厚与建模过程无缝衔接Excel是轻量级、可视化的神器适合快速探索和小规模整理PythonPandas则拥有无与伦比的灵活性和强大的生态适合处理复杂、非结构化和海量数据。在建模初期Excel和Matlab往往是更直接的选择。今天我们就聚焦在Matlab环境下抛开那些花哨的算法实实在在地聊聊如何把你的原始数据无论是来自实验、调查还是公开数据库变成模型“爱吃”的格式。这不仅仅是技术操作更是一种思维训练。2. Matlab数据容器详解向量、矩阵、元胞与结构体在Matlab里操作数据第一步是了解它有哪些“容器”。不同的容器适合装不同的“货物”用错了不仅效率低下还可能报错。2.1 基础容器数值数组向量/矩阵这是Matlab的“母语”。所有数值计算的核心都是基于数值数组。% 创建行向量、列向量和矩阵 row_vec [1, 2, 3, 4, 5]; % 行向量 col_vec [1; 2; 3; 4; 5]; % 列向量分号表示换行 matrix [1, 2, 3; 4, 5, 6; 7, 8, 9]; % 3x3矩阵 % 访问元素Matlab索引从1开始 second_element row_vec(2); % 得到 2 sub_matrix matrix(1:2, 2:3); % 获取第1-2行第2-3列得到 [2,3; 5,6]核心要点Matlab的数组在内存中是按列存储的。这意味着A(:)操作会将矩阵按列展开成一个列向量。在循环遍历矩阵元素时优先对列进行操作通常效率更高。对于建模中的数据比如一组传感器的时序读数通常用列向量表示每个变量矩阵的一列就代表一个变量在不同时间点的观测值。2.2 万能容器元胞数组当你需要把不同类型、不同尺寸的数据放在一个变量里管理时元胞数组就是你的救星。你可以把它想象成一个有很多小格子的储物柜每个格子可以独立存放任意东西——数字、文本、甚至另一个元胞数组或矩阵。% 创建元胞数组 cell_array {Alice, 25, [80, 90, 85]; Bob, 30, [70, 85, 88]}; % 2x3元胞数组 % 第一列是名字字符串第二列是年龄数值第三列是三门课成绩向量 % 访问元胞数组内容有两种方式 % 1. 花括号{}用于获取格子里“内容” name cell_array{1, 1}; % 得到字符串 Alice scores cell_array{1, 3}; % 得到向量 [80, 90, 85] % 2. 圆括号()用于获取“格子”本身仍是一个元胞 a_cell cell_array(1, 1); % 得到一个1x1的元胞内容是 {Alice}踩坑实录最常犯的错误就是混淆()和{}。cell_array(1,3)返回的是一个元胞你不能直接对它进行数值运算比如,-,*,/而cell_array{1,3}返回的是元胞里的内容那个向量可以直接运算。如果你看到错误提示“Undefined operator ‘’ for input arguments of type ‘cell’”十有八九是这里用错了。应用场景在数学建模中元胞数组非常适合存储非均匀的实验数据。例如你有5组实验每组实验的观测次数不同第1组测了10次第2组测了15次…每组的数据时间、读数可以作为一个元胞存入一个元胞数组中方便统一管理但又不要求长度一致。2.3 结构化容器结构体数组如果说元胞数组是储物柜那结构体数组就是标准化的档案袋。每个档案袋结构体都有固定的字段名每个字段下存放对应的数据。这使得数据访问非常直观类似于“对象.属性”。% 创建结构体数组 patient(1).name John Doe; patient(1).age 45; patient(1).test_results [120, 80, 37.5]; % 血压高压、低压、体温 patient(1).date 2023-10-26; patient(2).name Jane Smith; patient(2).age 34; patient(2).test_results [118, 82, 36.8]; patient(2).date 2023-10-27; % 访问数据 all_ages [patient.age]; % 提取所有age字段得到数组 [45, 34] johns_results patient(1).test_results; % 得到 [120, 80, 37.5] % 也可以一次性创建 patient struct(name, {John, Jane}, age, {45, 34}, results, {[120,80,37.5], [118,82,36.8]});为什么选择结构体当你的数据具有清晰的、重复出现的属性集时结构体比元胞数组更优。代码可读性极高你不需要记住“第3列是成绩”而是直接使用.test_results。在建模中如果你要处理多个对象如多个城市、多个股票、多个患者每个对象都有相同的属性维度使用结构体数组会让后续的统计分析、可视化变得非常方便。工具选型小结纯数值规整矩阵直接用数值数组效率最高。混合类型或大小不一的数据块用元胞数组灵活性最强。具有相同属性集合的多个对象用结构体数组可读性和操作性最好。3. 实战从混乱的Excel到整洁的Matlab数据集现在我们进入实战环节。假设你从实验搭档或合作方那里拿到一个名为experiment_data.xlsx的Excel文件里面数据可能很混乱有合并单元格做标题有空行有文本备注数值和文本混在同一列。我们的目标是将它清洗并导入Matlab形成可用于分析的结构化数据。3.1 初步探查与“脏数据”识别不要一上来就用xlsread或readtable。先用Matlab的导入工具手动看一下。% 方法在Matlab命令窗口输入 uiimport(experiment_data.xlsx) % 或者在“主页”选项卡点击“导入数据”。这个图形化工具会预览文件内容让你指定数据范围、表头行、数据类型。通过这个预览你能快速发现以下典型问题表头问题标题占用了多行真正的变量名在第3行。无关行列最前面几行是实验说明最后几行是统计摘要都不是我们需要的主体数据。数据格式不一致某一列应该是数值但其中混入了“N/A”、“-”或文本注释。多余空格字符串数据前后有空格导致“Control”和“Control ”被当作两个类别。识别出这些问题你就知道了清洗的重点。3.2 使用readtable进行智能导入对于现代版的MatlabR2016b以后readtable函数是处理表格数据的首选它比旧的xlsread强大得多能自动识别数据类型并生成一个table变量。% 基本导入 dataTable readtable(experiment_data.xlsx); % 但我们的文件很脏需要指定参数 opts detectImportOptions(experiment_data.xlsx); % 自动检测导入选项 % 查看并修改选项 disp(opts); % 假设我们发现数据从第5行开始变量名在第5行 opts.DataLines [5, Inf]; % 从第5行到文件末尾 opts.VariableNamesLine 5; % 第5行是变量名 % 假设第3列应该是数值但被识别为文本我们强制转换 opts setvartype(opts, 3, double); % 将第3列设为双精度浮点数 % 导入 dataTable readtable(experiment_data.xlsx, opts);table类型是介于矩阵和结构体之间的优秀容器。你可以像结构体一样用点号访问变量dataTable.Temperature也可以像矩阵一样进行逻辑索引并且它自带变量名在显示和绘图时非常友好。3.3 数据清洗核心操作导入后的dataTable可能仍有问题我们需要在Matlab中进行二次清洗。处理缺失值Matlab用NaNNot a Number表示缺失的数值。% 查找缺失值 missing_idx isnan(dataTable.ResponseTime); % 用均值填充根据情况也可用中位数、前后值插补等 mean_val mean(dataTable.ResponseTime, omitnan); dataTable.ResponseTime(missing_idx) mean_val; % 对于分类变量中的缺失文本有时可以设为‘Unknown’ dataTable.Group(cellfun(isempty, dataTable.Group)) {Unknown};处理异常值常用的是基于标准差或分位数箱线图原理。% 假设我们处理‘BloodPressure’列 bp dataTable.BloodPressure; Q1 prctile(bp, 25); Q3 prctile(bp, 75); IQR Q3 - Q1; lower_bound Q1 - 1.5 * IQR; upper_bound Q3 1.5 * IQR; % 找出异常值索引 outlier_idx bp lower_bound | bp upper_bound; % 查看异常值 disp(异常值); disp(bp(outlier_idx)); % 处理可以剔除也可以盖帽Winsorize % 剔除 dataTable(outlier_idx, :) []; % 盖帽法将超出部分设为边界值 bp(bp lower_bound) lower_bound; bp(bp upper_bound) upper_bound; dataTable.BloodPressure bp;字符串处理与分类变量转换% 去除字符串首尾空格 dataTable.Condition strtrim(dataTable.Condition); % 将文本型分类变量转换为categorical类型便于统计和绘图 dataTable.Group categorical(dataTable.Group); % 查看类别 categories(dataTable.Group)3.4 数据重构从“宽表”到“长表”在统计分析或某些绘图函数如boxplot中我们常常需要“长格式”数据。宽表是每个观测对象占一行所有变量占多列。长表则是每个观测值占一行包含标识变量、分类变量和数值变量。 假设原始宽表wideTable有列SubjectID,Test1_Score,Test2_Score,Test3_Score。% 使用stack函数将宽表变长表 longTable stack(wideTable, {Test1_Score, Test2_Score, Test3_Score}, ... NewDataVariableName, Score, ... IndexVariableName, TestType); % 结果longTable会有列SubjectID, TestType, Score % 其中TestType是分类变量值为‘Test1_Score’, ‘Test2_Score’等这个操作对于后续进行方差分析ANOVA或分组绘图至关重要。4. 统计分析的起点假设检验与Matlab实现数据清洗整理好后建模前常常需要做一些探索性统计分析其中假设检验是判断数据差异是否显著的关键工具。网络热词中提到了ttest和ttest2这确实是初学者容易混淆的点。4.1 单样本t检验ttest用途判断一组样本数据的均值是否与某个已知的总体均值理论值、标准值存在显著差异。场景你测量了10批新生产药片的有效成分含量样本想知道其平均含量是否等于标称的100mg总体均值。sample_data [98.5, 101.2, 99.8, 100.5, 100.1, 99.2, 100.8, 98.9, 100.0, 99.5]; pop_mean 100; % 总体均值标称值 % 进行单样本t检验 [h, p, ci, stats] ttest(sample_data, pop_mean); % h: 假设检验结果。h1表示拒绝原假设均值不等h0表示不能拒绝无法认为均值不等。 % p: p值。p 0.05显著性水平通常认为差异显著。 % ci: 样本均值的95%置信区间。 % stats: 包含t值、自由度等统计量的结构体。 fprintf(p值 %.4f\n, p); if h 1 fprintf(在0.05水平上样本均值与%d存在显著差异。\n, pop_mean); else fprintf(在0.05水平上无法认为样本均值与%d存在显著差异。\n, pop_mean); end4.2 双样本t检验ttest2用途判断两组独立样本的均值是否存在显著差异。场景比较使用两种不同教学方法A组和B组的学生考试成绩是否有显著差别。group_a_scores [85, 88, 92, 78, 90, 87]; % 方法A的成绩 group_b_scores [80, 82, 85, 79, 83, 81]; % 方法B的成绩 % 进行独立双样本t检验默认假设两组方差相等 [h, p, ci, stats] ttest2(group_a_scores, group_b_scores); % 如果怀疑两组方差不等应使用‘Vartype’ ‘unequal’参数 % [h, p, ci, stats] ttest2(group_a_scores, group_b_scores, Vartype, unequal); fprintf(两组独立样本t检验 p值 %.4f\n, p);核心区别与选择ttest比较一组数据vs一个数值。ttest2比较两组数据vs两组数据。关键前提t检验要求数据近似服从正态分布。在使用前建议用normplot或lillietestLilliefors检验检查一下数据的正态性。如果数据严重偏离正态分布应考虑使用非参数检验如ranksumWilcoxon秩和检验相当于Mann-Whitney U检验。4.3 配对样本t检验ttest的特殊形式用途比较同一组对象在两种不同条件下的测量值。场景同一批患者服用降压药前和服药后的血压值比较。bp_before [140, 138, 150, 135, 142]; % 服药前 bp_after [132, 130, 145, 128, 136]; % 服药后 % 配对t检验本质上是对“差值”做单样本t检验检验差值均值是否为0 [h, p, ci, stats] ttest(bp_before, bp_after); % 注意这里用的是ttest不是ttest2 % 也可以显式计算差值 difference bp_before - bp_after; [h, p] ttest(difference, 0);为什么用ttest而不是ttest2因为配对数据不是独立的两组数据间存在相关性。直接对差值做检验消除了个体间差异检验效力更高。如果你错误地用了ttest2可能会得到不准确的结论。5. 效率提升脚本化与自动化你的数据处理流程在建模过程中数据处理很少是一次性的。你可能需要多次调整参数、更换数据源或重复实验。把清洗和分析步骤写成脚本或函数能极大提升效率和可复现性。5.1 编写一个数据清洗函数将第3部分的清洗步骤封装起来。function [cleanTable] cleanExperimentData(filename) % CLEANEXPERIMENTDATA 清洗并导入实验数据Excel文件 % 输入 % filename - Excel文件名字符串 % 输出 % cleanTable - 清洗后的table数据 % 1. 设置导入选项根据你的文件结构调整 opts detectImportOptions(filename); opts.DataLines [5, Inf]; opts.VariableNamesLine 5; % 预设变量类型假设你知道各列类型 varTypes {string, double, double, categorical, datetime}; opts setvartype(opts, varTypes); % 2. 导入数据 rawTable readtable(filename, opts); % 3. 重命名变量可选使变量名更友好 rawTable.Properties.VariableNames {ID, Weight, ResponseTime, Group, Date}; % 4. 处理缺失值以ResponseTime为例 missingVal isnan(rawTable.ResponseTime); if any(missingVal) fprintf(发现%d个缺失值使用中位数填充。\n, sum(missingVal)); medianVal median(rawTable.ResponseTime, omitnan); rawTable.ResponseTime(missingVal) medianVal; end % 5. 剔除明显非法值如Weight为负 invalidWeight rawTable.Weight 0; rawTable(invalidWeight, :) []; fprintf(剔除了%d个体重非法记录。\n, sum(invalidWeight)); % 6. 将cleanTable赋值给输出 cleanTable rawTable; % 7. 可选保存清洗后的数据 [filepath, name, ~] fileparts(filename); saveName fullfile(filepath, [name, _cleaned.mat]); save(saveName, cleanTable); fprintf(清洗后的数据已保存至%s\n, saveName); end在命令窗口调用myData cleanExperimentData(my_experiment.xlsx);5.2 利用循环批量处理多个文件如果你的数据分散在多个Excel文件中比如每次实验一个文件批量处理是必须的。dataFolder .\实验数据\; % 数据文件夹路径 fileList dir(fullfile(dataFolder, *.xlsx)); % 获取所有.xlsx文件 allData cell(1, numel(fileList)); % 用元胞数组存储每个文件处理后的table for i 1:length(fileList) filename fullfile(dataFolder, fileList(i).name); fprintf(正在处理%s ...\n, fileList(i).name); try % 调用清洗函数 cleanedTable cleanExperimentData(filename); % 可以为每个表添加一个标识列记录来源文件 cleanedTable.SourceFile repmat({fileList(i).name}, height(cleanedTable), 1); allData{i} cleanedTable; catch ME warning(文件 %s 处理失败%s, fileList(i).name, ME.message); end end % 将所有table垂直拼接成一个总表要求列结构相同 if ~isempty(allData) combinedData vertcat(allData{:}); % 现在可以对combinedData进行整体分析了 end5.3 创建数据分析报告模板将常用的分析、绘图代码片段保存为脚本模板。例如一个standard_analysis.m模板可能包括数据导入和清洗调用你的函数。描述性统计mean,std,min,max,grpstats分组统计。正态性检验。可视化histogram,boxplot,scatter。假设检验t检验、方差分析等。将关键结果如p值、效应量和图表自动保存到Word或PDF报告。通过将这些流程脚本化你就能把重复劳动降到最低把精力集中在模型构建和结果解读这些更有创造性的工作上。数据处理不再是令人头疼的“脏活累活”而是一个高效、可靠、可复现的标准化流程这才是数学建模项目中真正的生产力基石。 
![[光学原理与应用-521]：对光的错误理解与纠偏](http://pic.xiahunao.cn/yaotu/[光学原理与应用-521]：对光的错误理解与纠偏)
