08060803王怡然 发表于 2024-10-18 14:37:35

选题:智能垃圾分类系统—数据采集与清洗

基于EfficientNet和大模型的智能垃圾分类系统——数据采集与清洗

08060803王怡然 发表于 2024-10-25 22:13:25

学习图像识别的基本原理和流程
图像采集:了解图像采集的方法和设备,如摄像头、扫描仪等。掌握不同采集设备的特点和适用场景,以及如何确保采集到的图像质量高、清晰度好。
预处理:学习图像预处理的技术和方法,如去噪、增强、裁剪、缩放等。了解这些预处理步骤的目的和作用,以及如何选择合适的预处理方法来提高图像识别的准确性。
特征提取:研究图像特征提取的方法和算法,如 SIFT、HOG、CNN 特征等。了解不同特征提取方法的特点和适用场景,以及如何选择合适的特征提取方法来提高模型的性能。
分类器设计:学习分类器的设计和训练方法,如支持向量机(SVM)、随机森林(Random Forest)、深度学习分类器等。了解不同分类器的特点和适用场景,以及如何通过优化分类器的参数和结构来提高分类的准确性。

熟悉垃圾分类标准和知识
了解国家和地方的垃圾分类标准
查阅国家和地方政府发布的垃圾分类政策文件和标准规范。了解不同地区的垃圾分类标准和要求,包括可回收物、有害垃圾、厨余垃圾和其他垃圾的具体分类范围和定义。
对比不同地区的垃圾分类标准,分析其差异和共同点。了解这些差异对垃圾分类模型和文本互动模块的影响,以及如何在项目中考虑这些差异。
关注垃圾分类标准的变化和更新。随着环保政策的不断推进和垃圾分类工作的深入开展,垃圾分类标准可能会发生变化。及时了解这些变化,确保项目的可持续性和适应性。
掌握不同类型垃圾的特点和常见物品
对可回收物、有害垃圾、厨余垃圾和其他垃圾进行分类研究。了解每种类型垃圾的特点和性质,如可回收物的可再利用性、有害垃圾的危害性、厨余垃圾的易腐性等。
列出每种类型垃圾的常见物品,如可回收物包括纸张、塑料、金属、玻璃等;有害垃圾包括电池、灯管、药品、化妆品等;厨余垃圾包括剩菜剩饭、果皮果核、菜叶菜根等;其他垃圾包括砖瓦陶瓷、渣土、卫生间废纸等。通过了解这些常见物品,可以在数据采集和清洗过程中更准确地判断垃圾的类别。
学习一些特殊垃圾的分类方法,如大件垃圾、电子垃圾、医疗垃圾等。这些垃圾的分类处理方式可能与普通垃圾有所不同,需要特别注意。

08060803王怡然 发表于 2024-11-1 23:59:45

本周,我全身心地投入到了数据集的收集工作当中。通过多种渠道,广泛地搜集了大量与垃圾相关的数据。在收集完成后,我紧接着进行了细致的数据处理。这个过程中,我运用了专业的数据处理工具和方法,对数据进行了整理和筛选,去除了一些无效和错误的数据。随后,我又进行了严格的数据清洗,确保数据的准确性和可靠性。
经过一番努力,我成功地将数据集分为四个大类别,这四个大类别与社会目前大力推行的四种分类垃圾完全对应,分别是可回收物、有害垃圾、厨余垃圾以及其他垃圾。其中,每一类又进一步细分了各种常见垃圾。比如在可回收物类别中,细分出了纸张、塑料、玻璃、金属等常见的可回收垃圾;有害垃圾类别中包含了废旧电池、过期药品、废旧灯管等;厨余垃圾则涵盖了剩菜剩饭、果皮果核等;其他垃圾包括砖瓦陶瓷、渣土等难以归类的垃圾。进行了垃圾分类图片收集

08060803王怡然 发表于 2024-11-8 22:04:04

经过垃圾分类图片收集后,对整理好的数据集进行标注。为每一张垃圾图片标注其对应的垃圾类别,确保标注的准确性和一致性。可以采用多人标注、交叉验证等方法,提高标注的质量。

08060803王怡然 发表于 2024-11-22 09:01:18

根据数据集的规模和项目时间安排,制定合理的标注数据审核计划。数据集包含4万张图片,计划每周审核八千张图片,分五周完成首轮全面审核。后续根据模型训练反馈情况,不定期进行抽检审核,每次抽检数量不少于一千张。
审核标准:明确标注正确的判断标准,依据国家和地方的垃圾分类标准以及项目中设定的细分类别,检查每张图片标注的垃圾类别是否准确。比如,一张图片显示为喝完的塑料饮料瓶,标注应为 “可回收物 - 塑料” 类别才正确;若标注成 “其他垃圾” 则属于标注错误。
检查是否存在遗漏标注的情况,例如图片中有多个垃圾物品,但只标注了其中一部分,这就需要补充完整所有可见垃圾的对应类别标注。
统一标注格式规范,比如要求采用 “类别 - 具体物品(如有)” 的格式,像 “有害垃圾 - 废旧电池”,确保整个数据集标注格式的一致性。
按计划逐张查看图片及其标注信息,对照审核标准进行判断,对于存在疑问的标注做好记录,可在图片旁备注具体问题,如 “图片中此物看起来像玻璃制品,但标注为塑料,需确认”。
建立审核结果记录表,记录每张图片的编号、原始标注、审核意见(正确、错误、需修改内容等)以及审核人员签名等信息,方便后续统计和追溯。
定期(如每周)汇总审核结果,将发现的标注问题反馈给负责标注的人员或团队,要求其在规定时间内(如三天内)完成修改,并提交修改后的标注数据以供复查。
复查修改后的数据,确保问题得到准确纠正,若仍存在问题,则再次反馈修正,直至审核通过的数据达到较高的准确率(如 98% 以上)。

08060803王怡然 发表于 2024-11-22 09:02:22

考虑数据扩充的方法,以增加数据集的多样性和规模。
基于图像基本变换的扩充(旋转、翻转、缩放、裁剪等)
图像旋转:
确定旋转角度范围,通常可以选择在 -30° 到 30° 之间,以一定的角度间隔(如 5°)对每张垃圾图片进行旋转操作。例如,对于一张厨余垃圾中苹果核的图片,依次按 -30°、-25°、-20°……25°、30° 进行旋转,生成多个新的图片样本,使其在不同角度下呈现,增加模型对角度变化的适应性。
保存旋转后的图片,并按照原图片的标注信息对新生成的图片进行相应标注,确保新样本标注准确无误。例如,旋转后的苹果核图片依然标注为 “厨余垃圾 - 果皮果核”。
图像翻转:
进行水平翻转和垂直翻转操作。以一张可回收物中纸质书籍的图片为例,进行水平翻转后,原本在左边页面的文字信息会出现在右边页面,但它依然属于 “可回收物 - 纸张” 类别,按照此原则对所有图片进行水平和垂直翻转,生成新的样本。
记录翻转操作信息以及对应的原图片编号等,方便后续管理和验证,确保新样本的标注与原图片一致且准确对应到相应的垃圾类别。
图像缩放:
设定不同的缩放比例,比如 0.8、0.9、1.1、1.2 等,对垃圾图片进行缩放处理。以一张有害垃圾中废旧电池的图片为例,将其按照不同缩放比例进行缩放,使电池在图片中呈现不同的大小,模拟在不同拍摄距离下的实际情况。
对缩放后的图片同样依据原标注进行分类标注,保证数据集扩充过程中类别信息的连贯性,同时将缩放比例等相关参数记录下来,作为图像样本的辅助说明信息。
图像裁剪:
选择合适的裁剪区域和大小比例,例如,可以从垃圾图片中裁剪出垃圾物品的局部区域,或者保留部分背景进行裁剪。对于一张显示多个垃圾物品的厨余垃圾图片(包含剩菜剩饭和果皮果核),可以裁剪出只包含剩菜剩饭的区域作为一个新样本,标注为 “厨余垃圾 - 剩菜剩饭”。
对裁剪后的图片做好标注和相关裁剪操作记录,确保裁剪后的样本能够准确反映相应的垃圾类别,且能为模型训练提供多样化的图像特征。
数据增强处理
添加噪声:
选择合适的噪声类型,如高斯噪声、椒盐噪声等,确定噪声强度参数。例如,对于高斯噪声,可以设置不同的均值(如 0)和标准差(如 0.1、0.2 等),按照设定的参数对每张垃圾图片添加相应的噪声。
以一张 “可回收物 - 玻璃制品” 的图片为例,添加高斯噪声后,图片表面会出现一些类似模糊、颗粒状的效果,模拟在实际拍摄中可能遇到的光线干扰、相机传感器噪点等情况,使模型能够学习到带有噪声干扰下的图像特征,提高对实际复杂环境的适应能力。
对添加噪声后的图片做好相应记录,注明添加的噪声类型和参数,同时保持原有的垃圾类别标注不变,保证数据集的标注一致性。
改变光照条件:
通过图像处理算法调整图片的亮度、对比度、色调等光照相关参数。比如,可以将图片的亮度在原有基础上降低 20%、提高 30% 等不同程度的调整,改变图片的整体明暗效果;或者调整对比度,使图像中的垃圾物品轮廓更加鲜明或柔和,模拟在不同光照环境(如强光、弱光等)下的拍摄效果。
对于一张 “厨余垃圾 - 菜叶” 的图片,降低亮度后,菜叶的颜色可能会变得更深,纹理细节在较暗环境下呈现出不同的视觉特征,通过这样的处理让模型能够应对各种光照条件下的垃圾分类任务。
记录每次光照条件改变的具体参数和操作,确保对应的图片标注依然准确对应相应的垃圾类别,方便后续在模型训练中分析不同光照增强处理对模型性能的影响。
调整颜色:
采用色彩变换算法,对垃圾图片的颜色进行调整,如改变色相、饱和度、明度等参数。可以随机选择一定比例(如 30%)的图片,将其颜色饱和度提高或降低一定程度(如提高 50%、降低 30% 等),使同一种垃圾在不同的颜色表现下依然能够被准确识别分类。
例如,对 “可回收物 - 塑料” 类别中的彩色塑料玩具图片,降低饱和度后,其颜色变得相对暗淡,但形状、纹理等特征依然保留,模型通过学习这些不同颜色变化的图像,能够更好地泛化到实际应用中可能遇到的各种颜色的同类塑料垃圾情况。
同样,要对颜色调整的具体操作和参数进行详细记录,维持图片标注与原类别一致,确保数据增强后的数据集质量和可用性。
通过以上详细的数据验证审核以及扩充增强步骤,可以不断优化数据集,为后续的垃圾分类模型训练等工作提供高质量、多样化的数据支持,有助于提高整个项目的性能和效果。
页: [1]
查看完整版本: 选题:智能垃圾分类系统—数据采集与清洗