差异表达基因检测不仅具有统计学意义，而且具有生物学意义，在医学临床诊断、药物疗效判断、揭示疾病发生机制等方面都有重要的作用。在医学研究中，癌症差异表达基因检测就是一个重要的问题。差异表达基因检测统计方法的目的是识别由于实验环境变化而引起的表达水平改变的基因［43］。在基因芯片数据分析中，差异表达基因检测的传统方法通常是假定所有癌症组样本相对于正常组样本都具有过高或过低的表达。......
2023-11-21
Hadoop与Spark技术：专注差异表达基因检测数据分析
【摘要】：Hadoop技术比较容易由单台服务器扩充到数千台服务器。Spark技术主要提供基于内存计算，能快速进行数据分析，具有通用性，是可扩展的分布式计算引擎。Spark技术在进行数据分析时速度快。Spark技术有Hadoop以及MapReduce的特点，但Spark技术与MapReduce的不同之处是不需要读写HDFS，中间输出的结果保存在内存中。基于Spark技术和Hadoop框架结合的机器学习算法，解决了Mahout在迭代算法处理数据时消耗资源过多和系统整体性能下降的缺陷，提高了数据处理分析的速度［162］。
Hadoop技术比较容易由单台服务器扩充到数千台服务器。Hadoop框架的核心设计部件是为大数据提供存储功能的HDFS（分布式文件系统）和为大数据提供计算功能的MapReduce（计算框架）。HDFS对数据进行分布式存储和读取，能动态、弹性扩展存储大规模数据，具有冗余备份特性；MapReduce采用分而治之的思想，把一个数据处理过程拆分为负责数据过滤分发的Map过程和负责数据计算归并的Reduce过程，依据规则编写Map（映射），计算Reduce（规约）程序，完成计算任务。Hadoop具有分布式计算与存储功能，可扩展性强，支持TB和PB级别的超级文件存储，当扩充容量或运算时，仅仅通过增加数据节点服务器就可以；采用非结构化数据存储具有良好的弹性，采用分布式架构，数据有备份副本，具有良好的可靠性，某一台服务器硬件甚至整个机架损坏，HDFS仍可正常运行［160］。
Spark技术主要提供基于内存计算，能快速进行数据分析，具有通用性，是可扩展的分布式计算引擎。Spark支持数据查询、机器学习等业务场景，业务场景能无缝交叉融合，在不同应用中使用，可以快速构建高性能大数据分析。Spark的体系结构不同于Hadoop的MapReduce和HDFS，主要可分为以下几部分：Spark Core，如弹性分布式数据集（Resilient Distributed Datasets，RDD）；上下文（Spark Context）等实现Spark系统中的计算、I／O、调度和Shuffle等系统基本功能；Spark Core的上层建立的应用框架，如Spark SQL查询子项目、支持机器学习的MLlib库、GraphX图计算以及支持流计算的Spark Streaming等四大框架；其他实验性项目，如Tachyon、BlinkDB和Tungsten等。Spark用RDD进行数据抽象，将中间处理数据全部放到了内存中，减少运行时间［161］。(www.chuimin.cn)
Spark是一个开源分析处理大数据平台，基于Spark的聚类算法在图像分析、Web文本分类、生物科学、客户分群、市场营销、欺诈检测以及信息安全与管理等领域有着广泛的应用，为应对现实环境中复杂的场景，与不同的框架结合使用，能发挥更好的性能。Spark能快速处理多种场景下的大数据问题，高效挖掘大数据中的价值，为业务发展提供决策支持。Spark技术读写过程都基于内存，减少了I／O转换时间的消耗，提高了运算速度。Spark技术在进行数据分析时速度快。Spark技术有Hadoop以及MapReduce的特点，但Spark技术与MapReduce的不同之处是不需要读写HDFS，中间输出的结果保存在内存中。基于Spark技术和Hadoop框架结合的机器学习算法，解决了Mahout在迭代算法处理数据时消耗资源过多和系统整体性能下降的缺陷，提高了数据处理分析的速度［162］。
有关差异表达基因检测数据分析研究的文章
- 详细阅读
-
差异表达基因检测数据分析成果详细阅读
Tomlins等人在2005年提出了COPA方法，用于检测癌症组样本一小部分基因相对于正常组样本过表达的差异表达基因检测［101］，许多学者由此受到启发，截至2010年9月13日，该文章的引用次数已经达到了763次。David A.Hanauer指出在不久的将来，COPA差异表达基因检测方法会提供较多的与癌症发生演化相关的重要基因，从而为揭开癌症的神秘面纱贡献力量［102］。通过模拟研究和应用到公共基因芯片数据，表明以上成果为综合分析和提高传统差异表达基因检测提供了方法。......
2023-11-21
-
差异表达基因检测数据分析成果研究详细阅读
在国外涉及较早的变点研究是突变点，对于渐变式变点的研究也有一些结论，对于位置参数模型提出了变点的最小二乘法的估计。最小二乘法就是以观察值和理论值之差的平方和作为目标函数，将其达到极小值的点作为有关参数的点估计［8］。给出衡量最小二乘法识别多差异表达基因检测突变点能力的方法，模拟研究最小二乘法对不同具有差异表达基因的基因表达谱数据生成过程的多差异表达基因变点检测效果［10］。......
2023-11-21
-
RNA-Seq差异表达基因检测数据分析详细阅读
RNA-Seq测序技术已成为研究基因表达的重要实验手段，比较不同样本中基因表达差异，为解决后续的生物问题提供了定量分析的依据。生物信息学科的研究工作者近年来也意识到了大数据带来的挑战，开发了一些基于云计算的分析软件，其中涉及RNA-Seq数据分析的主要有MyRNA、Crossbow等。本部分的研究即将要构建的基因差异表达分析流程就是针对RNA-Seq技术得到的原始数据进行设计和实现的。......
2023-11-21
-
基因芯片应用研究：差异表达基因检测数据分析详细阅读
在农作物的基因育种方面，基因芯片技术已经成为育种工作的一项重要手段，利用基因芯片技术可以在多样本、高通量群体中进行基因筛选，从而找到携带目的基因的优良个体，充分利用有利的基因序列资源，创造方便、快捷的育种工作环境。近几年来，以基因芯片技术为代表的生物芯片技术迅速发展，使人类科学技术的研究有了阶段性的进步，对科学技术的发展产生了巨大的影响［32-34］。......
2023-11-21
-
Reads片段的Mapping：差异表达基因详细阅读
每个Reads片段都对应了一个基因的某个转录本，所以通过将Reads序列Mapping到参考基因组序列上，继而根据该参考基因组已有的基因注释信息，推定出各个基因在转录组中对应的表达量的高低。Reads序列Mapping的结果往往存储在Sam文件或者Bam文件中［180，181］。......
2023-11-21
-
差异表达基因检测方法简介详细阅读
许多研究者对此进行了研究，并提出了多种差异表达基因检测方法。OPA方法采用基因组数据异常分析的非参数方法对某特定基因进行检测，这个基因的基因芯片数据的一个组中只有一部分样本相对于另一组样本过高表达，剩余的样本没有差异表达的迹象。PACK方法、PADGE方法、PPRM方法、OPA方法、LRS方法也研究了假定癌症组子集样本相对于正常组样本有过高或过低表达的差异基因表达检测统计方法。......
2023-11-21
-
差异表达基因检测数据分析研究成果详细阅读
差异表达基因检测普遍采用的方法是计算T统计方法，T统计方法通过两组样本的均值来判断基因是否存在表达差异。差异基因表达检测研究通过在不同实验条件下基因表达水平的显著性变化来判断基因的差异性，通常采用假设检验原理，把样本分为正常组样本和癌症组样本两类，或者分为两种条件下的多次重复试验，并对此进行判断。T统计方法通常用于检测两组样本均值的显著差异性，在差异基因表达检测中，它也是常用的较简洁的统计方法。......
2023-11-21
相关推荐