论文研究过程中的原始数据处理

1. 原始数据的解释及相关概念 原始数据的概念： A.测序仪完成测序后生产的测序文件，经过单样品拆分后，获得的单样品测序文件。 B.或者  测序仪测序完成后，由测序仪直接拆分的单样品测序文件。 ——我们常常称之为“Rawdata” 原始数据展示(illumina测序平台、Fastq格式文件): Fastq格式文件：基于文本的，保存生物序列（通常是核酸序列）和其质量信息的标准格式，其实质是一种数据存储格式，其序列以及质量都是使用一个ASCII字符标示，最初有Sanger公司开发，目的是将Fasta序列和质量数据放在一起，目前已经成为高通量测序结果的事实标准。对于Fastq格式文件内容相关解释： 1）第一行以“@”开头，由文件识别标志和读段名（ID）组成； 2）第二行为碱基序列； 3）第三行以“+” 开头，也是由文件识别标志和读段名（ID）组成，其ID可以省略，但“+”不能省略； 4）第四行是第二行中的序列内容每个碱基所对应的测序质量值。 2.  数据质控 高通量测序下机的原始数据raw reads中存在一些低质量数据、接头以及barcode序列等，为消除其对后续分析准确性产生的影响，在数据下机以后对原始数据进行质控处理就成了至关重要的环节。 数据质控的概念： 将原始数据通过系列步骤（或同时进行）质量控制筛选的过程。 质控筛选后的数据，我们常常称之为“Cleandata”，也称之为“可以进行后续分析的序列”。 因各服务商提供的质控标准会略有不同，但大体包含（但不限于）如下几方面：   1）通过index提取序列，并作测序质量控制，质量达不到设置要求的去除，将序列与样本对应；   2）通过overlap完成拼接，去除index序列，overlap长度和错配要达到设置的要求，拼接不上的舍弃；   3）拼接完成且长度达不到设定要求的舍弃。 ？问题：Cleandata（可用于分析的序列）跟最终参与分析的序列数量相等吗？    我们将在OTU聚类环节给出答案。 3.  原始数据的重要性 原始数据一切数据分析的根本。分析过程文件、结果文件可以丢失，原始数据在，分析结果可以重现；原始数据一旦丢失，分析结果则不可重现；  原始数据应及时索取或保存。  获取方式     1）服务商提供：硬盘、网盘、U盘、邮件等数据载体。     2）自留保存：硬盘、上传NCBI等数据载体。 文章发表时，均需要上传NCBI，并获得唯一项目号。