外汇数据文件清洗与存储实战：从CSV到Parquet的完整指南

简介外汇数据文件FxData是一份面向外汇交易者、量化分析师及金融学习者的数据资料包可为汇率数据解析、技术指标应用与自动化交易策略验证提供可运行的参考样例。压缩包共有11个文件主要包含可执行程序MasterSignal.exe、程序运行所依赖的System.Data.SQLite.dll等多个动态库以及config/json配置文件、pdb调试符号和SFA.db数据库文件整体体积仅880KB轻量便携。该资料已有315人学习适合对Forex数据结构、交易信号产生机制及C#程序实现感兴趣的读者。借助包内程序与数据库不仅能直观理解货币对报价、时间序列存储和信号触发逻辑还能为后续研究高频交易或回测系统搭建提供入手基础。 外汇数据文件这件事说大不大说小不小。做了几年外汇相关的量化回测和数据整理我越来越觉得一套干净、完整、更新及时的FxData数据文件比模型本身的值钱程度差不了多少。很多人在策略上一通操作猛如虎最后死在数据上——时间戳错位、跳空留白、周期拼接对不齐、经纪商报价口径不统一随便哪一个都能让回测结果和实盘差出十万八千里。今天这篇就把外汇数据文件的类型、格式、清洗、存储、更新这些事掰开揉碎讲一遍都是实打实踩过坑之后留下来的经验。先说清楚这篇内容适合谁。如果你刚开始接触外汇历史数据想搞明白M1、H1、D1这些周期文件到底怎么整理才规整如果你已经在做回测但总感觉数据有点不对劲或者你只是想把手里的外汇数据文件从乱糟糟的CSV堆变成一个高效、可复用的本地数据库——那这篇文章就是给你写的。为了照顾刚入门的朋友我也会把一些基础概念用不太“术语”的方式讲明白。1. 外汇数据文件到底有什么可讲的外汇市场和股票、期货最大的不同在于它没有统一交易所数据来源天然分散。股票你可以直接从交易所拿到完整的逐笔委托和成交外汇只能从流动性供应商、经纪商、数据服务商那边一层一层拿报价和成交数据。这就导致同一个货币对A平台和B平台导出的历史K线可能是两套完全不同的数据。你在互联网上能找到的免费外汇历史数据质量更是参差不齐有缺斤短两的、有时间戳乱跳的、有隔夜利息调整前后口径不统一的。好好研究数据文件的整理本质上是在给自己的策略打地基地基好坏直接决定上层建筑能用多久。1.1 外汇数据的“长相”其实很固定不管数据来源是哪家外汇数据文件几乎都逃不出这几种长相。最常见的是纯K线文件字段通常是日期时间、开盘价、最高价、最低价、收盘价有的还带成交量但外汇的成交量一般来自经纪商撮合或报价频次意义和股票成交量完全两个概念。第二类是tick数据记录每一笔报价变动字段更简单时间戳、买价、卖价。第三类则是经过拼接的多周期数据比如把M1拼成M5、M15、H1、D4这类文件的坑最多因为拼接逻辑不同结果会差很多。搞清楚手里文件属于哪一类是后续一切处理的前提。1.2 不同周期文件的用途定位不同周期的数据文件在使用上的定位差异也很明显。我个人的经验是回测入场和离场都精细到分钟级的策略必须用M1甚至tick数据日线级别的长线趋势策略用H1和D1就够了强行用M1反而引入大量噪声。还有一个常被忽略的场景——用数据文件做市场微观结构分析比如分析点差变化、流动性薄厚这个时候tick数据是唯一的答案任何K线周期的文件都还原不了盘口细节。所以建数据文件库之前先想清楚用途再决定去搜集什么粒度省下的存储和时间都相当可观。2. 存储格式选型别让存储格式拖后腿刚接触外汇数据文件的人最常见的做法是把下载到的CSV一股脑丢进文件夹要用的时候用pandas去读。说实话我自己最早也这么干但数据量一上来、策略迭代一频繁CVS直接读整年的M1数据就要等好几秒来回调试的时候那种烦躁感真的会消磨耐心。后来我在实践里逐渐梳理出一套存储格式选型思路现在拿出来分享给大家。2.1 CSV、HDF5、Parquet三选一先聊聊CSV。它的最大优势是通用和可读性强任何工具、任何环境都能打开出问题的时候排查也方便用文本编辑器就能直接看内容。缺点就是慢和占空间。一份欧美的M1数据一年大概20多万行CSV存下来磁盘占用几十MB每次读取虽然不至于特别夸张但在循环回测场景下就有点痛苦了。HDF5是我用过一段时间的中坚方案。它是二进制格式读取速度比CSV快一个量级而且支持按日期分块读取不需要一次性把整个文件塞进内存。用Python生态的h5py或tables库操作很方便。缺点是不那么直观文件坏了很难修复也没有像CSV那样在任何工具里都能直接打开的能力。Parquet是我最近一两年比较偏爱的选择。它同样以列为单位压缩存储读取速度快、压缩率高、类型信息保留完整配合pandas或dask读取非常流畅。更重要的是Parquet文件自带schema时间列读取出来就是datetime64类型不会出现CSV那样每次都要重新解析时间字符串的麻烦。对于年份较长、周期较小的外汇数据这个优势尤其明显。我当前的主力方案是原始下载的CSV永久留存一份作为“母带”存档日常策略开发和回测使用Parquet格式的清洗后数据如果只是临时做一两次分析直接读CSV也无所谓不用死板。2.2 目录结构设计对后续效率影响很大格式定下来之后文件目录的规划我也有自己的一套习惯。早期我把所有货币对数据堆在一个文件夹里结果文件一多就乱糟糟的后来养成了一个固定结构FxData/ raw/ # 原始下载数据永久留档不做修改 EURUSD/ EURUSD_2020_M1.csv EURUSD_2021_M1.csv GBPUSD/ GBPUSD_2020_M1.csv parquet/ # 清洗后的parquet文件按周期和年份分片 EURUSD/ m1/ EURUSD_m1_2020.parquet EURUSD_m1_2021.parquet h1/ EURUSD_h1_2020.parquet checkpoints/ # 数据校验记录、日志 scripts/ # 清洗、更新脚本这个结构的好处有几个原始数据和加工数据分离万一清洗逻辑写错了可以直接回退到raw重新处理按年份分片后增量更新只需要补最后一年甚至最后一个月的数据不需要重跑全部历史校验记录单独放后续换电脑或者数据出问题的时候能很快定位到是哪个环节出了问题。2.3 按年分片还是按月分片这里再多说一句分片粒度的问题。我试过按月分片也试过按年分片最终在回测体验上选了按年分片。原因有二一是回测时通常是以年为单位做样本内外划分按年分片让加载逻辑非常直观二是外汇主力货币对一年M1数据的parquet文件大约几十MB加载进内存也就几百毫秒完全在可接受范围。如果你做的是高频策略需要频繁读取tick级别数据那可能按月甚至按周分片更合适这个可以根据自己的实际使用模式做取舍。3. 数据清洗外汇数据文件能不能用的分水岭拿到原始数据之后最忌讳直接拿去跑回测。原始CSV文件里藏着各种问题我处理过的采样数据中几乎每一批都会遇到时间戳问题、重复数据问题、异常跳变问题。清洗这一步做不好后面所有分析都是空中楼阁。3.1 时间戳与时区处理经验外汇数据文件里最大的坑之一就是时间戳。不同数据商的原始CSV里时间字段可能是UTC也可能是纽约时间、伦敦时间、经纪商本地时间有的还会出现没有时区标记的“裸时间”。如果你直接拿这些数据和其他来源的数据做合并时间轴对不上是必然的。我现在的处理铁律是读入数据后第一步统一转换成UTC时间并且显式地给时间列加上时区标记再存Parquet。具体到代码里一般是这样import pandas as pd df pd.read_csv(raw/EURUSD/EURUSD_2020_M1.csv) df[time] pd.to_datetime(df[time], utcTrue) # 明确指定并转成UTC df df.sort_values(time).drop_duplicates(subsettime).reset_index(dropTrue)这里有两层意思。第一pd.to_datetime(df[time], utcTrue)把字符串解析为带UTC时区的datetime后续不管策略里要显示成什么时区都可以通过tz_convert安全转换不会出现歧义。第二drop_duplicates(subsettime)是为了处理重复时间戳这个问题后面细聊。有一个小提示如果你使用的是比较旧的数据文件时间戳可能是Excel序列号样式或者毫秒级Unix时间戳这类情况需要先转换成标准字符串再走上面的流程。3.2 异常价格和坏值的排查技巧除了时间价格本身也可能是坏的。我最常遇到的情况有三类一是价格为0或负数的脏数据有可能是数据商在行情中断时用占位符填充二是连续多个tick价格完全不变这种数据来源可能是抽样压力过大或流动性不足真实性存疑三是单根K线的最高价低于开盘价、最低价高于收盘价这类逻辑错误通常在计算K线时产生。针对这些情况我常用的检查手段是写一个简单的规则引擎# 丢弃价格非正的记录 df df[(df[open] 0) (df[high] 0) (df[low] 0) (df[close] 0)] # 丢弃最高价比最低价还低的逻辑错误 df df[df[high] df[low]]这两行代码看起来简单但在实际数据中能过滤掉不少问题。价格跳跃幅度方面我的做法不是用固定阈值而是用滚动窗口把单根K线相对前N根中位数的跳变超过比如5倍Median Absolute Deviation的记录输出到日志文件人工复核。这个做法的好处是对不同波动率的货币对都适用不会出现EURUSD觉得阈值太大、GBPJPY又觉得阈值太小的情况。3.3 挂单数据、断点数据的取舍处理外汇数据文件还有一类比较隐蔽的问题就是数据存在“断点”。节假日、服务器维护、流动性枯竭都可能导致某段时间的数据完全空白。有的数据商会在空白段填-1或者0有的直接不输出导致文件里出现时间间隔异常增大。我处理断点数据的思路是分场景。对于日线级别的长周期策略节假日缺口其实不影响策略逻辑保持原样就好。但对于分钟级别的策略如果缺口发生在交易时段内往往可能是经纪商数据本身有问题我会选择把那段数据标记出来而不是直接删除以免影响后续高开低收的连续性。如果使用tick数据做微观结构分析遇到交易时间内的长空白我的建议是宁可丢弃该段数据也不要人为填充因为任何插值方法都只会引入更深的偏见。4. 增量更新与文件管理让数据活起来外汇市场一年365天基本都有交易数据文件的更新如果全部依赖手动操作又累又容易出错。我在实际维护过程中逐渐把更新流程沉淀为半自动脚本同时保留了不少人工校验的环节。4.1 手动导出与脚本自动更新的选择对于新手阶段我的建议是先手动下载不要一上来就搞自动化。原因是绝大多数免费数据源没有公开API下载方式五花八门甚至有些要靠复制粘贴写脚本的成本远超收益。等你对数据源、更新频率、数据格式都摸熟了再逐步把重复劳动脚本化。我现在做的是每天收盘后跑一次Python脚本从数据服务商的FTP接口拉取当天的数据增量自动追加到对应年份的parquet文件里。脚本逻辑不算复杂但有两个关键点一是下载完成后先和raw目录中的“母带”CSV做一次行数对比防止少传二是追加到parquet之前再次执行清洗去重防止重复下载导致同一时间戳出现两行数据。整个流程跑完会生成一份简要的日志文件放在checkpoints目录里方便以后排查。4.2 文件命名与归档习惯关于命名我吃亏吃在前头。早期文件名起得比较随意比如“欧美数据01.csv”过了一个月自己都忘了里面是什么周期、哪个年份、哪个时段。现在的命名规则非常死板固定为“货币对_周期_年份.后缀”例如EURUSD_m1_2020.parquet或者GBPUSD_h4_2021.parquet。如果数据源是模拟账户产生的我会在周期后面加_demo标记避免和真实账户数据混用。归档方面每年的1月1日我会把上一年的数据文件打一个压缩包放到冷存储目录整个工作目录只保留最近两年数据。原因是外汇历史数据通常越久远在策略中的权重越低长期积压在热存储里只会拖慢备份和检索速度。冷存储用普通机械硬盘或者备份网盘就足够数据本身不敏感但丢了重新清洗的成本很高所以保留安全冗余是值得的。4.3 数据版本管理这里再补充一个比较进阶的习惯——数据版本管理。你可能觉得只有代码才需要版本管理但数据也建议做版本标记。我的做法是在每个parquet文件里加一个data_version列通常记录“数据商代号导出日期清洗脚本版本”例如Dukascopy_20240108_v3。这样万一两个版本的数据导致回测结果差异巨大可以快速回溯对比分析而不是一脸懵地不知道问题出在数据还是策略上。5. 常见问题与排查技巧实录这一节我分享几个典型问题和排查思路都是我在维护外汇数据文件过程中实际遇到过、处理过并且今天还在使用的排查方法。5.1 日期缺失与交易日的逻辑外汇数据的“交易日”和自然日不同。很多新手把周六、周日缺数据当成异常其实外汇市场周末大体休市缺失是正常的。真正需要警惕的是工作日的交易时段出现明显缺口尤其是伦敦和纽约时段交替的时候如果数据突然中断几个小时你就该检查是不是数据源出了问题。我的快速检查方法是统计每个工作日的数据条数和基准值对比偏差超过一定比例就输出告警。也可以用每日第一条和最后一条记录的时间戳来判断开收盘是否正常。5.2 时间戳错位导致K线偏移这个问题的症状是你用日线数据画图发现每天的最高价最低价时间点和行情软件对不上或者某个货币对的数据整体和另一个货币对差了几个小时。排查思路很简单先打印出当天第一条和最后一条记录的本地时间看看是否和预期相符。如果EURUSD的数据显示每天0点开盘但行情软件里是每天凌晨5点开盘那大概率是时区没有处理好需要回到第3.1节重新统一时区。5.3 数据重复的三种情况重复数据是我遇到频率最高的问题。第一种是简单重复同一时间戳出现两次直接在清洗时drop_duplicates即可。第二种是部分字段重复比如时间戳不同但价格完全相同这种需要检查是不是数据源本身抽样有问题建议保留时间戳较早的一条删除后续重合数据。第三种是跨年分片文件之间的边界重复例如2020年12月31日23:59的数据出现在2020和2021两个文件里这时候按年分片的逻辑就要特别注意清洗脚本里一定要包含跨文件去重的环节。5.4 快速验证数据一致性的三个办法最后分享三个我日常最依赖的数据一致性验证手段。第一用sum、count等简单统计量对比原始CSV和清洗后的parquet确认行数差和过滤掉的数量一致再放大到个位数级别核对时间范围。第二随机抽一天用行情软件或者公开网页核对当天的高低收盘价至少保证价格字段没有批量偏移。第三用不同来源的数据做交叉验证比如把经纪商A和经纪商B同一天的日线画在一张图上正常情况应该高度重合如果出现系统性偏差警惕可能是数据商在做报价平滑或延迟处理。问题典型表现快速排查方法时区错位K线开盘时间偏移数小时打印首末条记录时间戳并与行情软件核对周末缺失周六周日无数据确认交易时段规则非异常情况交易日中断工作时段出现数小时空白统计每日数据条数并比对基准值重复条目同一时间戳出现多行使用drop_duplicates并输出删除数量跨年重复文件边界时间戳重复清洗脚本跨文件去重价格异常零值、负数、最高低于最低规则过滤并输出日志待人工复核如果你刚开始搭建自己的外汇数据文件库我的核心建议是先小后大先手工后自动化。挑一个主力货币对整理一年数据验证清洗逻辑跑通存储方案再逐步扩展到更多货币对和更长历史。数据整理是很细碎的工作但只要你愿意在前期多花些功夫后面做策略回测和实盘对接时的流畅感绝对对得起这段时间的投入。本文还有配套的精品资源点击获取