去年帮一个学弟远程调试这套基于Django的证券分析系统时我第一次认真审视毕设全套源码这类项目的水有多深。他拿到手的源码压缩包超过1GB解压后光模型迁移文件就有几十个数据库却是空的依赖装了三遍还是报错Redis服务压根没启动。我花了两天晚上帮他理清了整套链路的来龙去脉最后他的毕业论文顺利通过答辩还被评委老师点名表扬了数据采集与展示闭环的设计思路。这篇文章就把这套基于Django的证券分析系统的完整实现思路捋一遍——数据从哪里来、表怎么设计、指标怎么算、页面怎么画、性能怎么优化、论文怎么写——顺带把我在远程调试和讲解这套源码时遇到的高频坑全部摊开来讲。如果你也正在做Django相关的大数据毕设或者在二手市场接过类似的全套源码项目这篇内容应该能帮你少踩至少一半的坑。1. 选题定调Django、大数据、证券分析三个关键词如何拼成一套完整的毕设1.1 为什么是Django而不是Spring Boot或Flask很多同学选题时第一反应是证券分析系统听起来厉害但落地的时候会纠结框架。说实话证券分析这种偏数据展示和查询密集型的系统用Django比用Spring Boot合适得多原因有三个。第一Django自带的后台管理Admin模块可以零成本做出一个数据管理后台。股票基本信息、日线行情、用户自选股这些表注册进Admin之后直接就能增删改查。做毕设最缺的就是工作量兜底Admin能帮你把后台管理功能这一块的工作量稳稳接住不用重复写一堆增删改查视图。第二Django的ORM在处理复杂查询条件组合时非常顺手。证券分析里最常见的操作就是按行业筛选按市盈率区间筛选按换手率排序这种多条件叠加用ORM的链式filter写起来比拼接SQL字符串干净得多维护也方便。第三Django生态里的第三方库正好覆盖了这套系统需要的所有能力——Django REST Framework做API、Celery做定时任务、Channels做WebSocket推送、Redis做缓存。整个技术栈都是现成的组合起来非常顺滑。至于Flask不是不能用而是到了后期做异步任务、做WebSocket、做API文档这些环节Flask需要你自己东拼西凑地集成而Django已经把目录结构都帮你规划好了。毕设讲究的是在规定时间内交出一个完整可演示的系统Django的约束性反而是优势。1.2 系统功能图谱一套典型的证券分析系统该有哪些模块我梳理了这套毕设源码中实际包含的功能模块大致可以分为五块下面用表格列清楚同时也是论文里画功能结构图时的参考目录。模块名称核心职责关键技术点用户模块注册、登录、自选股管理Django内置认证、Token认证数据采集模块定时拉取行情数据、增量更新Tushare/AkShare、Celery定时任务数据分析模块指标计算、选股策略、回测Pandas、NumPy、技术指标算法数据展示模块K线图、指标图表、排行榜ECharts、Ajax异步加载、DRF接口后台管理模块数据管理、用户管理、采集监控Django Admin、自定义Admin视图这五个模块构成了一个完整的闭环数据采集模块负责把数据装进数据库数据分析模块负责把数据加工成指标数据展示模块负责把指标画成图表用户模块负责让用户把感兴趣的股票加入自选后台管理模块负责让你管理员能审视整个系统里的每一条数据。1.3 我为什么在论文里把大数据这个帽子戴稳大数据三个字在毕设题目里很敏感很多老师看到会先入为主觉得你做不来。但换个角度想证券行情数据的体量确实不小——A股全市场日线数据累计下来有几千万条单个股票从上市到现在的分钟数据也能达到几十万条。这个数据量级在单机MySQL里做常规查询和聚合分析已经足够让性能瓶颈显现出来了。我在论文里是这样处理大数据这个概念的不做Hadoop、Spark那种分布式东西而是把重点放在大数据量下的存储方案、索引设计、查询优化、缓存策略上。这完全是理性的选择——你一个本科毕设用Django做证券分析系统核心价值在于数据采集、清洗、计算、展示的闭环而不是硬上分布式框架。把几千万行数据在MySQL里跑出流畅的查询体验这本身就是大数据处理能力的体现。2. 数据管线公开数据源接入与行情数据表设计详解2.1 数据源选型别掉进爬虫抓取的坑做证券分析系统第一个卡住的问题就是数据从哪来。很多同学第一反应是写爬虫去爬东方财富或者新浪财经我见过不少人在这一步耗掉半个月时间最后爬到一半被反爬机制封了IP或者页面改版导致解析代码全部作废。更稳妥的方案是直接用Tushare Pro这种开放数据接口。注册之后会拿到一个token调用它的Python库就能拉取股票列表、日线行情、复权因子、财务指标等十几类数据。它的接口做了良好的限流和规范化处理字段命名清晰数据质量高而且学术使用场景下有足够的免费额度。我在远程调试这套源码时发现原作者用的就是Tushare。这个选择在论文里也非常好写——数据来源规范化、采集过程全程可追溯、接口字段有官方文档支撑这些东西放在论文的可行性分析章节里都是加分项。使用Tushare时有一个细节必须提它的积分体系决定了你能调用哪些接口。日线行情daily和历史行情pro_bar属于基础接口注册就有额度但财务指标类的接口需要更高积分。毕设场景下日线数据完全够用不建议一开始就去折腾财务数据接口。2.2 数据库表结构设计一张表怎么撑起全系统的查询需求这套系统的核心表是股票日线行情表stock_daily它承载了大部分查询压力。整张表的设计直接影响后续指标计算速度、K线图加载速度和选股筛选效率所以值得单独拆出来说一下。当时我看到的表结构大致是这样class StockDaily(models.Model): ts_code models.CharField(max_length16, db_indexTrue, verbose_name股票代码) trade_date models.DateField(db_indexTrue, verbose_name交易日期) open models.FloatField(verbose_name开盘价) high models.FloatField(verbose_name最高价) low models.FloatField(verbose_name最低价) close models.FloatField(verbose_name收盘价) pre_close models.FloatField(verbose_name前收盘价) change models.FloatField(verbose_name涨跌额) pct_chg models.FloatField(verbose_name涨跌幅) vol models.FloatField(verbose_name成交量) amount models.FloatField(verbose_name成交额) class Meta: db_table stock_daily unique_together (ts_code, trade_date) ordering (-trade_date,)这里有两个设计上的关键决策。第一个关键决策是联合唯一索引。unique_together (ts_code, trade_date)看起来不起眼但在数据采集和清洗时至关重要。增量更新数据时你可以放心使用update_or_create不必担心重复数据把表撑爆。没有这个约束的话定时任务只要跑重一次表里就会堆积大量重复代码行选股结果和图表数据全部会变得不可信。第二个关键决策是trade_date单独加索引。按日期范围查询比如最近60个交易日是整个系统里最频繁的操作。如果只靠联合索引里的ts_code前缀你会发现单只股票的时间范围查询走不了索引全表扫描的速度在数据量上来之后会慢得让你怀疑人生。除了核心行情表系统的其余表相对简单用户表直接用Django内置的User模型扩展一个Profile字段股票基本信息表存储上市时间、行业、总市值等静态数据自选股表是用户和股票多对多关系的中间表技术指标表是在日线数据的基础上预计算出来的结果表。2.3 增量更新与数据清洗定时任务背后的逻辑数据采集不能每次把全量数据删掉重灌那样既浪费时间又容易把表搞炸。我调试时看到的做法是历史数据一次性灌入后续每日增量更新。历史数据回填用的是Tushare的pro_bar接口按股票代码分批次拉取从上市日期到当前的所有日线记录然后批量写入。这里有一个容易踩的坑全市场几千只股票如果串行拉取耗时可能长达数小时所以需要用ThreadPoolExecutor做多线程并发配合update_or_create写入。实测8个线程并发拉取A股全市场数据大约二十多分钟可以跑完。增量更新的逻辑就简单多了Celery的定时任务每天早上9点10分跑一次拉取最近两个交易日的日线数据为什么拉两个交易日因为遇到节假日调休时昨天不一定是交易日多拉一天做幂等更新更稳妥。拿到数据后和数据库中已有的记录比对只插入不存在的记录这就是get_or_create的用武之地。数据清洗环节容易被新手忽略但它是决定系统数据质量的关键。原始接口返回的数据偶尔会包含空值、跳变值或者停牌导致的空行。我当时调试时见到原作者的处理方式比较粗暴——直接用dropna()把含空值的行丢掉然后再根据pct_chg字段做一次绝对值过滤把超过涨跌幅限制的异常数据行排除掉。这种做法从工程角度看够用但如果你想让论文更有亮点可以考虑用当日涨跌幅超过10%科创板/创业板为20%则标记为异常数据并告警这样的规则引擎思路。3. 核心功能再造K线可视化、技术指标与选股回测的实现思路3.1 后端API如何设计DRF让前端拿数据像喝水一样简单这套系统的前后端交互全部走RESTful API用的是Django REST Framework。在没有DRF的时候你需要在视图中手动把QuerySet序列化成JSON再自己处理分页参数、排序参数代码又臭又长。用DRF之后一个视图集加两个类就能搞定。class KlineViewSet(viewsets.ModelViewSet): queryset StockDaily.objects.all() serializer_class KlineSerializer def list(self, request, *args, **kwargs): ts_code request.query_params.get(ts_code) limit int(request.query_params.get(limit, 120)) qs StockDaily.objects.filter(ts_codets_code).order_by(trade_date)[:limit] data KlineSerializer(qs, manyTrue).data return Response(data)实际调试中发现原作者并没有把limit参数做上限校验。这是个安全隐患别人传一个limit9999999就能把你的接口拖垮。我把这个参数改成min(limit, 500)既保证前端图表有足够数据量又避免接口被人恶意打穿。3.2 前端图表选型ECharts处理K线图的细节前端可视化我坚持推荐ECharts没有第二选项。它是国内社区生态最完善的开源图表库K线图、成交量图、指标图这些证券场景组件全部内置示例代码多到随便搜就是一堆。ECharts的K线图数据格式有个坑必须讲清楚。它要求每个数据点是[open, close, low, high]这样的顺序注意收盘价在第二位开盘价在第一位。很多新手从后端直接传(open, high, low, close)图表画出来上下影线全反看起来像是行情倒着走。我在调试这套系统时就亲眼在一个同学的演示DEMO上看到K线图阴阳颠倒他自己都没发现。正确做法是后端返回时就把顺序调整好或者前端拿到数据后用映射函数转换。我采用的方案是后端序列化器直接输出[2018-01-02, 11.5, 11.9, 11.2, 11.8]这种格式日期放第一位后面跟四位数价格ECharts配置好dataZoom和axisPointer就能直接渲染。3.3 技术指标计算让Pandas替你算MACD和KDJ证券分析系统的核心卖点之一就是技术指标。MACD、KDJ、RSI、BOLL这些指标如果自己用循环去算效率极低且容易出错。正确姿势是用Pandas的向量化计算。MACD的计算逻辑是先算EMA12和EMA26DIF等于两者之差DEA是DIF的9日EMAMACD柱是两倍的(DIF减DEA)。用Pandas大概长这样df[ema12] df[close].ewm(span12, adjustFalse).mean() df[ema26] df[close].ewm(span26, adjustFalse).mean() df[dif] df[ema12] - df[ema26] df[dea] df[dif].ewm(span9, adjustFalse).mean() df[macd] (df[dif] - df[dea]) * 2ewm是Pandas里处理指数加权移动平均的核心方法span对应EMA的周期参数adjustFalse表示采用递推公式计算和证券分析软件里的标准EMA公式完全一致。KDJ的计算稍微复杂一点需要先计算RSV未成熟随机值再对RSV做指数平滑得到K和D最后J等于3倍K减2倍D。这些计算全部可以用向量化方式完成避免了循环遍历DataFrame的低效写法。指标计算完成后把结果存到单独的技术指标表中前端展示时直接查表而不需要每次请求都重新算一遍。这就是以空间换时间的思路在论文中可以着重强调一下属于你在性能优化上实打实的思考。3.4 选股器与策略回测从能用到有亮点的关键模块选股器模块是高区分度的功能。普通的毕设能做出一堆图就不错了但如果你能做出来一个让用户指定条件组合比如市盈率低于20、KDJ金叉、过去5日成交量放大然后输出候选股票列表的功能论文的含金量会明显上一个台阶。选股器的后端实现本质上是多条件动态过滤。先用Q对象组合可选条件再逐个叠加filter查询。关键是条件之间是且还是或的关系要理清楚。我在调试时看到原作者写的版本全是且关系其实很多用户在选股时希望的是条件之间可以灵活切换。策略回测模块我建议做一个最简单的双均线策略就够了当5日均线上穿20日均线时买入下穿时卖出。回测逻辑可以封装成独立函数输入股票代码和时间范围输出该策略在历史上的收益曲线。把最终收益率、年化收益率、最大回撤这几个指标在页面上用卡片展示出来视觉效果非常出彩。回测本身的计算量不大但如果做的是全市场回测那就必须用到异步任务这就是下一章要讲的内容。4. 百万级行情数据下的Django性能优化与异步任务调度4.1 先说出最大的坑ORM的懒加载能把你查库次数翻几倍我在远程调试时发现初版系统的页面有一个通病点开一只股票的详情页前后端交互产生了上百条SQL查询。原因出在ORM的懒加载机制上。假设你查了最近100天的日线数据然后在模板或序列化器里用了stock_daily.stock_info.some_fieldORM不会自动帮你把stock_info连带查出来而是每访问一次就触发一条新的SQL。100条日线记录就会触发100条关联表查询这在开发环境看不出来数据量一上来就原形毕露。解决方案是查询时带上select_related或prefetch_related。select_related适合外键关系一对一、多对一通过JOIN把关联对象一次性查出来prefetch_related适合多对多和反向外键通过额外的查询拿到全部关联对象再做内存映射。对行情数据这种外键关联场景在视图里加上select_related就能把查询次数从一百多次降到一次。4.2 索引与分页让千万级数据在MySQL里飞起来的笨办法数据量上来后索引设计就成了生死线。我调试的原版系统里有几个查询慢到让人崩溃定位后发现都是没走索引的全表扫描。后来我把所有查询条件里频繁出现的字段全部加上数据库索引trade_date、ts_code、pct_chg。索引加完一个原本需要三秒的排行查询直接降到几十毫秒。分页这块Django的Paginator在数据量大时有个隐藏问题它默认用COUNT(*)统计总条数再计算页数。数据量达到几十万行之后COUNT查询同样很慢。更好的方案是不显示总页数的懒加载分页——前端只显示加载更多后端用limit加偏移量手动控制不触发COUNT查询。这个改动对用户体验几乎无感但性能提升是数量级的。4.3 Celery写定时任务把重活从请求线程里剥离证券系统的定时任务有两个硬需求每天开盘前更新数据、计算指标、刷新缓存。这些活儿不能放在用户请求时同步做否则用户等一秒钟都不乐意。Celery加Redis的异步任务方案是Django生态里的标准答案配置其实很简单。CELERY_BROKER_URL redis://localhost:6379/0 CELERY_RESULT_BACKEND redis://localhost:6379/1shared_task def update_stock_daily_task(): stocks StockBasic.objects.all() for stock in stocks: # 拉取数据、清洗、写入 fetch_and_clean(stock.ts_code)Celery的Worker进程在后台独立运行任务排队进入Redis由Worker消费。整套机制的稳定性和可观测性都很强出问题时可以通过celery -A project inspect registered查看哪些任务被注册了用Flower工具实时监控任务队列长度和执行情况。这里有一点容易翻车定时任务中的时区问题。Django默认时区是UTCCelery的定时任务调度器celery beat也是按UTC算时间。如果你设置每天9点执行任务而忘了配置时区任务会在UTC时间9点执行也就是北京时间下午5点完全错过开盘前时机。踩了这个坑之后我每次调试都会第一时间检查TIME_ZONE和USE_TZ这两个配置项并把beat的调度时间显式指定为Asia/Shanghai。4.4 Redis缓存让排行榜和热门股票秒开排行榜、涨跌幅TOP10、换手率TOP10这些聚合数据不需要实时计算完全可以用Redis缓存扛住。我在原系统的基础上给排行榜接口加了缓存逻辑每10分钟重新计算一次存到Redis里请求进来直接读缓存。def get_rank_data(): cache_key stocks:rank:change data cache.get(cache_key) if data is not None: return json.loads(data) qs StockDaily.objects.order_by(-pct_chg)[:10] data list(qs.values(ts_code, close, pct_chg)) cache.set(cache_key, json.dumps(data), timeout600) return data这个写法的好处在于接口平均响应时间从几百毫秒降到个位数毫秒用户体验提升明显。而且这段代码在论文里也很好讲清楚缓存穿透和缓存击穿的区别——前者是查空值不缓存后者是热点Key过期时大量请求同时打穿到数据库。5. 论文、答辩与远程调试从源码交付到真正讲清楚系统5.1 远程调试时反复出现的五类问题既然是全套源码远程调试的交付模式我花了不少时间帮人排查环境问题。总结下来以下五类问题占了我远程调试工作量的八成。环境依赖问题排第一。Python版本对不上、Django版本不对、MySQL版本过老、Redis没有启动这些是翻开源码跑不起来的头号原因。排查思路是要求对方先执行pip list、python --version、mysql --version把所有版本贴出来逐一比对。源码自带的requirements.txt有时候版本过于宽松Django3.2这种写法装出来可能是4.0甚至5.0很多第三方插件就会直接炸。数据库迁移问题排第二。全套源码里通常带着几十个迁移文件但数据库是空的。很多人不知道要执行python manage.py migrate甚至有人连python manage.py makemigrations和migrate的区别都分不清。我在远程调试时惯用做法是发给对方一条命令按顺序执行makemigrations、migrate、createsuperuser、loaddata四步走完数据库就绪。静态文件配置问题排第三。Django的静态文件和模板配置在DEBUG模式下没问题一旦关了DEBUGCSS全部丢失。很多同学在部署环节卡死根源就是没配STATIC_ROOT和whitenoise。定时任务和异步任务没启动排第四。数据库有数据、页面能打开但K线图是空的因为Celery定时任务没启动或者启动了但Worker连不上Redis。排查时要查celery -A project inspect active和redis-cli ping两步确认队列链路是否打通。前端加载顺序问题排第五。页面空白、控制台报XXX is not defined通常是因为JS文件加载顺序错了。jQuery必须在项目自定义脚本之前引入如果页面模板里的script引用顺序乱了浏览器执行时就会找不到对象。5.2 论文结构怎么把源码工程写成一篇好看的毕业设计论文质量决定了答辩成绩的上限但论文不能和代码工程脱节。我见过最糟糕的情况是代码是代码、论文是论文内容完全对不上。对这套证券分析系统来说论文的结构可以按下面这个顺序展开。需求分析章节中完整描述管理员和普通用户两类角色的全部交互场景。管理员负责数据管理、采集监控、指标参数配置普通用户负责浏览行情、查看图表、执行选股、管理自选股。每个功能点要对应到用例图用例描述表这是工作量最直观的体现。总体设计章节要画架构图建议画一张带分层结构的系统架构图——展示层前端页面、业务层Django视图与API、数据层MySQL加Redis加Celery。另外画一张功能模块图把五个核心模块的关系表达清楚。这两张图一摆出来老师对你的系统观感会立刻提升。详细设计章节的写作重点是数据库表结构设计和核心流程设计。数据库表字段表多放几个把关键字段的注释和用途写清楚。核心流程重点描述三个数据采集流程、指标计算流程、选股回测流程。最好用文字加步骤编号的方式表达第一步做什么、第二步做什么不需要很花哨但一定要让读者能照着描述复现整个流程。系统测试章节要给出明确的功能测试用例表和性能测试数据。我在原有源码基础上补充了一次简单的压测数据并发50个用户请求K线接口平均响应时间从优化前的1.2秒降到优化后的150毫秒。这种对比数据放在论文里非常提气因为它证明你真的做了性能优化而不是停留在概念层面。5.3 答辩高频问题评委最爱问的那些送命题答辩环节评委通常不会问你代码里的细节他们更关注为什么要这么做和你做了什么。以下是我总结的高频问题。你用了Django而不是Spring Boot理由是什么这个问题问出来就是要考察你的选型逻辑。标准回答是Django自带ORM、Admin、完整生态适合数据密集型Web应用的快速开发配合DRF、Celery后可以覆盖这套系统全部需求开发效率显著更高Spring Boot在Java生态里更强但Python的数据处理能力Pandas、NumPy可以让证券分析模块的实现更直接。这样回答既不贬低其他技术栈又能突出自己的选择理性。这个系统的大数据体现在哪里这是所有人都逃不过的问题。参考话术系统每日采集全市场股票日线数据累计数据量达到千万行级别系统通过索引优化、分页优化、缓存机制、异步任务等手段在单机MySQL上实现了流畅的数据查询与分析体验这就是大数据场景下单机处理能力的体现。如果有余力可以进一步说若数据量继续增长可以迁移到ClickHouse或者接入Spark做离线分析。这个回答既有实打实的东西也有技术展望。指标计算公式能不能现场推导一下准备MACD或KDJ的计算公式是必须的把公式写在纸上或者直接在白板上推导都行。建议提前把EMA递推公式和RSV计算公式背熟这是最容易翻车的环节。你如何保证采集数据的完整性和准确性这个问题可以从三方面回答数据源层面采用Tushare Pro的规范接口字段有官方说明数据质量有保障系统层面建表时设置了联合唯一索引通过update_or_create保证数据不重复清洗层面对空值、异常涨跌幅数据进行过滤和标记防止脏数据进入指标计算。6. 复盘与扩展做完这套系统我的实际心得与下一步6.1 源码只是起点真正值钱的是整体链条的理解拿到一套完整源码最忌讳的就是照抄后交差。因为答辩时老师随便追问一句为什么数据库里这个字段不加索引就会彻底卡住。我在远程调试的时候习惯做一套源代码讲解文档—让同学按模块标注每个文件的作用、每段核心逻辑的意图、每个配置项的含义。这套文档最终会沉淀成论文的系统设计章节甚至比源码本身还要有说服力。需要特别强调的是理解数据从哪里来到哪里去的完整链条是源码学习的第一课。从Tushare拉数据到MySQL落地从MySQL查询到Pandas计算从Pandas结果到ECharts渲染这条链路串起来整个系统就活了。只背代码不链链路任何一个小改动都可能把系统搞崩。6.2 后续扩展的四个方向如果你做完这套基础版还有余力以下四个扩展方向可以显著提升系统的上限。第一个方向是把行情数据从日线扩展到分钟级配合WebSocket实时推送前端就能做成行情刷新不用手动点的实时看盘页面。Django Channels在Django 3.x以上版本已经支持ASGI配置起来并不复杂但需要注意生产环境必须用Daphne或Uvicorn运行不能用原生的runserver。第二个方向是引入更多技术指标和自定义指标公式。在指标模块设计上使用策略选择器模式新增指标时只需按接口规范写一个计算函数前端能自动识别并展示这在代码结构上会非常优雅。第三个方向是部署层面引入Docker Compose把MySQL、Redis、Django、Celery四个服务一键编排。我之前remote调试时很多环境问题根因就是本地依赖和部署环境不一致。Docker Compose的引入能让源码交付环节的稳定性提升一个档次别人拿到你的代码后docker-compose up就能把一套完整的服务拉起来体验极佳。第四个方向是把回测模块做成一个通用的策略编辑器用户可以在页面上选择指标参数、交易规则、止盈止损逻辑系统自动计算出该策略的历史收益曲线和风险指标。如果能配合图表展示策略对比分析把三四个不同策略的收益曲线放在同一张图上系统的专业感会蹭蹭往上涨。6.3 一个给普通同学的务实建议做毕设说白了是在有限时间和有限能力范围内交出一个完整、可用、能讲清楚的系统。完成比完美重要清楚比炫技重要。如果你是从零开始而不是接手源码第一优先是把跑通K线展示作为里程碑节点跑通了图表展示后面的选股、回测、异步任务都是锦上添花。如果中途卡住了不要自己硬杠一整天先想办法把问题定位到具体模块、具体报错行这时候再去搜解决方案效率至少翻倍。就我个人的体会而言这套基于Django的证券分析系统真正的价值不在于它用了多高级的算法或者多复杂的架构而在于它是一个业务闭环完整、数据链路清晰、可演示性极强的综合性项目。把它吃透了再去面试里把这个完整链路讲出来面试官通常都会眼前一亮——能讲清楚一套系统端到端数据流的应届生真的不多。
基于Django的证券分析系统开发实战：数据采集到K线展示全解析
去年帮一个学弟远程调试这套基于Django的证券分析系统时我第一次认真审视毕设全套源码这类项目的水有多深。他拿到手的源码压缩包超过1GB解压后光模型迁移文件就有几十个数据库却是空的依赖装了三遍还是报错Redis服务压根没启动。我花了两天晚上帮他理清了整套链路的来龙去脉最后他的毕业论文顺利通过答辩还被评委老师点名表扬了数据采集与展示闭环的设计思路。这篇文章就把这套基于Django的证券分析系统的完整实现思路捋一遍——数据从哪里来、表怎么设计、指标怎么算、页面怎么画、性能怎么优化、论文怎么写——顺带把我在远程调试和讲解这套源码时遇到的高频坑全部摊开来讲。如果你也正在做Django相关的大数据毕设或者在二手市场接过类似的全套源码项目这篇内容应该能帮你少踩至少一半的坑。1. 选题定调Django、大数据、证券分析三个关键词如何拼成一套完整的毕设1.1 为什么是Django而不是Spring Boot或Flask很多同学选题时第一反应是证券分析系统听起来厉害但落地的时候会纠结框架。说实话证券分析这种偏数据展示和查询密集型的系统用Django比用Spring Boot合适得多原因有三个。第一Django自带的后台管理Admin模块可以零成本做出一个数据管理后台。股票基本信息、日线行情、用户自选股这些表注册进Admin之后直接就能增删改查。做毕设最缺的就是工作量兜底Admin能帮你把后台管理功能这一块的工作量稳稳接住不用重复写一堆增删改查视图。第二Django的ORM在处理复杂查询条件组合时非常顺手。证券分析里最常见的操作就是按行业筛选按市盈率区间筛选按换手率排序这种多条件叠加用ORM的链式filter写起来比拼接SQL字符串干净得多维护也方便。第三Django生态里的第三方库正好覆盖了这套系统需要的所有能力——Django REST Framework做API、Celery做定时任务、Channels做WebSocket推送、Redis做缓存。整个技术栈都是现成的组合起来非常顺滑。至于Flask不是不能用而是到了后期做异步任务、做WebSocket、做API文档这些环节Flask需要你自己东拼西凑地集成而Django已经把目录结构都帮你规划好了。毕设讲究的是在规定时间内交出一个完整可演示的系统Django的约束性反而是优势。1.2 系统功能图谱一套典型的证券分析系统该有哪些模块我梳理了这套毕设源码中实际包含的功能模块大致可以分为五块下面用表格列清楚同时也是论文里画功能结构图时的参考目录。模块名称核心职责关键技术点用户模块注册、登录、自选股管理Django内置认证、Token认证数据采集模块定时拉取行情数据、增量更新Tushare/AkShare、Celery定时任务数据分析模块指标计算、选股策略、回测Pandas、NumPy、技术指标算法数据展示模块K线图、指标图表、排行榜ECharts、Ajax异步加载、DRF接口后台管理模块数据管理、用户管理、采集监控Django Admin、自定义Admin视图这五个模块构成了一个完整的闭环数据采集模块负责把数据装进数据库数据分析模块负责把数据加工成指标数据展示模块负责把指标画成图表用户模块负责让用户把感兴趣的股票加入自选后台管理模块负责让你管理员能审视整个系统里的每一条数据。1.3 我为什么在论文里把大数据这个帽子戴稳大数据三个字在毕设题目里很敏感很多老师看到会先入为主觉得你做不来。但换个角度想证券行情数据的体量确实不小——A股全市场日线数据累计下来有几千万条单个股票从上市到现在的分钟数据也能达到几十万条。这个数据量级在单机MySQL里做常规查询和聚合分析已经足够让性能瓶颈显现出来了。我在论文里是这样处理大数据这个概念的不做Hadoop、Spark那种分布式东西而是把重点放在大数据量下的存储方案、索引设计、查询优化、缓存策略上。这完全是理性的选择——你一个本科毕设用Django做证券分析系统核心价值在于数据采集、清洗、计算、展示的闭环而不是硬上分布式框架。把几千万行数据在MySQL里跑出流畅的查询体验这本身就是大数据处理能力的体现。2. 数据管线公开数据源接入与行情数据表设计详解2.1 数据源选型别掉进爬虫抓取的坑做证券分析系统第一个卡住的问题就是数据从哪来。很多同学第一反应是写爬虫去爬东方财富或者新浪财经我见过不少人在这一步耗掉半个月时间最后爬到一半被反爬机制封了IP或者页面改版导致解析代码全部作废。更稳妥的方案是直接用Tushare Pro这种开放数据接口。注册之后会拿到一个token调用它的Python库就能拉取股票列表、日线行情、复权因子、财务指标等十几类数据。它的接口做了良好的限流和规范化处理字段命名清晰数据质量高而且学术使用场景下有足够的免费额度。我在远程调试这套源码时发现原作者用的就是Tushare。这个选择在论文里也非常好写——数据来源规范化、采集过程全程可追溯、接口字段有官方文档支撑这些东西放在论文的可行性分析章节里都是加分项。使用Tushare时有一个细节必须提它的积分体系决定了你能调用哪些接口。日线行情daily和历史行情pro_bar属于基础接口注册就有额度但财务指标类的接口需要更高积分。毕设场景下日线数据完全够用不建议一开始就去折腾财务数据接口。2.2 数据库表结构设计一张表怎么撑起全系统的查询需求这套系统的核心表是股票日线行情表stock_daily它承载了大部分查询压力。整张表的设计直接影响后续指标计算速度、K线图加载速度和选股筛选效率所以值得单独拆出来说一下。当时我看到的表结构大致是这样class StockDaily(models.Model): ts_code models.CharField(max_length16, db_indexTrue, verbose_name股票代码) trade_date models.DateField(db_indexTrue, verbose_name交易日期) open models.FloatField(verbose_name开盘价) high models.FloatField(verbose_name最高价) low models.FloatField(verbose_name最低价) close models.FloatField(verbose_name收盘价) pre_close models.FloatField(verbose_name前收盘价) change models.FloatField(verbose_name涨跌额) pct_chg models.FloatField(verbose_name涨跌幅) vol models.FloatField(verbose_name成交量) amount models.FloatField(verbose_name成交额) class Meta: db_table stock_daily unique_together (ts_code, trade_date) ordering (-trade_date,)这里有两个设计上的关键决策。第一个关键决策是联合唯一索引。unique_together (ts_code, trade_date)看起来不起眼但在数据采集和清洗时至关重要。增量更新数据时你可以放心使用update_or_create不必担心重复数据把表撑爆。没有这个约束的话定时任务只要跑重一次表里就会堆积大量重复代码行选股结果和图表数据全部会变得不可信。第二个关键决策是trade_date单独加索引。按日期范围查询比如最近60个交易日是整个系统里最频繁的操作。如果只靠联合索引里的ts_code前缀你会发现单只股票的时间范围查询走不了索引全表扫描的速度在数据量上来之后会慢得让你怀疑人生。除了核心行情表系统的其余表相对简单用户表直接用Django内置的User模型扩展一个Profile字段股票基本信息表存储上市时间、行业、总市值等静态数据自选股表是用户和股票多对多关系的中间表技术指标表是在日线数据的基础上预计算出来的结果表。2.3 增量更新与数据清洗定时任务背后的逻辑数据采集不能每次把全量数据删掉重灌那样既浪费时间又容易把表搞炸。我调试时看到的做法是历史数据一次性灌入后续每日增量更新。历史数据回填用的是Tushare的pro_bar接口按股票代码分批次拉取从上市日期到当前的所有日线记录然后批量写入。这里有一个容易踩的坑全市场几千只股票如果串行拉取耗时可能长达数小时所以需要用ThreadPoolExecutor做多线程并发配合update_or_create写入。实测8个线程并发拉取A股全市场数据大约二十多分钟可以跑完。增量更新的逻辑就简单多了Celery的定时任务每天早上9点10分跑一次拉取最近两个交易日的日线数据为什么拉两个交易日因为遇到节假日调休时昨天不一定是交易日多拉一天做幂等更新更稳妥。拿到数据后和数据库中已有的记录比对只插入不存在的记录这就是get_or_create的用武之地。数据清洗环节容易被新手忽略但它是决定系统数据质量的关键。原始接口返回的数据偶尔会包含空值、跳变值或者停牌导致的空行。我当时调试时见到原作者的处理方式比较粗暴——直接用dropna()把含空值的行丢掉然后再根据pct_chg字段做一次绝对值过滤把超过涨跌幅限制的异常数据行排除掉。这种做法从工程角度看够用但如果你想让论文更有亮点可以考虑用当日涨跌幅超过10%科创板/创业板为20%则标记为异常数据并告警这样的规则引擎思路。3. 核心功能再造K线可视化、技术指标与选股回测的实现思路3.1 后端API如何设计DRF让前端拿数据像喝水一样简单这套系统的前后端交互全部走RESTful API用的是Django REST Framework。在没有DRF的时候你需要在视图中手动把QuerySet序列化成JSON再自己处理分页参数、排序参数代码又臭又长。用DRF之后一个视图集加两个类就能搞定。class KlineViewSet(viewsets.ModelViewSet): queryset StockDaily.objects.all() serializer_class KlineSerializer def list(self, request, *args, **kwargs): ts_code request.query_params.get(ts_code) limit int(request.query_params.get(limit, 120)) qs StockDaily.objects.filter(ts_codets_code).order_by(trade_date)[:limit] data KlineSerializer(qs, manyTrue).data return Response(data)实际调试中发现原作者并没有把limit参数做上限校验。这是个安全隐患别人传一个limit9999999就能把你的接口拖垮。我把这个参数改成min(limit, 500)既保证前端图表有足够数据量又避免接口被人恶意打穿。3.2 前端图表选型ECharts处理K线图的细节前端可视化我坚持推荐ECharts没有第二选项。它是国内社区生态最完善的开源图表库K线图、成交量图、指标图这些证券场景组件全部内置示例代码多到随便搜就是一堆。ECharts的K线图数据格式有个坑必须讲清楚。它要求每个数据点是[open, close, low, high]这样的顺序注意收盘价在第二位开盘价在第一位。很多新手从后端直接传(open, high, low, close)图表画出来上下影线全反看起来像是行情倒着走。我在调试这套系统时就亲眼在一个同学的演示DEMO上看到K线图阴阳颠倒他自己都没发现。正确做法是后端返回时就把顺序调整好或者前端拿到数据后用映射函数转换。我采用的方案是后端序列化器直接输出[2018-01-02, 11.5, 11.9, 11.2, 11.8]这种格式日期放第一位后面跟四位数价格ECharts配置好dataZoom和axisPointer就能直接渲染。3.3 技术指标计算让Pandas替你算MACD和KDJ证券分析系统的核心卖点之一就是技术指标。MACD、KDJ、RSI、BOLL这些指标如果自己用循环去算效率极低且容易出错。正确姿势是用Pandas的向量化计算。MACD的计算逻辑是先算EMA12和EMA26DIF等于两者之差DEA是DIF的9日EMAMACD柱是两倍的(DIF减DEA)。用Pandas大概长这样df[ema12] df[close].ewm(span12, adjustFalse).mean() df[ema26] df[close].ewm(span26, adjustFalse).mean() df[dif] df[ema12] - df[ema26] df[dea] df[dif].ewm(span9, adjustFalse).mean() df[macd] (df[dif] - df[dea]) * 2ewm是Pandas里处理指数加权移动平均的核心方法span对应EMA的周期参数adjustFalse表示采用递推公式计算和证券分析软件里的标准EMA公式完全一致。KDJ的计算稍微复杂一点需要先计算RSV未成熟随机值再对RSV做指数平滑得到K和D最后J等于3倍K减2倍D。这些计算全部可以用向量化方式完成避免了循环遍历DataFrame的低效写法。指标计算完成后把结果存到单独的技术指标表中前端展示时直接查表而不需要每次请求都重新算一遍。这就是以空间换时间的思路在论文中可以着重强调一下属于你在性能优化上实打实的思考。3.4 选股器与策略回测从能用到有亮点的关键模块选股器模块是高区分度的功能。普通的毕设能做出一堆图就不错了但如果你能做出来一个让用户指定条件组合比如市盈率低于20、KDJ金叉、过去5日成交量放大然后输出候选股票列表的功能论文的含金量会明显上一个台阶。选股器的后端实现本质上是多条件动态过滤。先用Q对象组合可选条件再逐个叠加filter查询。关键是条件之间是且还是或的关系要理清楚。我在调试时看到原作者写的版本全是且关系其实很多用户在选股时希望的是条件之间可以灵活切换。策略回测模块我建议做一个最简单的双均线策略就够了当5日均线上穿20日均线时买入下穿时卖出。回测逻辑可以封装成独立函数输入股票代码和时间范围输出该策略在历史上的收益曲线。把最终收益率、年化收益率、最大回撤这几个指标在页面上用卡片展示出来视觉效果非常出彩。回测本身的计算量不大但如果做的是全市场回测那就必须用到异步任务这就是下一章要讲的内容。4. 百万级行情数据下的Django性能优化与异步任务调度4.1 先说出最大的坑ORM的懒加载能把你查库次数翻几倍我在远程调试时发现初版系统的页面有一个通病点开一只股票的详情页前后端交互产生了上百条SQL查询。原因出在ORM的懒加载机制上。假设你查了最近100天的日线数据然后在模板或序列化器里用了stock_daily.stock_info.some_fieldORM不会自动帮你把stock_info连带查出来而是每访问一次就触发一条新的SQL。100条日线记录就会触发100条关联表查询这在开发环境看不出来数据量一上来就原形毕露。解决方案是查询时带上select_related或prefetch_related。select_related适合外键关系一对一、多对一通过JOIN把关联对象一次性查出来prefetch_related适合多对多和反向外键通过额外的查询拿到全部关联对象再做内存映射。对行情数据这种外键关联场景在视图里加上select_related就能把查询次数从一百多次降到一次。4.2 索引与分页让千万级数据在MySQL里飞起来的笨办法数据量上来后索引设计就成了生死线。我调试的原版系统里有几个查询慢到让人崩溃定位后发现都是没走索引的全表扫描。后来我把所有查询条件里频繁出现的字段全部加上数据库索引trade_date、ts_code、pct_chg。索引加完一个原本需要三秒的排行查询直接降到几十毫秒。分页这块Django的Paginator在数据量大时有个隐藏问题它默认用COUNT(*)统计总条数再计算页数。数据量达到几十万行之后COUNT查询同样很慢。更好的方案是不显示总页数的懒加载分页——前端只显示加载更多后端用limit加偏移量手动控制不触发COUNT查询。这个改动对用户体验几乎无感但性能提升是数量级的。4.3 Celery写定时任务把重活从请求线程里剥离证券系统的定时任务有两个硬需求每天开盘前更新数据、计算指标、刷新缓存。这些活儿不能放在用户请求时同步做否则用户等一秒钟都不乐意。Celery加Redis的异步任务方案是Django生态里的标准答案配置其实很简单。CELERY_BROKER_URL redis://localhost:6379/0 CELERY_RESULT_BACKEND redis://localhost:6379/1shared_task def update_stock_daily_task(): stocks StockBasic.objects.all() for stock in stocks: # 拉取数据、清洗、写入 fetch_and_clean(stock.ts_code)Celery的Worker进程在后台独立运行任务排队进入Redis由Worker消费。整套机制的稳定性和可观测性都很强出问题时可以通过celery -A project inspect registered查看哪些任务被注册了用Flower工具实时监控任务队列长度和执行情况。这里有一点容易翻车定时任务中的时区问题。Django默认时区是UTCCelery的定时任务调度器celery beat也是按UTC算时间。如果你设置每天9点执行任务而忘了配置时区任务会在UTC时间9点执行也就是北京时间下午5点完全错过开盘前时机。踩了这个坑之后我每次调试都会第一时间检查TIME_ZONE和USE_TZ这两个配置项并把beat的调度时间显式指定为Asia/Shanghai。4.4 Redis缓存让排行榜和热门股票秒开排行榜、涨跌幅TOP10、换手率TOP10这些聚合数据不需要实时计算完全可以用Redis缓存扛住。我在原系统的基础上给排行榜接口加了缓存逻辑每10分钟重新计算一次存到Redis里请求进来直接读缓存。def get_rank_data(): cache_key stocks:rank:change data cache.get(cache_key) if data is not None: return json.loads(data) qs StockDaily.objects.order_by(-pct_chg)[:10] data list(qs.values(ts_code, close, pct_chg)) cache.set(cache_key, json.dumps(data), timeout600) return data这个写法的好处在于接口平均响应时间从几百毫秒降到个位数毫秒用户体验提升明显。而且这段代码在论文里也很好讲清楚缓存穿透和缓存击穿的区别——前者是查空值不缓存后者是热点Key过期时大量请求同时打穿到数据库。5. 论文、答辩与远程调试从源码交付到真正讲清楚系统5.1 远程调试时反复出现的五类问题既然是全套源码远程调试的交付模式我花了不少时间帮人排查环境问题。总结下来以下五类问题占了我远程调试工作量的八成。环境依赖问题排第一。Python版本对不上、Django版本不对、MySQL版本过老、Redis没有启动这些是翻开源码跑不起来的头号原因。排查思路是要求对方先执行pip list、python --version、mysql --version把所有版本贴出来逐一比对。源码自带的requirements.txt有时候版本过于宽松Django3.2这种写法装出来可能是4.0甚至5.0很多第三方插件就会直接炸。数据库迁移问题排第二。全套源码里通常带着几十个迁移文件但数据库是空的。很多人不知道要执行python manage.py migrate甚至有人连python manage.py makemigrations和migrate的区别都分不清。我在远程调试时惯用做法是发给对方一条命令按顺序执行makemigrations、migrate、createsuperuser、loaddata四步走完数据库就绪。静态文件配置问题排第三。Django的静态文件和模板配置在DEBUG模式下没问题一旦关了DEBUGCSS全部丢失。很多同学在部署环节卡死根源就是没配STATIC_ROOT和whitenoise。定时任务和异步任务没启动排第四。数据库有数据、页面能打开但K线图是空的因为Celery定时任务没启动或者启动了但Worker连不上Redis。排查时要查celery -A project inspect active和redis-cli ping两步确认队列链路是否打通。前端加载顺序问题排第五。页面空白、控制台报XXX is not defined通常是因为JS文件加载顺序错了。jQuery必须在项目自定义脚本之前引入如果页面模板里的script引用顺序乱了浏览器执行时就会找不到对象。5.2 论文结构怎么把源码工程写成一篇好看的毕业设计论文质量决定了答辩成绩的上限但论文不能和代码工程脱节。我见过最糟糕的情况是代码是代码、论文是论文内容完全对不上。对这套证券分析系统来说论文的结构可以按下面这个顺序展开。需求分析章节中完整描述管理员和普通用户两类角色的全部交互场景。管理员负责数据管理、采集监控、指标参数配置普通用户负责浏览行情、查看图表、执行选股、管理自选股。每个功能点要对应到用例图用例描述表这是工作量最直观的体现。总体设计章节要画架构图建议画一张带分层结构的系统架构图——展示层前端页面、业务层Django视图与API、数据层MySQL加Redis加Celery。另外画一张功能模块图把五个核心模块的关系表达清楚。这两张图一摆出来老师对你的系统观感会立刻提升。详细设计章节的写作重点是数据库表结构设计和核心流程设计。数据库表字段表多放几个把关键字段的注释和用途写清楚。核心流程重点描述三个数据采集流程、指标计算流程、选股回测流程。最好用文字加步骤编号的方式表达第一步做什么、第二步做什么不需要很花哨但一定要让读者能照着描述复现整个流程。系统测试章节要给出明确的功能测试用例表和性能测试数据。我在原有源码基础上补充了一次简单的压测数据并发50个用户请求K线接口平均响应时间从优化前的1.2秒降到优化后的150毫秒。这种对比数据放在论文里非常提气因为它证明你真的做了性能优化而不是停留在概念层面。5.3 答辩高频问题评委最爱问的那些送命题答辩环节评委通常不会问你代码里的细节他们更关注为什么要这么做和你做了什么。以下是我总结的高频问题。你用了Django而不是Spring Boot理由是什么这个问题问出来就是要考察你的选型逻辑。标准回答是Django自带ORM、Admin、完整生态适合数据密集型Web应用的快速开发配合DRF、Celery后可以覆盖这套系统全部需求开发效率显著更高Spring Boot在Java生态里更强但Python的数据处理能力Pandas、NumPy可以让证券分析模块的实现更直接。这样回答既不贬低其他技术栈又能突出自己的选择理性。这个系统的大数据体现在哪里这是所有人都逃不过的问题。参考话术系统每日采集全市场股票日线数据累计数据量达到千万行级别系统通过索引优化、分页优化、缓存机制、异步任务等手段在单机MySQL上实现了流畅的数据查询与分析体验这就是大数据场景下单机处理能力的体现。如果有余力可以进一步说若数据量继续增长可以迁移到ClickHouse或者接入Spark做离线分析。这个回答既有实打实的东西也有技术展望。指标计算公式能不能现场推导一下准备MACD或KDJ的计算公式是必须的把公式写在纸上或者直接在白板上推导都行。建议提前把EMA递推公式和RSV计算公式背熟这是最容易翻车的环节。你如何保证采集数据的完整性和准确性这个问题可以从三方面回答数据源层面采用Tushare Pro的规范接口字段有官方说明数据质量有保障系统层面建表时设置了联合唯一索引通过update_or_create保证数据不重复清洗层面对空值、异常涨跌幅数据进行过滤和标记防止脏数据进入指标计算。6. 复盘与扩展做完这套系统我的实际心得与下一步6.1 源码只是起点真正值钱的是整体链条的理解拿到一套完整源码最忌讳的就是照抄后交差。因为答辩时老师随便追问一句为什么数据库里这个字段不加索引就会彻底卡住。我在远程调试的时候习惯做一套源代码讲解文档—让同学按模块标注每个文件的作用、每段核心逻辑的意图、每个配置项的含义。这套文档最终会沉淀成论文的系统设计章节甚至比源码本身还要有说服力。需要特别强调的是理解数据从哪里来到哪里去的完整链条是源码学习的第一课。从Tushare拉数据到MySQL落地从MySQL查询到Pandas计算从Pandas结果到ECharts渲染这条链路串起来整个系统就活了。只背代码不链链路任何一个小改动都可能把系统搞崩。6.2 后续扩展的四个方向如果你做完这套基础版还有余力以下四个扩展方向可以显著提升系统的上限。第一个方向是把行情数据从日线扩展到分钟级配合WebSocket实时推送前端就能做成行情刷新不用手动点的实时看盘页面。Django Channels在Django 3.x以上版本已经支持ASGI配置起来并不复杂但需要注意生产环境必须用Daphne或Uvicorn运行不能用原生的runserver。第二个方向是引入更多技术指标和自定义指标公式。在指标模块设计上使用策略选择器模式新增指标时只需按接口规范写一个计算函数前端能自动识别并展示这在代码结构上会非常优雅。第三个方向是部署层面引入Docker Compose把MySQL、Redis、Django、Celery四个服务一键编排。我之前remote调试时很多环境问题根因就是本地依赖和部署环境不一致。Docker Compose的引入能让源码交付环节的稳定性提升一个档次别人拿到你的代码后docker-compose up就能把一套完整的服务拉起来体验极佳。第四个方向是把回测模块做成一个通用的策略编辑器用户可以在页面上选择指标参数、交易规则、止盈止损逻辑系统自动计算出该策略的历史收益曲线和风险指标。如果能配合图表展示策略对比分析把三四个不同策略的收益曲线放在同一张图上系统的专业感会蹭蹭往上涨。6.3 一个给普通同学的务实建议做毕设说白了是在有限时间和有限能力范围内交出一个完整、可用、能讲清楚的系统。完成比完美重要清楚比炫技重要。如果你是从零开始而不是接手源码第一优先是把跑通K线展示作为里程碑节点跑通了图表展示后面的选股、回测、异步任务都是锦上添花。如果中途卡住了不要自己硬杠一整天先想办法把问题定位到具体模块、具体报错行这时候再去搜解决方案效率至少翻倍。就我个人的体会而言这套基于Django的证券分析系统真正的价值不在于它用了多高级的算法或者多复杂的架构而在于它是一个业务闭环完整、数据链路清晰、可演示性极强的综合性项目。把它吃透了再去面试里把这个完整链路讲出来面试官通常都会眼前一亮——能讲清楚一套系统端到端数据流的应届生真的不多。
 深入认识指令)
