一、项目简介 思通舆情是一款开源免费的舆情系统,支持本地化部署一键安装。支持对海量的舆情数据进行交叉分析和深度挖掘,为用户提供全面的舆情数据,专业的舆情分析,快速的舆情处理等服务,提升企业品牌价值和风控能力。 二、开源协议
依照 GPL-3.0 协议开源。 三、功能说明 思通舆情的功能: 舆情监测:通过全文搜索、来源搜索、热搜监测等多重功能实现对全网文本、图片、视频舆情实时发现; 舆情预警:根据用户设置预警条件,判别舆情信息,并第一时间通过多渠道告知用户; 舆情分析:全网事件分析、事件分析、传播分析、竞品分析、评论分析、热度指数,6类大数据分析; 舆情报告:一键快速生成日、周、月、季度报告,自带行业舆情案例库,为舆情应对提供参考。 智写报告:提供了丰富的写作模板和样式,用户只需根据模板填充相应内容,后端基于AI技术即可快速生成报告。 思通舆情 的优势: 开源开放:零门槛,线上快速获取和安装;快速获取用户反馈、按月发布新版本; 简单易用:极易上手,通过鼠标点击和拖拽即可完成分析; 秒级响应:超大数据量下秒级查询返回延时; 思通舆情 的数据: 新闻媒体:新闻、app、电子报、境外新闻; 网络自媒体:搜狐、百家号、今日头条、博客、企鹅号、微信公众号、微博; 境外社交媒体:twitter、facebook、及其他境外社交媒体; 论坛:贴吧、论坛、问答、知乎; 短视频:抖音、快手,等众多平台。
四、演示展示
五、技术架构 功能架构
六、技术栈
数据采集开发平台:Java J2EE & SpringBoot 采集框架:Spider-flow & WebMagic & HttpClient APP采集:Xposed框架 URL仓库:布隆过滤器 + Redis 网页渲染解析:Jvppeteer & Playwright(微软开源) & Selenium web应用服务器:Nginx & Tomcat 储存任务发送:Kafka & Zookeeper 抓取任务发送:RabbitMQ 配置管理:MySQL 前端展示:Bootstrap & VUE
数据处理开发框架:SpringBoot 开发语言:Java J2EE 数据暂存:MySQL 数据索引:Redis 深度学习:PaddlePaddle 自然语言处理:HaNLP & THUCTC 数据处理和储存任务发送:Kafka & Zookeeper 数据中台:自研 & DataEase 数据初始化:集成FlyWay,自动初始化MySQL 数据总线:RocketAPI (进行了二次开发)
数据分析数据库:MySQL 数据检索:Elasticsearch 中文分词器:IK分词 相似度计算:Clickhouse 数据同步:DataX 文章储存:Mongodb 数据缓存:Redis 消息队列:Kafka & RabbitMQ 开发框架:SpringBoot 开发语言:Java J2EE 图表展示:Apache Echarts & AnyCharts