开启辅助访问
搜索
快捷导航

在线
客服

发布
需求

天盟
APP

天盟APP下载

关注
微信

微信扫一扫访问
顶部
返回列表 发新帖

[软件设计] 网络舆情爬虫开发

m2330***发布 | 已通过手机认证
任务编号：5288169 悬赏任务1700元 悬赏任务 : 按雇主需求进行任务后提交稿件，被采纳后即获得佣金。

网络舆情爬虫开发

距截止： 任务已圆满完成 雇主已托管赏金：1700 元
雇主发布需求 雇主托管佣金 服务商投稿 雇主开始选稿 任务完成

任务大厅共需1个合格投稿 | 每稿将获得1700 元 | 每人交稿次数不限 可多次任务

投诉举报 联系Ta 我来承接 已有1 个投稿 | 已采纳1 稿 | 拒绝0 稿 | 目前中标名额已满

任务需求:
开发需求   用于网络舆情信息采集与分析的软件（接口级）            
功能描述                                                      
1. 信息采集类型：新闻、政务网站、论坛、博客、某信、微博、视频、境外中文媒体，约3万站点                  
2. 网页解析字段项：标题、时间、作者、正文、正文摘要、URL、评论数、转载数等                              
3. 数据分析类型：舆情常规的语义分析、热点分析               
4. 全文检索功能                                                                           
技术要求                                                      
1) 部署\OS：云服务器\centos                                
2) 网络爬虫：Nutch1.6 \ Nutch1.7                              
3) 离线计算\实时计算：hadoop2.x \ storm                  
4) 数据采集\消息队列：flume \ Kafka                    
5) DB：hbase \ mongodb                                      
6) 检索：solr                                          
7) 其他：开源、无限制                                                                                 
其他要求                                                         
1) 24小时运行                                         
2) 开发文档完整                                       
3) 除首次外，完成单次信息采集解析 < 4小时


使用道具 举报

全部参与1

xiaoxi***
已采纳

使用道具 举报

发新帖

普通会员

今日悬赏

更多 >

最新商品

更多 >
国内首家创新型IT技术需求众包服务平台，软件需求就上天盟网！ 立即登录 或 立即注册

中国领先的IT技术需求服务平台

国内创新型软件需求众包接单网

  • 微信公众号

  • 手机客户端

手机版|关于我们|广告合作|联系我们|隐私条款|天盟人才|天盟传媒|举报中心| 天盟网

Copyright TM.Corp © 2018-2024 Tianmg Inc.京ICP备16037484号 GMT+8, 2024-4-29 13:30 , Processed in 0.155579 second(s), 48 queries .