avz-cmf/bigdata

安装: 45

依赖: 1

建议者: 0

安全: 0

星标: 1

关注者: 5

分支: 2

开放问题: 0

语言:R

类型:项目

6.2.0 2016-08-16 11:14 UTC

README

  • 将稳定的API版本加载到R脚本仓库

  • 将稳定的R脚本加载到仓库

  • Composer初始化项目并提取依赖

    (项目准备就绪)

  • 调用脚本

  • 用户配置数据处理的参数

  • 将参数传递给R脚本

  • 从R脚本获取响应

  • 将结果输出给用户

启动服务器

  • 启动Rscript server.R,并传递完整路径config.csv
    • 加载config
    • 连接readData.R,其中读取所有用于访问数据库的参数,并描述获取数据库表的函数。
    • 连接返回用于构建图表数据的脚本
    • 连接返回表格的脚本
    • 启动服务器
      • 服务器接受包含参数(scriptName, ...)的POST请求
      • 处理请求
      • 以JSON格式发送响应

文件夹结构

  • bigData - rootdir
    • res - 资源(config, ...)
    • src - 所有脚本

服务脚本文档

  • server.R

    • 启动处理请求服务器的脚本
    • 通过命令行接收config.csv地址
  • readData.R

    • 描述从数据库获取和处理数据的函数的脚本
  • decoder.R

    • 解析RQL查询的脚本
    • 在开始定义常量,这些常量负责逻辑和标量运算符的名称

脚本文档

  • plotPublishPrice.R

    • 报告名称:价格分布直方图
    • 接收:品牌,类别编号,起始日期,结束日期
    • Y轴:以10为底的对数价格(float)
    • Y轴:该价格区间内展示的商品数量(int)
    • 返回:JSON格式为{id,x*,y} *x-价格区间的中心
    • 起始日期 2015-06-01
  • plotSoldPrice.R

    • 报告名称:售价分布直方图
    • 接收:品牌,类别编号,起始日期,结束日期
    • Y轴:以10为底的对数价格(float)
    • Y轴:该价格区间内售出的商品数量(int)
    • 返回:JSON格式为{id,x*,y} *x-价格区间的中心
    • 起始日期 2015-06-01
  • plotProbPrice.R

    • 报告名称:指定价格区间的销售概率图
    • 接收:品牌,类别编号,起始日期,结束日期
    • Y轴:以10为底的对数价格(float)
    • Y轴:该价格区间的销售概率评估(float)
    • 返回:JSON格式为{id,x,y}
    • 起始日期 2015-06-01
  • plotProfPrice.R

    • 报告名称:指定价格区间的展示利润图
    • 接收:品牌,类别编号,起始日期,结束日期
    • Y轴:以10为底的对数价格(float)
    • Y轴:该价格区间的展示利润评估(float)
    • 返回:JSON格式为{id,x,y}
    • 起始日期 2015-06-01
  • plotPublishDay.R

    • 报告名称:按星期展示的商品数量直方图
    • 接收:品牌,类别编号,起始日期,结束日期
    • X轴:星期(int)
    • Y轴:在指定星期展示的商品数量(int)
    • 返回:JSON格式为{id,x,y}
    • 起始日期 2015-06-01
  • plotSoldDay.R

    • 报告名称:根据展示日期的销售数量直方图
    • 接收:品牌,类别编号,起始日期,结束日期
    • X轴:星期(int)
    • Y轴:在指定星期展示并售出的商品数量(int)
    • 返回:JSON格式为{id,x,y}
    • 起始日期 2015-06-01
  • plotProbDay.R

    • 报告名称:指定星期展示的商品销售概率图
    • 接收:品牌,类别编号,起始日期,结束日期
    • X轴:星期(int)
    • Y轴:在指定星期展示的商品销售概率评估(float)
    • 返回:JSON格式为{id,x,y}
    • 起始日期 2015-06-01
  • plotCreatedDay.R

    • 报告名称:每周销售数量直方图
    • 接收:品牌,类别编号,起始日期,结束日期
    • X轴:星期(int)
    • Y轴:在指定日期售出的商品数量(int)
    • 返回:JSON格式为{id,x,y}
    • 起始日期 2015-06-01
  • plotPublishTime.R

    • 报告名称:每天每小时展示商品数量直方图
    • 接收:品牌,类别编号,起始日期,结束日期
    • X轴:一天中的时间(小时)(int)
    • Y轴:在指定小时展示的商品数量(int)
    • 返回:JSON格式为{id,x,y}
    • 起始日期 2015-06-01
  • plotSoldTime.R

    • 报告名称:在指定时间展示的商品销售数量直方图
    • 接收:品牌,类别编号,起始日期,结束日期
    • X轴:一天中的时间(小时)(int)
    • Y轴:在指定时间展示并售出的商品数量(int)
    • 返回:JSON格式为{id,x,y}
    • 起始日期 2015-06-01
  • plotProbTime.R

    • 报告名称:指定时间段的商品销售概率图
    • 输入参数:品牌,商品类别,起始日期,结束日期
    • X轴:一天中的时间(小时)(int)
    • Y轴:指定时间点商品销售概率评估(浮点数)
    • 返回:JSON格式为{id,x,y}
    • 起始日期 2015-06-01
  • plotCreatedTime.R

    • 报告名称:每天每个小时的商品销售数量直方图
    • 输入参数:品牌,类别编号,起始日期,结束日期
    • X轴:一天中的时间(小时)(int)
    • Y轴:指定时间点销售的商品数量(整数)
    • 返回:JSON格式为{id,x,y}
    • 起始日期 2015-06-01
  • plotCreatedTimeWithTZ.R

    • 报告名称:考虑时区每天每个小时的商品销售数量直方图
    • 接收:品牌,类别编号,起始日期,结束日期
    • X轴:商品购买所在州的时刻(整数)
    • Y轴:考虑时区的指定时间点销售的商品数量(整数)
    • 返回:JSON格式为{id,x,y}
    • 起始日期 2015-06-01
  • tableCategoryPrice.R

    • 报告名称:商品价格类别的频率表
    • 接收:品牌,类别编号,起始日期,结束日期
    • 列:category_price(价格类别)(整数),count_sold(销售数量)(整数),count_publish(发布数量)(整数),prob(销售概率评估)(浮点数),prof_mounth(月利润评估)(浮点数),new_prob(10天后销售概率评估)(浮点数),new_prof_mounth(10天后月利润评估)(浮点数),delta_prof_mounth(利润差异)(浮点数),id(行ID)(整数)
    • 返回:包含指定元素的JSON表格
    • 起始日期 2015-06-01
  • tableCategoryID.R

    • 报告名称:商品类别的频率表
    • 接收:品牌,类别编号,起始日期,结束日期
    • 列:ebaycategory_id(类别编号)(整数),count_sold(销售数量)(整数),count_publish(发布数量)(整数),mean_price(类别平均价格)(浮点数),prob(销售概率评估)(浮点数),prof_mounth(月利润评估)(浮点数),new_prob(10天后销售概率评估)(浮点数),new_prof_mounth(10天后月利润评估)(浮点数),delta_prof_mounth(利润差异)(浮点数),id(行ID)(整数)
    • 返回:包含指定元素的JSON表格
    • 起始日期 2015-06-01
  • tableProduct.R

    • 报告名称:单个商品的频率表
    • 接收:品牌,类别编号,起始日期,结束日期
    • 列:ProductID(商品ID)(整数),count_sold(销售数量)(整数),count_publish(发布数量)(整数),price(商品价格)(浮点数),prob(销售概率评估)(浮点数),prof_mounth(月利润评估)(浮点数),new_prob(10天后销售概率评估)(浮点数),new_prof_mounth(10天后月利润评估)(浮点数),delta_prof_mounth(利润差异)(浮点数),id(行ID)(整数)
    • 返回:包含指定元素的JSON表格
    • 起始日期 2015-06-01
  • tableModel.R

    • 报告名称:摩托车品牌的流行度表
    • 列:vehicle_id(品牌ID)(整数),count_sold(适合该品牌的销售商品数量)(整数),count_publish(适合该品牌的发布商品数量)(整数),id(行ID)(整数),vehicles(品牌名称)(文本)
    • 返回:包含指定元素的JSON表格
    • 起始日期 2015-06-01
  • tableProductModel.R

    • 报告名称:适用于特定品牌的零件的流行度表
    • 列:ProductID(商品ID)(整数),count_model_sold(适用于相同品牌的销售商品数量)(整数),count_model_publish(适用于相同品牌的发布商品数量)(整数),prob(适用于相同品牌的商品销售概率评估)(浮点数),id(行ID)(整数)
    • 返回:包含指定元素的JSON表格
    • 起始日期 2015-06-01
  • getBrand.R

    • 报告名称:我们库存中的商品品牌列表
    • 列:id(行ID)(整数),name(品牌名称)(文本),value(品牌名称与值匹配)(文本)
    • 返回:包含指定元素的JSON表格
  • getCategory.R

    • 报告名称:我们库存中的商品类别列表
    • 列:id(行ID)(整数),name(类别名称)(文本),value(类别编号)(整数)
    • 返回:包含指定元素的JSON表格
  • bestProducts.R

    • 报告名称:eBay上销售最多的商品列表
    • 列:id(行ID)(整数),title(商品标题)(文本),count_sold(自2016-01-22以来该商品的销售数量)(整数)
    • 返回:包含指定元素的JSON表格
  • bestCompetitor.R

    • 报告名称:卖家列表及其销售数量
    • 列:id(行ID)(整数),seller_name(卖家昵称)(文本),count_sold(自2016-01-22以来该卖家的销售数量)(整数)
    • 返回:包含指定元素的JSON表格
  • NN.R

    • 报告名称:包含特定关键词的商品销售价格直方图
    • 输入参数:起始日期(start_time>=),结束日期(start_time<=),标题中应包含的词(title like),标题中不应包含的词(title not like)
    • Y轴:以10为底的对数价格(float)
    • Y轴:发布数量(整数)
    • 返回:JSON{id, x, y}
  • NNSold.R

    • 报告名称:根据指定词的已售商品价格直方图
    • 输入参数:起始日期(start_time>=),结束日期(start_time<=),标题中应包含的词(title like),标题中不应包含的词(title not like)
    • Y轴:以10为底的对数价格(float)
    • Y轴:销售数量(int)
    • 返回:JSON{id, x, y}
  • tablePublishTime.R

    • 报告名称:每周每小时的展品数量表
    • 接收:无
    • 列:'Monday'(float), 'Tuesday'(float), 'Wednesday'(float), 'Thursday'(float), 'Friday'(float), 'Saturday'(float), 'Sunday'(float), 'Hour'(int)
    • 返回:24*7 JSON矩阵,包含每小时的展品数量(int)
  • soldProducts.R

    • 报告名称:每个商品的销量数量表
    • 接收:起始日期,结束日期
    • 返回:JSON表格 ProductID(int), count_sold(int)
  • sold_view.R

    • 报告名称:购买和展品浏览比例表
    • 接收:起始日期,结束日期
    • 列:id(id行)(int), count_sold(展品销售数量)(int), count_view(展品浏览数量)(int), prob(进入该展品的销售概率)(float)
    • 返回:包含指定元素的JSON表格