In [1]:
cd ..
You have to run the whole pipeline at first as below.
In [2]:
sbt "run-main uima.cpe.CPERunner"
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=384m; support was removed in 8.0
[info] Loading project definition from /Users/sakamoto/Documents/FelisCatusZero/project
[info] Set current project to FelisCatusZero (in build file:/Users/sakamoto/Documents/FelisCatusZero/)
[info] Compiling 401 Scala sources and 66 Java sources to /Users/sakamoto/Documents/FelisCatusZero/target/scala-2.12/classes...
[info] Running uima.cpe.CPERunner
[info] >> Converting from QA Lab Dataset to Multilingual QA Corpus
[info] >> Collection Processing Engine Processing
[info] >> Flow Controller Initializing
[info] >> Question Analyzer Flow Controller Initializing
[info] >> Information Retriever Flow Controller Initializing
[info] Collection Processing Engine:
[info] * cpeDescriptor.xml
[info] Flow Controller Analysis Engine List:
[info] 1. questionAnalyzerAAEDescriptor
[info] 2. informationRetrieverAAEDescriptor
[info] 3. essayGeneratorAAEDescriptor
[info] Question Analyzer Flow Controller Analysis Engine List:
[info] 1. questionAnalyzerAEDescriptor
[info] 2. gzipXmiCasConsumerDescriptor
[info] Information Retriever Flow Controller Analysis Engine List:
[info] 1. informationRetrieverAEDescriptor
[info] 2. gzipXmiCasConsumerDescriptor
[info] 3. qalabExtractionSubtaskCCDescriptor
[info] Essay Generator Flow Controller Analysis Engine List:
[info] 1. essayGeneratorAEDescriptor
[info] 2. gzipXmiCasConsumerDescriptor
[info] 3. essayWriterCCDescriptor
[info] 4. essayEvaluatorCCDescriptor
[info] >> Question Analyzer Initializing
[info] >> Gzipped XMI Cas Consumer Initializing
[info] output CAS as Gzipped XMI into out/xmi/qa
[info] >> Information Retriever Initializing
[info] >> QA Lab Extraction Subtask Cas Consumer Initializing
[info] >> Gzipped XMI Cas Consumer Initializing
[info] output CAS as Gzipped XMI into out/xmi/ir
[info] >> Essay Generator Initializing
[info] >> Essay Writer Initializing
[info] >> QA Lab Summarization Subtask Cas Consumer Initializing
[info] >> QA Lab Evaluation Method Subtask Cas Consumer Initializing
[info] >> Gzipped XMI Cas Consumer Initializing
[info] output CAS as Gzipped XMI into out/xmi/eg
[info] >> Essay Evaluator Initializing
[info] >> Essay Question Reader Initializing
[info] Collection Processing Management Initialization Complete
[info] >> Essay Question Reader Processing
[info] >> Japanese Essay Question Reader Processing
[info] >> English Essay Question Reader Processing
[info] >> Flow Controller Processing
[info] >> Question Analyzer Flow Controller Processing
[info] >> Question Analyzer Processing
[info] >> Japanese Question Analyzer Processing
[info] Dataset:
[info] * A.xml
[info] Question:
[info] - K792W10_【１】
[info] - M792W10_【１】
[info] - M792W10_【２】_問(1)_(a)
[info] Dataset:
[info] * qalab3-samplequestion-answersheet-essay.xml
[info] Question:
[info] - D792W10_[1]
[info] - D792W10_[2]_(A)_Question (5)
[info] - D792W10_[2]_(B)_Question (7)_(b)
[info] Dataset:
[info] * B.xml
[info] Question:
[info] - D792W10_【１】
[info] - F792W10_【１】
[info] >> English Question Analyzer Processing
[info] Dataset:
[info] * A.xml
[info] Question:
[info] - K792W10_【１】
[error] [[CasConsumer Pipeline Thread]::] INFO edu.stanford.nlp.pipeline.StanfordCoreNLP - Adding annotator tokenize
[error] [[CasConsumer Pipeline Thread]::] INFO edu.stanford.nlp.pipeline.StanfordCoreNLP - Adding annotator ssplit
[error] [[CasConsumer Pipeline Thread]::] INFO edu.stanford.nlp.pipeline.StanfordCoreNLP - Adding annotator pos
[error] [[CasConsumer Pipeline Thread]::] INFO edu.stanford.nlp.tagger.maxent.MaxentTagger - Loading POS tagger from edu/stanford/nlp/models/pos-tagger/english-left3words/english-left3words-distsim.tagger ... done [1.1 sec].
[error] [[CasConsumer Pipeline Thread]::] INFO edu.stanford.nlp.pipeline.StanfordCoreNLP - Adding annotator lemma
[info] - M792W10_【１】
[info] - M792W10_【２】_問(1)_(a)
[info] Dataset:
[info] * qalab3-samplequestion-answersheet-essay.xml
[info] Question:
[info] - D792W10_[1]
[info] - D792W10_[2]_(A)_Question (5)
[info] - D792W10_[2]_(B)_Question (7)_(b)
[info] Dataset:
[info] * B.xml
[info] Question:
[info] - D792W10_【１】
[info] - F792W10_【１】
[info] >> Question Analyzer Flow Controller Processing
[info] >> Gzipped XMI Cas Consumer Processing
[info] >> Question Analyzer Flow Controller Processing
[info] >> Flow Controller Processing
[info] >> Information Retriever Flow Controller Processing
[info] >> Information Retriever Processing
[info] >> Japanese Information Retriever Processing
[info] Dataset:
[info] * A.xml
[info] Question:
[info] - K792W10_【１】
[info] #2(ジ ズ ヤ)
[info] #2(首 長 法)
[info] #2(ダ ラ イ = ラ マ)
[info] #2(ナ ン ト の 王 令 廃 止)
[info] #2(ミ ッ レ ト)
[info] #2(理 藩 院)
[info] #2(領 邦 教 会 制)
[info] - M792W10_【１】
[info] #2(イ ン ド)
[info] #2(ア ッ バ ー ス 朝)
[info] #2(イ ブ ン = シ ー ナ ー)
[info] #2(ア リ ス ト テ レ ス)
[info] #2(医 学)
[info] #2(代 数 学)
[info] #2(ト レ ド)
[info] #2(シ チ リ ア の 島)
[info] #2(シ チ リ ア が 島)
[info] #2(シ チ リ ア を 島)
[info] #2(シ チ リ ア に 島)
[info] #2(シ チ リ ア で 島)
[info] #2(シ チ リ ア 島)
[info] #2(シ チ リ ア)
[info] - M792W10_【２】_問(1)_(a)
[info] 60 つく ローマの平和 公共施設 字以内 支える 為る為さる 示す 繁栄 説明 都市生活
[info] Dataset:
[info] * qalab3-samplequestion-answersheet-essay.xml
[info] Question:
[info] - D792W10_[1]
[info] #2(ス エ ズ の 運 河)
[info] #2(ス エ ズ が 運 河)
[info] #2(ス エ ズ を 運 河)
[info] #2(ス エ ズ に 運 河)
[info] #2(ス エ ズ で 運 河)
[info] #2(ス エ ズ 運 河)
[info] #2(ス エ ズ)
[info] #2(汽 船)
[info] #2(バ グ ダ ー ド 鉄 道)
[info] #2(モ ー ル ス 信 号)
[info] #2(マ ル コ 一 ニ)
[info] #2(義 和 団)
[info] #2(日 露 戦 争)
[info] #2(イ ラ ン の 立 憲 革 命)
[info] #2(イ ラ ン が 立 憲 革 命)
[info] #2(イ ラ ン を 立 憲 革 命)
[info] #2(イ ラ ン に 立 憲 革 命)
[info] #2(イ ラ ン で 立 憲 革 命)
[info] #2(イ ラ ン 立 憲 革 命)
[info] #2(イ ラ ン)
[info] #2(ガ ン デ ィ ー)
[info] - D792W10_[2]_(A)_Question (5)
[info] 60 つく イタリア-Italia イタリア戦争 ルネサンス-Renaissance期 半世紀以上 字以内 政治状況 此の戦争 渡る 繰り広げる 記す 誘因
[info] - D792W10_[2]_(B)_Question (7)_(b)
[info] 30 一人 上げる 与える 人物 体系化 何の 儒教 儒教 先駆け 其の後中国 北宋 南宋 又 古代中国 国教 地位 字以内 宋王朝 広い 影響 思想 思想家 思想家 成す 成す 扱う 新しい 新しい 時 時 来る 東アジア 様 此の 此の体系化 漢王朝 研究 築く 纏め 起こる Ａ Ｂ
[info] Dataset:
[info] * B.xml
[info] Question:
[info] - D792W10_【１】
[info] - F792W10_【１】
[info] #2(大 西 洋 憲 章)
[info] #2(日 本 国 憲 法)
[info] #2(台 湾)
[info] #2(金 日 成)
[info] #2(東 ド イ ツ)
[info] #2(E E C ( ヨ ー ロ ッ パ 経 済 共 同 体 ))
[info] #2(ヨ ー ロ ッ パ 経 済 共 同 体)
[info] #2(E E C)
[info] #2(ア ウ シ ュ ヴ ィ ッ ツ)
[info] #2(パ レ ス チ ナ の 難 民)
[info] #2(パ レ ス チ ナ が 難 民)
[info] #2(パ レ ス チ ナ を 難 民)
[info] #2(パ レ ス チ ナ に 難 民)
[info] #2(パ レ ス チ ナ で 難 民)
[info] #2(パ レ ス チ ナ 難 民)
[info] #2(パ レ ス チ ナ)
[info] >> English Information Retriever Processing
[info] Dataset:
[info] * A.xml
[info] Question:
[info] - K792W10_【１】
[info] #2(Jizya)
[info] #2(Acts of Supremacy)
[info] #2(Dalai Lama)
[info] #2(abolition of the Edict of Nantes)
[info] #2(millet system)
[info] #2(Lifan Yuan)
[info] #2(Landeskirche system)
[info] - M792W10_【１】
[info] #2(India)
[info] #2(Abbasid Caliphate)
[info] #2(Avicenna)
[info] #2(Aristotle)
[info] #2(medicine)
[info] #2(algebra)
[info] #2(Toledo)
[info] #2(Sicily island)
[info] - M792W10_【２】_問(1)_(a)
[info] 30 English citi describ facil help ie lead life peac peopl prosper public roman word
[info] Dataset:
[info] * qalab3-samplequestion-answersheet-essay.xml
[info] Question:
[info] - D792W10_[1]
[info] #2(Suez Canal)
[info] #2(steamship)
[info] #2(Baghdad Railway)
[info] #2(Morse code)
[info] #2(Marconi)
[info] #2(the Boxers)
[info] #2(Russo-Japanese War)
[info] #2(Persian Constitutional Revolution)
[info] #2(Gandhi)
[info] - D792W10_[2]_(A)_Question (5)
[info] 30 English Itali Renaiss centuri conflict describ give italian period polit rise situat wage war word
[info] - D792W10_[2]_(B)_Question (7)_(b)
[info] 15 Asia China China Confucian Confucian Dynasti Dynasti East English Han Southern addit ancient b chines emerg handl idea influenc introduc it name new newli northern offici philosoph pioneer religion song song song studi subsequ summar systemat systemat thinker wide word write
[info] Dataset:
[info] * B.xml
[info] Question:
[info] - D792W10_【１】
[info] - F792W10_【１】
[info] #2(Atlantic Charter)
[info] #2(Constitution of Japan)
[info] #2(Taiwan)
[info] #2(Kim Il-Sung)
[info] #2(East Germany)
[info] #2(EEC (European Economic Community))
[info] #2(European Economic Community)
[info] #2(EEC)
[info] #2(EEC (European Economic Community))
[info] #2(Auschwitz)
[info] #2(Palestinian refugees)
[info] >> Information Retriever Flow Controller Processing
[info] >> Gzipped XMI Cas Consumer Processing
[info] >> Information Retriever Flow Controller Processing
[info] >> QA Lab Extraction Subtask Cas Consumer Processing
[info] >> Japanese QA Lab extraction Cas Consumer Processing
[info] Sentence
[info] >> English QA Lab extraction Cas Consumer Processing
[info] Sentence
[info] >> Japanese QA Lab extraction Cas Consumer Processing
[info] Document
[info] >> English QA Lab extraction Cas Consumer Processing
[info] Document
[info] >> Information Retriever Flow Controller Processing
[info] >> Flow Controller Processing
[info] >> Essay Generator Flow Controller Processing
[info] >> Essay Generator Processing
[info] >> Japanese Essay Generator Processing
[info] Dataset:
[info] * A.xml
[info] Question:
[info] - K792W10_【１】
[info] System Answer
[info] Writer: Baseline
[info] Essay: また、ヒンドゥー教徒とイスラーム教徒の融和をはかるため、非イスラーム教徒に課せられていた人頭税(ジズヤ)を廃止した。ジンミーは、ジズヤなどの付加的な税を支払うことで、信仰・生命・財産や自治的な生活などを保障された。ジズヤは、人頭税。みずからヒンドゥー教徒の女性と結婚し、非イスラーム教徒に課されていた人頭税(ジズヤ)を廃止して、ヒンドゥー勢力を味方につけた。アクバルは、ジズヤを廃止してヒンドゥーとの和解に努め、ラージブート諸王国と融和し、1576年までに北インドの統一を成し遂げた。西南地域の諸民族に対しては、その首長に土司、土官という官職を与えて間接的に統治し、あらたに加えた外モンゴル、チベットなどは藩部として自治をみとめながら理藩院の管理下においた。本部とは、首都圏の直隷省と地方の各省から構成され、藩部は、つぎつぎに征服・併合されたジュンガル・回部・チベットなどの地域であり、藩部を管理する理藩院が設置された。アウラングゼーブは、厳格なスンナ派で、1679年のジズヤの復活、シーア派・ヒンドゥー教の弾圧と、その寺院の破壊などを強行した。ジズヤの復活は、アウラングゼーブが1679年に行った。ジズヤの復活は、アウラングゼーブは厳格なスンナ派イスラーム教としての立場から、非イスラーム教徒に対してつぎつぎと迫害策を実行していたが、最終的にジズヤの復活にいたった。ミッレトは、〕。
[info] - M792W10_【１】
[info] System Answer
[info] Writer: Baseline
[info] Essay: 1世紀の「エリュトラー海案内記」には、ギリシア人ヒッパロスがモンスーンを発見したとあるが、それ以前から、アラブ人、ペルシア人、インド人は星やモンスーンや海流の知識を使った航海技術を発展させていた。ギリシア人たちはバクトリアからヘレニズム文明をインドにもたらした。12世紀以降には、中国の商船が陶磁器を積んで、東南アジアやインド西海岸まで進出し、香料やサンゴや象牙などの産物をもちかえった。インド、中央アジア、ペルシア、ギリシアの諸文明がこの地で混じりあった。17世紀後半以降には、オランダやイギリスの東インド会社がムスリムやインド人の商人から貿易を奪い、やがて内陸部をも支配する。13世紀にマルコ・ポーロは、このような小型船がインド洋航海に使われていることを驚きをもって伝えている。インド洋は、アフリカ東岸からマレー半島まで東西の距離にして1万km以上の大海であるが、けっして困難な航路というわけではなかった。多様な人々の交流の場であったインド洋世界が、争奪の場へと変わっていく。2世紀中ごろ、クシャーナ朝のカニシカ王は北インドから中央アジアに及ぶ地域を支配し、都をプルシャプラ(現ペシャワール)に定め、東西交易をおさえた。
[info] - M792W10_【２】_問(1)_(a)
[info] System Answer
[info] Writer: Baseline
[info] Essay: チューリヒは、スイスの都市。鄭和は、ムスリムの宦官であったという。世界人権宣言は、1948年12月10日、第3回国連総会で採択。
[info] Dataset:
[info] * qalab3-samplequestion-answersheet-essay.xml
[info] Question:
[info] - D792W10_[1]
[info] System Answer
[info] Writer: Baseline
[info] Essay: バグダード鉄道は、トルコのコニアからバグダードをへて、ペルシア湾に通じる鉄道(計画)。日露戦争後、中国東北地方については、北はロシア、南は日本の勢力下とされ(1907年、第1回日露協約)、モンゴルをめぐっても両国の勢力範囲を確定した。義和団事件への出兵にあたって中国東北地方を占領したロシアは、その後も撤兵することなく、鴨緑江にまで進出した。ペルシアは、イラン立憲革命の旧称。北京議定書は、1901年9月7日に北京で清朝と11カ国(出兵8カ国とベルギー・オランダ・スペイン)との間で調印された義和団事件の講和に関する最終議定書。1869年のスエズ運河の開通は列強のアフリカへの進出を刺激し、アフリカは分割競争の対象となった。バグダード鉄道は、諸列強がねらったが、ドイツが1899年に敷設権を獲得し、1903年に会社を設立した。バグダード鉄道は、最終的には一部分だけの開通に留まった。仇教運動は、とくに97年の山東におけるドイツ人宣教師殺害事件を口実とするドイツの進出は、98年から義和団による山東教案となって爆発し、大規模な反帝国主義・排外運動に発展した。ゴールドラッシュは、鉄道や汽船による交通網の発展が背景にあり、以後、西部開拓が進展した。
[info] - D792W10_[2]_(A)_Question (5)
[info] System Answer
[info] Writer: Baseline
[info] Essay: 清朝末期の中国で、3代の皇帝の治世にわたる半世紀以上の長いあいだ、この国の政治を動かした最高実力者であった。
[info] - D792W10_[2]_(B)_Question (7)_(b)
[info] System Answer
[info] Writer: Baseline
[info] Essay: ABCDラインは、日本国民の敵愾心をあおることに利用された。
[info] Dataset:
[info] * B.xml
[info] Question:
[info] - D792W10_【１】
[info] System Answer
[info] Writer: Baseline
[info] Essay: バグダード鉄道は、トルコのコニアからバグダードをへて、ペルシア湾に通じる鉄道(計画)。日露戦争後、中国東北地方については、北はロシア、南は日本の勢力下とされ(1907年、第1回日露協約)、モンゴルをめぐっても両国の勢力範囲を確定した。義和団事件への出兵にあたって中国東北地方を占領したロシアは、その後も撤兵することなく、鴨緑江にまで進出した。ペルシアは、イラン立憲革命の旧称。北京議定書は、1901年9月7日に北京で清朝と11カ国(出兵8カ国とベルギー・オランダ・スペイン)との間で調印された義和団事件の講和に関する最終議定書。1869年のスエズ運河の開通は列強のアフリカへの進出を刺激し、アフリカは分割競争の対象となった。バグダード鉄道は、諸列強がねらったが、ドイツが1899年に敷設権を獲得し、1903年に会社を設立した。バグダード鉄道は、最終的には一部分だけの開通に留まった。仇教運動は、とくに97年の山東におけるドイツ人宣教師殺害事件を口実とするドイツの進出は、98年から義和団による山東教案となって爆発し、大規模な反帝国主義・排外運動に発展した。ゴールドラッシュは、鉄道や汽船による交通網の発展が背景にあり、以後、西部開拓が進展した。
[info] - F792W10_【１】
[info] System Answer
[info] Writer: Baseline
[info] Essay: なお、福建からは、対岸の台湾へも多くの人々が移住した。パレスチナ分割案は、アメリカの強い主張によって、人口で3分の1、所有地で6%を持つに過ぎなかったユダヤ人に、パレスチナ難民の56・5%の土地を与えるという不合理な内容であったためアラブ側は拒否したが、ユダヤ側はこれを受け入れ、イスラエル国を建国した。煬帝は、大運河を建設し、東突厥・吐谷渾・林邑・流求(台湾)をうち、赤土国(スマトラ)を入貢させた。ヨーロッパ石炭鉄鋼共同体は、のちEEC(ヨーロッパ経済共同体)(EEC(ヨーロッパ経済共同体))に発展する。ヨーロッパ自由貿易連合は、1960年7月、EEC(ヨーロッパ経済共同体)(EEC(ヨーロッパ経済共同体))に対抗するためイギリスが提案して発足した工業製品の共同市場。パレスチナ分割案は、1947年11月の国連総会で決議された、イギリスの委任統治終了後にパレスチナ難民をユダヤ・アラブ両国家に分割する案。1941年8月のローズヴェルト・チャーチル会談で発表された大西洋憲章は、その後ソ連など26カ国が加わり、42年1月の連合国共同宣言で戦後構想の原則として確認された。主体思想は、金日成によって1970年代からとなえられたスローガン。
[info] >> English Essay Generator Processing
[info] Dataset:
[info] * A.xml
[info] Question:
[info] - K792W10_【１】
[info] System Answer
[info] Writer: Baseline
[info] Essay: (empty)
[info] - M792W10_【１】
[info] System Answer
[info] Writer: Baseline
[info] Essay: (empty)
[info] - M792W10_【２】_問(1)_(a)
[info] System Answer
[info] Writer: Baseline
[info] Essay: Capital Berlin of the same time Prussia was only population 170,000.Great Depression, is not limited to the economic crisis in Germany, it caused a serious political crisis.
[info] Dataset:
[info] * qalab3-samplequestion-answersheet-essay.xml
[info] Question:
[info] - D792W10_[1]
[info] System Answer
[info] Writer: Baseline
[info] Essay: (empty)
[info] - D792W10_[2]_(A)_Question (5)
[info] System Answer
[info] Writer: Baseline
[info] Essay: Leadership of the are backward Kwantung Army.Nkrumah to request an immediate independent en car Ghana that speech is, the place where wields spiel before the people. '
[info] - D792W10_[2]_(B)_Question (7)_(b)
[info] System Answer
[info] Writer: Baseline
[info] Essay: This called late Yamato 寇.This we call the previous year Yamato 寇.1602, Beijing.
[info] Dataset:
[info] * B.xml
[info] Question:
[info] - D792W10_【１】
[info] System Answer
[info] Writer: Baseline
[info] Essay: (empty)
[info] - F792W10_【１】
[info] System Answer
[info] Writer: Baseline
[info] Essay: (empty)
[info] >> Essay Generator Flow Controller Processing
[info] >> Gzipped XMI Cas Consumer Processing
[info] >> Essay Generator Flow Controller Processing
[info] >> Essay Writer Processing
[info] >> Japanese Essay Writer Processing
[info] Dataset:
[info] * A.xml
[info] Question:
[info] - K792W10_【１】
[info] - M792W10_【１】
[info] - M792W10_【２】_問(1)_(a)
[info] Dataset:
[info] * qalab3-samplequestion-answersheet-essay.xml
[info] Question:
[info] - D792W10_[1]
[info] - D792W10_[2]_(A)_Question (5)
[info] - D792W10_[2]_(B)_Question (7)_(b)
[info] Dataset:
[info] * B.xml
[info] Question:
[info] - D792W10_【１】
[info] - F792W10_【１】
[info] >> English Essay Writer Processing
[info] Dataset:
[info] * A.xml
[info] Question:
[info] - K792W10_【１】
[info] - M792W10_【１】
[info] - M792W10_【２】_問(1)_(a)
[info] Dataset:
[info] * qalab3-samplequestion-answersheet-essay.xml
[info] Question:
[info] - D792W10_[1]
[info] - D792W10_[2]_(A)_Question (5)
[info] - D792W10_[2]_(B)_Question (7)_(b)
[info] Dataset:
[info] * B.xml
[info] Question:
[info] - D792W10_【１】
[info] - F792W10_【１】
[info] >> Essay Generator Flow Controller Processing
[info] >> Essay Evaluator Processing
[info] >> Japanese Essay Evaluator Processing
[info] Japanese Essay Evaluation Results
[info] 2017-02-20T04:41:00.26+09:00
[info] HISTORY
[info] Summary
[info]
[info] WRITER ROUGE AVERAGING # OF DATASETs # OF Qs MEAN MAX MEDIAN MIN VARIANCE STANDARD DEVIATION
[info] Baseline ROUGE-1 F1 Score by Content Word Micro 3 8 0.05940 0.16754 0.06104 0.00000 0.00319 0.05649
[info] Macro 3 8 0.06213 0.11968 0.05795 0.01838 0.00274 0.04718
[info] ROUGE-2 F1 Score by Content Word Micro 3 8 0.00561 0.01438 0.00673 0.00000 0.00004 0.00595
[info] Macro 3 8 0.00616 0.01272 0.00479 0.00224 0.00003 0.00501
[info]
[info]
[info] Particulars
[info]
[info] DATASET QUESTION LABEL HAS KEYWORDS? CHAR LIMIT CHAR LENGTH WRITER ROUGE-1 F1 Score by Content Word ROUGE-2 F1 Score by Content Word
[info] A.xml K792W10_【１】 Yes 0 - 600 586 Baseline 0.06104 0.00000
[info] M792W10_【１】 Yes 0 - 510 509 Baseline 0.07870 0.01187
[info] M792W10_【２】_問(1)_(a) No 0 - 60 60 Baseline 0.00000 0.00000
[info] B.xml D792W10_【１】 Yes 0 - 510 509 Baseline 0.11280 0.01438
[info] F792W10_【１】 Yes 0 - 510 509 Baseline 0.05514 0.00673
[info] qalab3-samplequestion-answersheet-essay.xml D792W10_[1] Yes 0 - 510 509 Baseline 0.16754 0.01192
[info] D792W10_[2]_(A)_Question (5) No 0 - 60 54 Baseline 0.00000 0.00000
[info] D792W10_[2]_(B)_Question (7)_(b) No 0 - 30 30 Baseline 0.00000 0.00000
[info]
[info]
[info] >> English Essay Evaluator Processing
[info] English Essay Evaluation Results
[info] 2017-02-20T04:41:00.26+09:00
[info] HISTORY
[info] Summary
[info]
[info] WRITER ROUGE AVERAGING # OF DATASETs # OF Qs MEAN MAX MEDIAN MIN VARIANCE STANDARD DEVIATION
[info] Baseline ROUGE-1 F1 Score by Content Word Micro 3 8 0.00000 0.00000 0.00000 0.00000 0.00000 0.00000
[info] Macro 3 8 0.00000 0.00000 0.00000 0.00000 0.00000 0.00000
[info] ROUGE-2 F1 Score by Content Word Micro 3 8 0.00000 0.00000 0.00000 0.00000 0.00000 0.00000
[info] Macro 3 8 0.00000 0.00000 0.00000 0.00000 0.00000 0.00000
[info]
[info]
[info] Particulars
[info]
[info] DATASET QUESTION LABEL HAS KEYWORDS? WORD LIMIT WORD LENGTH WRITER ROUGE-1 F1 Score by Content Word ROUGE-2 F1 Score by Content Word
[info] A.xml K792W10_【１】 Yes 0 - 300 0 Baseline 0.00000 0.00000
[info] M792W10_【１】 Yes 0 - 255 0 Baseline 0.00000 0.00000
[info] M792W10_【２】_問(1)_(a) No 0 - 30 27 Baseline 0.00000 0.00000
[info] B.xml D792W10_【１】 Yes 0 - 255 0 Baseline 0.00000 0.00000
[info] F792W10_【１】 Yes 0 - 255 0 Baseline 0.00000 0.00000
[info] qalab3-samplequestion-answersheet-essay.xml D792W10_[1] Yes 0 - 255 0 Baseline 0.00000 0.00000
[info] D792W10_[2]_(A)_Question (5) No 0 - 30 27 Baseline 0.00000 0.00000
[info] D792W10_[2]_(B)_Question (7)_(b) No 0 - 15 13 Baseline 0.00000 0.00000
[info]
[info]
[info] Essay Evaluation Result History
[info]
[info] 2017-02-20T04:41:00.26+09:00
[info]
[info]
[info] >> Essay Generator Flow Controller Processing
[info] >> Flow Controller Processing
[info] Completed 1 documents
[info] Total Time Elapsed: 861457038185 nano seconds
[info] Initialization Time: 531102137 nano seconds
[info] Processing Time: 860925936048 nano seconds
[info]
[info]
[info] ------------------ PERFORMANCE REPORT ------------------
[info]
[info] Component Name: Essay Question Collection Reader Descriptor
[info] Event Type: Process
[info] Duration: 185ms (0.02%)
[info] Result: success
[info] Component Name: aaeDescriptor
[info] Event Type: Analysis
[info] Duration: 860654ms (99.98%)
[info] Sub-events:
[info] Component Name: questionAnalyzerAAEDescriptor
[info] Event Type: Analysis
[info] Duration: 4572ms (0.53%)
[info] Sub-events:
[info] Component Name: questionAnalyzerAEDescriptor
[info] Event Type: Analysis
[info] Duration: 4430ms (0.51%)
[info]
[info] Component Name: Gzipped XMI Writer Cas Consumer
[info] Event Type: Analysis
[info] Duration: 138ms (0.02%)
[info]
[info] Component Name: Question Analyzer Flow Controller
[info] Event Type: Analysis
[info] Duration: 4ms (0%)
[info]
[info]
[info] Component Name: informationRetrievalAAEDescriptor
[info] Event Type: Analysis
[info] Duration: 608359ms (70.67%)
[info] Sub-events:
[info] Component Name: informationRetrievalAEDescriptor
[info] Event Type: Analysis
[info] Duration: 602188ms (69.95%)
[info]
[info] Component Name: QA Lab Extraction Subtask Cas Consumer Descriptor
[info] Event Type: Analysis
[info] Duration: 1282ms (0.15%)
[info]
[info] Component Name: Gzipped XMI Writer Cas Consumer
[info] Event Type: Analysis
[info] Duration: 4886ms (0.57%)
[info]
[info] Component Name: Information Retriever Flow Controller
[info] Event Type: Analysis
[info] Duration: 3ms (0%)
[info]
[info]
[info] Component Name: essayGeneratorAAEDescriptor
[info] Event Type: Analysis
[info] Duration: 247707ms (28.78%)
[info] Sub-events:
[info] Component Name: essayGeneratorAEDescriptor
[info] Event Type: Analysis
[info] Duration: 230742ms (26.8%)
[info]
[info] Component Name: Essay Writer Cas Consumer Descriptor
[info] Event Type: Analysis
[info] Duration: 87ms (0.01%)
[info]
[info] Component Name: QA Lab Summarization Subtask Cas Consumer Descriptor
[info] Event Type: Analysis
[info] Duration: 0ms (0%)
[info]
[info] Component Name: QA Lab Evaluation Method Subtask Cas Consumer Descriptor
[info] Event Type: Analysis
[info] Duration: 0ms (0%)
[info]
[info] Component Name: Gzipped XMI Writer Cas Consumer
[info] Event Type: Analysis
[info] Duration: 4040ms (0.47%)
[info]
[info] Component Name: Evaluator Cas Consumer Descriptor
[info] Event Type: Analysis
[info] Duration: 12827ms (1.49%)
[info]
[info] Component Name: Essay Generator Flow Controller
[info] Event Type: Analysis
[info] Duration: 11ms (0%)
[info]
[info]
[info] Component Name: Flow Controller
[info] Event Type: Analysis
[info] Duration: 16ms (0%)
[info]
[info] Component Name: aaeDescriptor
[info] Event Type: End of Batch
[info] Duration: 2ms (0%)
[info]
[success] Total time: 890 s, completed Feb 20, 2017 4:55:23 AM
Once the run finished, browse evaluation results in the default web browswer.
Show Japanese essay evaluation results as below
Show English essay evaluation results as below
Click the "HISTORY" link
If you want to run a part of pipeline (pipeline from Essay Generator), do as below.
In [4]:
sbt "run-main uima.cpe.CPERunner -from eg"
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=384m; support was removed in 8.0
[info] Loading project definition from /Users/sakamoto/Documents/FelisCatusZero/project
[info] Set current project to FelisCatusZero (in build file:/Users/sakamoto/Documents/FelisCatusZero/)
[info] Running uima.cpe.CPERunner -from eg
[info] >> Converting from QA Lab Dataset to Multilingual QA Corpus
[info] >> Collection Processing Engine Processing
[info] >> Flow Controller Initializing
[info] Collection Processing Engine:
[info] * cpeFromIntermediatePointDescriptor.xml
[info] Flow Controller Analysis Engine List:
[info] 1. essayGeneratorAAEDescriptor
[info] Question Analyzer Flow Controller Analysis Engine List:
[info] (empty)
[info] Information Retriever Flow Controller Analysis Engine List:
[info] (empty)
[info] Essay Generator Flow Controller Analysis Engine List:
[info] 1. essayGeneratorAEDescriptor
[info] 2. gzipXmiCasConsumerDescriptor
[info] 3. essayWriterCCDescriptor
[info] 4. essayEvaluatorCCDescriptor
[info] >> Question Analyzer Initializing
[info] >> Gzipped XMI Cas Consumer Initializing
[info] output CAS as Gzipped XMI into out/xmi/qa
[info] >> Information Retriever Initializing
[info] >> QA Lab Extraction Subtask Cas Consumer Initializing
[info] >> Gzipped XMI Cas Consumer Initializing
[info] output CAS as Gzipped XMI into out/xmi/ir
[info] >> Essay Generator Initializing
[info] >> Essay Writer Initializing
[info] >> QA Lab Summarization Subtask Cas Consumer Initializing
[info] >> QA Lab Evaluation Method Subtask Cas Consumer Initializing
[info] >> Gzipped XMI Cas Consumer Initializing
[info] output CAS as Gzipped XMI into out/xmi/eg
[info] >> Essay Evaluator Initializing
[info] >> Gzipped XMI Collection Reader Initializing
[info] input CAS from Gzipped XMI out/xmi/qa/0.xmi.gz
[info] >> Collection Reader Reconfiguration Started
[info] >> Gzipped XMI Collection Reader Initializing
[info] input CAS from Gzipped XMI out/xmi/ir/0.xmi.gz
[info] Collection Processing Management Initialization Complete
[info] >> Gzipped XMI Collection Reader Processing
[info] >> Flow Controller Processing
[info] >> Essay Generator Flow Controller Processing
[info] >> Essay Generator Processing
[info] >> Japanese Essay Generator Processing
[info] Dataset:
[info] * A.xml
[info] Question:
[info] - K792W10_【１】
[info] System Answer
[info] Writer: Baseline
[info] Essay: また、ヒンドゥー教徒とイスラーム教徒の融和をはかるため、非イスラーム教徒に課せられていた人頭税(ジズヤ)を廃止した。ジンミーは、ジズヤなどの付加的な税を支払うことで、信仰・生命・財産や自治的な生活などを保障された。ジズヤは、人頭税。みずからヒンドゥー教徒の女性と結婚し、非イスラーム教徒に課されていた人頭税(ジズヤ)を廃止して、ヒンドゥー勢力を味方につけた。アクバルは、ジズヤを廃止してヒンドゥーとの和解に努め、ラージブート諸王国と融和し、1576年までに北インドの統一を成し遂げた。西南地域の諸民族に対しては、その首長に土司、土官という官職を与えて間接的に統治し、あらたに加えた外モンゴル、チベットなどは藩部として自治をみとめながら理藩院の管理下においた。本部とは、首都圏の直隷省と地方の各省から構成され、藩部は、つぎつぎに征服・併合されたジュンガル・回部・チベットなどの地域であり、藩部を管理する理藩院が設置された。アウラングゼーブは、厳格なスンナ派で、1679年のジズヤの復活、シーア派・ヒンドゥー教の弾圧と、その寺院の破壊などを強行した。ジズヤの復活は、アウラングゼーブが1679年に行った。ジズヤの復活は、アウラングゼーブは厳格なスンナ派イスラーム教としての立場から、非イスラーム教徒に対してつぎつぎと迫害策を実行していたが、最終的にジズヤの復活にいたった。ミッレトは、〕。
[info] - M792W10_【１】
[info] System Answer
[info] Writer: Baseline
[info] Essay: 1世紀の「エリュトラー海案内記」には、ギリシア人ヒッパロスがモンスーンを発見したとあるが、それ以前から、アラブ人、ペルシア人、インド人は星やモンスーンや海流の知識を使った航海技術を発展させていた。ギリシア人たちはバクトリアからヘレニズム文明をインドにもたらした。12世紀以降には、中国の商船が陶磁器を積んで、東南アジアやインド西海岸まで進出し、香料やサンゴや象牙などの産物をもちかえった。インド、中央アジア、ペルシア、ギリシアの諸文明がこの地で混じりあった。17世紀後半以降には、オランダやイギリスの東インド会社がムスリムやインド人の商人から貿易を奪い、やがて内陸部をも支配する。13世紀にマルコ・ポーロは、このような小型船がインド洋航海に使われていることを驚きをもって伝えている。インド洋は、アフリカ東岸からマレー半島まで東西の距離にして1万km以上の大海であるが、けっして困難な航路というわけではなかった。多様な人々の交流の場であったインド洋世界が、争奪の場へと変わっていく。2世紀中ごろ、クシャーナ朝のカニシカ王は北インドから中央アジアに及ぶ地域を支配し、都をプルシャプラ(現ペシャワール)に定め、東西交易をおさえた。
[info] - M792W10_【２】_問(1)_(a)
[info] System Answer
[info] Writer: Baseline
[info] Essay: チューリヒは、スイスの都市。鄭和は、ムスリムの宦官であったという。世界人権宣言は、1948年12月10日、第3回国連総会で採択。
[info] Dataset:
[info] * B.xml
[info] Question:
[info] - D792W10_【１】
[info] System Answer
[info] Writer: Baseline
[info] Essay: バグダード鉄道は、トルコのコニアからバグダードをへて、ペルシア湾に通じる鉄道(計画)。日露戦争後、中国東北地方については、北はロシア、南は日本の勢力下とされ(1907年、第1回日露協約)、モンゴルをめぐっても両国の勢力範囲を確定した。義和団事件への出兵にあたって中国東北地方を占領したロシアは、その後も撤兵することなく、鴨緑江にまで進出した。ペルシアは、イラン立憲革命の旧称。北京議定書は、1901年9月7日に北京で清朝と11カ国(出兵8カ国とベルギー・オランダ・スペイン)との間で調印された義和団事件の講和に関する最終議定書。1869年のスエズ運河の開通は列強のアフリカへの進出を刺激し、アフリカは分割競争の対象となった。バグダード鉄道は、諸列強がねらったが、ドイツが1899年に敷設権を獲得し、1903年に会社を設立した。バグダード鉄道は、最終的には一部分だけの開通に留まった。仇教運動は、とくに97年の山東におけるドイツ人宣教師殺害事件を口実とするドイツの進出は、98年から義和団による山東教案となって爆発し、大規模な反帝国主義・排外運動に発展した。ゴールドラッシュは、鉄道や汽船による交通網の発展が背景にあり、以後、西部開拓が進展した。
[info] - F792W10_【１】
[info] System Answer
[info] Writer: Baseline
[info] Essay: なお、福建からは、対岸の台湾へも多くの人々が移住した。パレスチナ分割案は、アメリカの強い主張によって、人口で3分の1、所有地で6%を持つに過ぎなかったユダヤ人に、パレスチナ難民の56・5%の土地を与えるという不合理な内容であったためアラブ側は拒否したが、ユダヤ側はこれを受け入れ、イスラエル国を建国した。煬帝は、大運河を建設し、東突厥・吐谷渾・林邑・流求(台湾)をうち、赤土国(スマトラ)を入貢させた。ヨーロッパ石炭鉄鋼共同体は、のちEEC(ヨーロッパ経済共同体)(EEC(ヨーロッパ経済共同体))に発展する。ヨーロッパ自由貿易連合は、1960年7月、EEC(ヨーロッパ経済共同体)(EEC(ヨーロッパ経済共同体))に対抗するためイギリスが提案して発足した工業製品の共同市場。パレスチナ分割案は、1947年11月の国連総会で決議された、イギリスの委任統治終了後にパレスチナ難民をユダヤ・アラブ両国家に分割する案。1941年8月のローズヴェルト・チャーチル会談で発表された大西洋憲章は、その後ソ連など26カ国が加わり、42年1月の連合国共同宣言で戦後構想の原則として確認された。主体思想は、金日成によって1970年代からとなえられたスローガン。
[info] Dataset:
[info] * qalab3-samplequestion-answersheet-essay.xml
[info] Question:
[info] - D792W10_[1]
[info] System Answer
[info] Writer: Baseline
[info] Essay: バグダード鉄道は、トルコのコニアからバグダードをへて、ペルシア湾に通じる鉄道(計画)。日露戦争後、中国東北地方については、北はロシア、南は日本の勢力下とされ(1907年、第1回日露協約)、モンゴルをめぐっても両国の勢力範囲を確定した。義和団事件への出兵にあたって中国東北地方を占領したロシアは、その後も撤兵することなく、鴨緑江にまで進出した。ペルシアは、イラン立憲革命の旧称。北京議定書は、1901年9月7日に北京で清朝と11カ国(出兵8カ国とベルギー・オランダ・スペイン)との間で調印された義和団事件の講和に関する最終議定書。1869年のスエズ運河の開通は列強のアフリカへの進出を刺激し、アフリカは分割競争の対象となった。バグダード鉄道は、諸列強がねらったが、ドイツが1899年に敷設権を獲得し、1903年に会社を設立した。バグダード鉄道は、最終的には一部分だけの開通に留まった。仇教運動は、とくに97年の山東におけるドイツ人宣教師殺害事件を口実とするドイツの進出は、98年から義和団による山東教案となって爆発し、大規模な反帝国主義・排外運動に発展した。ゴールドラッシュは、鉄道や汽船による交通網の発展が背景にあり、以後、西部開拓が進展した。
[info] - D792W10_[2]_(A)_Question (5)
[info] System Answer
[info] Writer: Baseline
[info] Essay: 清朝末期の中国で、3代の皇帝の治世にわたる半世紀以上の長いあいだ、この国の政治を動かした最高実力者であった。
[info] - D792W10_[2]_(B)_Question (7)_(b)
[info] System Answer
[info] Writer: Baseline
[info] Essay: ABCDラインは、日本国民の敵愾心をあおることに利用された。
[info] >> English Essay Generator Processing
[info] Dataset:
[info] * A.xml
[info] Question:
[info] - K792W10_【１】
[info] System Answer
[info] Writer: Baseline
[info] Essay: (empty)
[info] - M792W10_【１】
[info] System Answer
[info] Writer: Baseline
[info] Essay: (empty)
[info] - M792W10_【２】_問(1)_(a)
[info] System Answer
[info] Writer: Baseline
[info] Essay: Capital Berlin of the same time Prussia was only population 170,000.Great Depression, is not limited to the economic crisis in Germany, it caused a serious political crisis.
[info] Dataset:
[info] * B.xml
[info] Question:
[info] - D792W10_【１】
[info] System Answer
[info] Writer: Baseline
[info] Essay: (empty)
[info] - F792W10_【１】
[info] System Answer
[info] Writer: Baseline
[info] Essay: (empty)
[info] Dataset:
[info] * qalab3-samplequestion-answersheet-essay.xml
[info] Question:
[info] - D792W10_[1]
[info] System Answer
[info] Writer: Baseline
[info] Essay: (empty)
[info] - D792W10_[2]_(A)_Question (5)
[info] System Answer
[info] Writer: Baseline
[info] Essay: Leadership of the are backward Kwantung Army.Nkrumah to request an immediate independent en car Ghana that speech is, the place where wields spiel before the people. '
[info] - D792W10_[2]_(B)_Question (7)_(b)
[info] System Answer
[info] Writer: Baseline
[info] Essay: This called late Yamato 寇.This we call the previous year Yamato 寇.1602, Beijing.
[info] >> Essay Generator Flow Controller Processing
[info] >> Gzipped XMI Cas Consumer Processing
[info] >> Essay Generator Flow Controller Processing
[info] >> Essay Writer Processing
[info] >> Japanese Essay Writer Processing
[info] Dataset:
[info] * A.xml
[info] Question:
[info] - K792W10_【１】
[info] - M792W10_【１】
[info] - M792W10_【２】_問(1)_(a)
[info] Dataset:
[info] * B.xml
[info] Question:
[info] - D792W10_【１】
[info] - F792W10_【１】
[info] Dataset:
[info] * qalab3-samplequestion-answersheet-essay.xml
[info] Question:
[info] - D792W10_[1]
[info] - D792W10_[2]_(A)_Question (5)
[info] - D792W10_[2]_(B)_Question (7)_(b)
[info] >> English Essay Writer Processing
[info] Dataset:
[info] * A.xml
[info] Question:
[info] - K792W10_【１】
[info] - M792W10_【１】
[info] - M792W10_【２】_問(1)_(a)
[info] Dataset:
[info] * B.xml
[info] Question:
[info] - D792W10_【１】
[info] - F792W10_【１】
[info] Dataset:
[info] * qalab3-samplequestion-answersheet-essay.xml
[info] Question:
[info] - D792W10_[1]
[info] - D792W10_[2]_(A)_Question (5)
[info] - D792W10_[2]_(B)_Question (7)_(b)
[info] >> Essay Generator Flow Controller Processing
[info] >> Essay Evaluator Processing
[info] >> Japanese Essay Evaluator Processing
[info] Japanese Essay Evaluation Results
[info] 2017-02-20T05:02:21.399+09:00
[info] HISTORY
[info] Summary
[info]
[info] WRITER ROUGE AVERAGING # OF DATASETs # OF Qs MEAN MAX MEDIAN MIN VARIANCE STANDARD DEVIATION
[info] Baseline ROUGE-1 F1 Score by Content Word Micro 3 8 0.05940 0.16754 0.06104 0.00000 0.00319 0.05649
[info] Macro 3 8 0.06213 0.11968 0.05795 0.01838 0.00274 0.04718
[info] ROUGE-2 F1 Score by Content Word Micro 3 8 0.00561 0.01438 0.00673 0.00000 0.00004 0.00595
[info] Macro 3 8 0.00616 0.01272 0.00479 0.00224 0.00003 0.00501
[info]
[info]
[info] Particulars
[info]
[info] DATASET QUESTION LABEL HAS KEYWORDS? CHAR LIMIT CHAR LENGTH WRITER ROUGE-1 F1 Score by Content Word ROUGE-2 F1 Score by Content Word
[info] A.xml K792W10_【１】 Yes 0 - 600 586 Baseline 0.06104 0.00000
[info] M792W10_【１】 Yes 0 - 510 509 Baseline 0.07870 0.01187
[info] M792W10_【２】_問(1)_(a) No 0 - 60 60 Baseline 0.00000 0.00000
[info] B.xml D792W10_【１】 Yes 0 - 510 509 Baseline 0.11280 0.01438
[info] F792W10_【１】 Yes 0 - 510 509 Baseline 0.05514 0.00673
[info] qalab3-samplequestion-answersheet-essay.xml D792W10_[1] Yes 0 - 510 509 Baseline 0.16754 0.01192
[info] D792W10_[2]_(A)_Question (5) No 0 - 60 54 Baseline 0.00000 0.00000
[info] D792W10_[2]_(B)_Question (7)_(b) No 0 - 30 30 Baseline 0.00000 0.00000
[info]
[info]
[info] >> English Essay Evaluator Processing
[error] [[CasConsumer Pipeline Thread]::] INFO edu.stanford.nlp.pipeline.StanfordCoreNLP - Adding annotator tokenize
[error] [[CasConsumer Pipeline Thread]::] INFO edu.stanford.nlp.pipeline.StanfordCoreNLP - Adding annotator ssplit
[error] [[CasConsumer Pipeline Thread]::] INFO edu.stanford.nlp.pipeline.StanfordCoreNLP - Adding annotator pos
[error] [[CasConsumer Pipeline Thread]::] INFO edu.stanford.nlp.tagger.maxent.MaxentTagger - Loading POS tagger from edu/stanford/nlp/models/pos-tagger/english-left3words/english-left3words-distsim.tagger ... done [0.7 sec].
[error] [[CasConsumer Pipeline Thread]::] INFO edu.stanford.nlp.pipeline.StanfordCoreNLP - Adding annotator lemma
[info] English Essay Evaluation Results
[info] 2017-02-20T05:02:21.399+09:00
[info] HISTORY
[info] Summary
[info]
[info] WRITER ROUGE AVERAGING # OF DATASETs # OF Qs MEAN MAX MEDIAN MIN VARIANCE STANDARD DEVIATION
[info] Baseline ROUGE-1 F1 Score by Content Word Micro 3 8 0.00000 0.00000 0.00000 0.00000 0.00000 0.00000
[info] Macro 3 8 0.00000 0.00000 0.00000 0.00000 0.00000 0.00000
[info] ROUGE-2 F1 Score by Content Word Micro 3 8 0.00000 0.00000 0.00000 0.00000 0.00000 0.00000
[info] Macro 3 8 0.00000 0.00000 0.00000 0.00000 0.00000 0.00000
[info]
[info]
[info] Particulars
[info]
[info] DATASET QUESTION LABEL HAS KEYWORDS? WORD LIMIT WORD LENGTH WRITER ROUGE-1 F1 Score by Content Word ROUGE-2 F1 Score by Content Word
[info] A.xml K792W10_【１】 Yes 0 - 300 0 Baseline 0.00000 0.00000
[info] M792W10_【１】 Yes 0 - 255 0 Baseline 0.00000 0.00000
[info] M792W10_【２】_問(1)_(a) No 0 - 30 27 Baseline 0.00000 0.00000
[info] B.xml D792W10_【１】 Yes 0 - 255 0 Baseline 0.00000 0.00000
[info] F792W10_【１】 Yes 0 - 255 0 Baseline 0.00000 0.00000
[info] qalab3-samplequestion-answersheet-essay.xml D792W10_[1] Yes 0 - 255 0 Baseline 0.00000 0.00000
[info] D792W10_[2]_(A)_Question (5) No 0 - 30 27 Baseline 0.00000 0.00000
[info] D792W10_[2]_(B)_Question (7)_(b) No 0 - 15 13 Baseline 0.00000 0.00000
[info]
[info]
[info] Essay Evaluation Result History
[info]
[info] 2017-02-20T05:02:21.399+09:00
[info] 2017-02-20T04:41:00.26+09:00
[info]
[info] >> Essay Generator Flow Controller Processing
[info] >> Flow Controller Processing
[info] Completed 1 documents
[info] Total Time Elapsed: 180155155921 nano seconds
[info] Initialization Time: 505284724 nano seconds
[info] Processing Time: 179649871197 nano seconds
[info]
[info]
[info] ------------------ PERFORMANCE REPORT ------------------
[info]
[info] Component Name: Gzipped XMI Collection Reader
[info] Event Type: Process
[info] Duration: 11659ms (6.49%)
[info] Result: success
[info] Component Name: aaeDescriptor
[info] Event Type: Analysis
[info] Duration: 167951ms (93.51%)
[info] Sub-events:
[info] Component Name: questionAnalyzerAAEDescriptor
[info] Event Type: Analysis
[info] Duration: 0ms (0%)
[info] Sub-events:
[info] Component Name: questionAnalyzerAEDescriptor
[info] Event Type: Analysis
[info] Duration: 0ms (0%)
[info]
[info] Component Name: Gzipped XMI Writer Cas Consumer
[info] Event Type: Analysis
[info] Duration: 0ms (0%)
[info]
[info] Component Name: Question Analyzer Flow Controller
[info] Event Type: Analysis
[info] Duration: 0ms (0%)
[info]
[info]
[info] Component Name: informationRetrievalAAEDescriptor
[info] Event Type: Analysis
[info] Duration: 0ms (0%)
[info] Sub-events:
[info] Component Name: informationRetrievalAEDescriptor
[info] Event Type: Analysis
[info] Duration: 0ms (0%)
[info]
[info] Component Name: QA Lab Extraction Subtask Cas Consumer Descriptor
[info] Event Type: Analysis
[info] Duration: 0ms (0%)
[info]
[info] Component Name: Gzipped XMI Writer Cas Consumer
[info] Event Type: Analysis
[info] Duration: 0ms (0%)
[info]
[info] Component Name: Information Retriever Flow Controller
[info] Event Type: Analysis
[info] Duration: 0ms (0%)
[info]
[info]
[info] Component Name: essayGeneratorAAEDescriptor
[info] Event Type: Analysis
[info] Duration: 167940ms (93.5%)
[info] Sub-events:
[info] Component Name: essayGeneratorAEDescriptor
[info] Event Type: Analysis
[info] Duration: 150583ms (83.84%)
[info]
[info] Component Name: Essay Writer Cas Consumer Descriptor
[info] Event Type: Analysis
[info] Duration: 195ms (0.11%)
[info]
[info] Component Name: QA Lab Summarization Subtask Cas Consumer Descriptor
[info] Event Type: Analysis
[info] Duration: 0ms (0%)
[info]
[info] Component Name: QA Lab Evaluation Method Subtask Cas Consumer Descriptor
[info] Event Type: Analysis
[info] Duration: 0ms (0%)
[info]
[info] Component Name: Gzipped XMI Writer Cas Consumer
[info] Event Type: Analysis
[info] Duration: 4430ms (2.47%)
[info]
[info] Component Name: Evaluator Cas Consumer Descriptor
[info] Event Type: Analysis
[info] Duration: 12728ms (7.09%)
[info]
[info] Component Name: Essay Generator Flow Controller
[info] Event Type: Analysis
[info] Duration: 4ms (0%)
[info]
[info]
[info] Component Name: Flow Controller
[info] Event Type: Analysis
[info] Duration: 10ms (0.01%)
[info]
[info] Component Name: aaeDescriptor
[info] Event Type: End of Batch
[info] Duration: 1ms (0%)
[info]
[success] Total time: 182 s, completed Feb 20, 2017 5:05:22 AM
Once the run finished, browse evaluation results in the default web browswer.
Show Japanese essay evaluation results as below
Show English essay evaluation results as below
Click the "HISTORY" link
In [ ]:
Content source: ktr-skmt/FelisCatusZero-multilingual
Similar notebooks: