自動採点ソフトに求められる機能は多岐にわたります。その中でも必須といえるのが、正誤のスピーディかつ正確な判定です。この性能が悪ければ、本来の目的が達せられることはないでしょう。したがって、何度もテストを繰り返して品質を向上させていくことが求められます。
他のジャンルのソフトであれば、95%以上の精度なら十分なケースも多いです。それと比べて自動採点ソフトの場合、100%が必達の基準となっています。1問でも誤って判定してまうと、そのせいで人生を左右される人も出てくるからです。よって、数千回というシミュレーションを通じて、100%になるまで調整を繰り返さなければなりません。
それが理想ですが、なかなか間違いを0%にできないケースもよくあります。なぜなら、試験によって回答の方式やパターンが異なるからです。たとえば、マークシートと筆記ではさまざまな点で違いがあります。それを一つの自動採点ソフトですべてカバーするのは実質的に不可能です。
本来は方式ごとに用意することになるでしょう。ただし、それでは過剰なコストがかかってしまい、導入してもらえない可能性が高まります。このような事態を避けるため、できるだ毛1つの自動採点ソフトに多くの機能を盛り込むことになります。標準機能を絞っておいて、有料オプションという形で提供するケースも珍しくありません。
まだ試行錯誤の段階であり、各社は最適な形を求めてアレンジを加えているのが実情です。