2017年03月03日

CSEスコアに一貫性はあるのか?(新しい英検の楽しみ方)

英検が気合いいれて開発したCSEスコアは、回が変われど、難易度が変われど、スコアが示す実力は同じというものだ。

またヨーロッパ言語標準参照枠(CEFR)に準拠する形で言語の運用能力を示すという目的もあった。

今回、CSEスコアは本当に実力を測れているのかという点、言い換えるとCSEスコアは信頼できるのかという点を確認してみたくて、英検準1級と1級を両方を受験してみた。

ここでの検証仮説は、同じ英語能力を持っている受験者であれば、級に関係なく(多少の誤差はあるにせよ)近いスコアがとれる、というものである。CSEスコアが英語能力を測れるのなら、級が違っても同じスコアになるはずだから。

検証方法は、実際にガチで受験してみてそのスコアを比べるという単純なもの。(ただし、私だけだとサンプル1なので「一級さん倶楽部」のデータも参考にさせていただいた。ただし統計分析できるほどの量は集まらなかった。それでも以下の傾向は同じだった。)

結果は

(左が1級、右が準1級)
R 714−671=43
L 700−723=-23
W 850−709=141
S 636−563=73
合計 2900−2666=234

だった。英検準1級の方がスコアを獲得するのは難しい。

他の人の結果も参考にすると誤差率(英検1級満点スコアに対する比率)は

R 4.0%
L 1.0%
W 9.1%
3技能 4.7%
S  5.9%
4技能 7.1%

であり、並べると

L < R <3技能合計 < S < 4技能合計 < W

となる。

実はこの誤差は小さくない。英検1級の1技能の満点は850なので、5%違えば42.5、10%違うと85違うことになる。4技能でみれば5%の誤差は170、10%の誤差は340だ。一歩譲って誤差は5%以内に抑えてもらいたいものだ。

そしてこの誤差をもたらしているのは、紛れもないOutput2技能のスコアだ。とく高得点になればなるほどスコアも跳ね上がるので、英語能力が高い人ほど、ちょっとした正答率の差でスコアが大きく開く可能性がある。

結論として

1)英語能力が同じ人のCSEスコアは、英検1級よりも準1級で測ると7%程度下振れする。

2)このため、CSEスコアは級をまたがって実力を測るには誤差が大きい(残念ながら一貫性はない)。

3)その誤差をもたらしているのは、ライティングとスピーキングのスコア誤差である。したがって、英検協会にはOutput2技能の客観的評価基準の確立(評価精度の向上)をお願いしたい。(あるいはVOZEさんがつぶやいていたけど準1級の満点を各技能800点にするのも有効な方法)

とでもなろうか。


さてこう結論すると、「CSEスコアはゴミw」という見方も出てくるが、CSEスコアを使って別の英検の楽しみ方ができる。


1)本当の1級合格者になる

英検1級合格者であっても、CSEスコアが2800以下の人は準1級では1級合格ライン(2630)をとれない可能性がある。

「真の英検1級ホルダー」になるためには、英検1級でCSEスコア2800、できれば2850をとって合格しておきたい。


2)準1級で1級合格CSEスコアを取る

英検1級を受けなくても、準1級の方がCSEスコアを稼ぐのは難しい。

それに英検1級一次試験はビジネス目的で英語を使いたいという人にとっては無駄に難しい。

そこで自分の英語運用能力を高めるという意味では、準1級で1級の合格スコアである2630を上回るようにするといいだろう。

その人は、見た目はただの準1級合格者かもしれないが、(1級をギリギリで合格する人よりも)実は「影の英検1級ホルダー」なのである。


3)英検準1級をはやく卒業する

準1級試験は1級と2級の実力差が大きいという批判から私が学生のときに新設された級である。いわば「踊り子さんの間をつなぐ若手漫才師」(笑)、あるいは「次のお座敷に移るときの化粧直し」のようなものだ。

準1級の合格スコアは2304であるが、将来的に1級を目指す人は、準1級で合格は気にせずに2300程度で、はやめに卒業したい。準1級でスコアをあげるのはしんどいので、1級でスコアを取っていくほうが簡単だ。それに準1級試験の勉強を繰り返すよりも、その分はやめに1級試験の準備に取り組んだ方が1級合格が近くなる。


と書いてみて、実は2)が面白そうと思っている自分がいるw
posted by NOBU at 01:09| Comment(0) | 日記 | このブログの読者になる | 更新情報をチェックする
この記事へのコメント
コメントを書く
お名前:

メールアドレス:

ホームページアドレス:

コメント: