2017年7月13日木曜日

Visualization of peer review records

Hi, I'm Yuichi Hayakawa from CSIS (Center for Spatial Information Science), The University of Tokyo. 
I originally posted a Japanese version of this article, but there were some requests to provide it in English as well.
Thanks for giving me the opportunity to provide this article in English, regarding the visualization of peer review records. 

Supposing that many readers of this blog are researchers including students, I would like to ask you one question: 




As a researcher, submitting one's paper is an essential task.
On the flip side, reviewing papers of someone else is also necessary for publishing scientific papers. 

However, the process of peer review is often performed anonymously, and the action itself may not correctly be evaluated no matter how much a researcher takes the time to read and evaluate someone's manuscript drafts.

Even though we recognize that peer review is an essential process for the scientific community, this may lead to the disadvantageous feelings that reviewing is rather time-consuming, cost ineffective. 

To overcome such problems, there is a relatively new service, Publons

Publons, founded on 2012, provides a web service on recording and publishing peer reviews with necessary confidentiality. 
"A mission to speed up science - Publons" 
There are a variety of functions in Publons, including post-publication review. However, for simplicity, here I focus on the normal pre-publication review. 

A researcher can register the basic information of a peer review report that she/he performed, including title, journal name, date of review, and review report itself. An option of making it public or private is available for each review following the policy of the journal and the reviewer. 

Here is my case. 
An overview can be embedded in a web page like this.




In the Profile > Statistics view, the timeline of peer review records is shown (as of July 2017 – just 100!).


Monthly review records

For the old review history, I salvaged past e-mails and files to enter the records – somewhat annoying taking a long time... But finally, I can see my total review records like this. It should be better to record the current review in progress every time it is completed. 

The number of reviews has increased, where their frequency has also risen. 
It had been once every few months, but in recent years, it has become more common to review 3-4 cases per month.
This increase may be either as a result of the personal career development and the general increase in the number of publications.

Impact factor (IF) is often regarded as a standard evaluation index of academic journals, and the number of reviews for journals can be shown like this.


Impact factors of journals reviewed for

In my case, the mode is around IF = 2 to 3. This could be because I most often review for Geomorphology (Elsevier) as a board member.

Also, the trend can be compared with those in the field of earth and planetary science.
Researchers in this field seem to have many reviews conducted in journals with a bit higher IFs than me.

Another funny stat is the "weekly review punchcard" – you can see which day of the week you often submit your review report.


Weekly review punchcard

Though we can read manuscripts at any time, it is necessary to keep the time to summarize review results. The review reports, therefore, tend to be sent more frequently during the latter part of weeks where teaching classes and administrative meetings are relatively few, or on the weekend's evening (the midnight of Sunday – actually Monday).

Without doing anything, peer review is just over when it is returned – this should be, of course, a significant contribution to the scientific community. However, recording reviews would help researchers to motivate their review activities by the visualization of review records. 

By the way, we do not have, in fact, a standard lesson or training methods for reviewing so much. Some opportunities like seminars or workshops are being provided recently, but still not so many.
It is necessary to learn by themselves like an on the job training.
Preparation as a peer reviewer - PEPS Editors Blog (mostly in Japanese, but some references link to webpages in English)
Then, even by just looking at the peer review history of others, visualization of review records would help to know how to proceed with reviews.
It is not competition, of course, so the number or frequency of reviewing is not a big problem.
For the high-quality peer review, we can utilize this kind of system to enhance our motivation and to be evaluated in an appropriate manner. 

By the way, Publons has been very recently (last month) acquired by Clarivate Analytics
Also, for example, a major academic publisher like MDPI is collaborating with Publons on its peer review system.
It seems that the peer review evaluation services of Publons are becoming more popular.

2017年7月10日月曜日

「査読」の見える化

東京大学空間情報科学研究センターの早川裕弌と申します。
2017年度より、PEPSの編集委員(地球人間圏科学セクション)として参画させていただくことになりました。
地形学をはじめとして、地理空間情報科学に関する研究に、フィールド調査やGIS空間分析といったアプローチで取り組んでいます。

さて、おそらくこのブログの読者層には、学生の方も含め、研究者の方が多いと思われます。
そこで、まずはそんな研究者のみなさんに、ひとつお尋ねしたいと思います。




研究者として、自身の研究成果をとりまとめ、論文を投稿することは、言わずもがな至上命題のひとつです。
そして、論文が学術誌での出版に至る過程では、必ず、同業者による査読(ピア・レヴュー)を経て、原稿の評価が行われます。
つまり、研究者としては、ただ自分の論文を書けばよいというわけではなく、他者の書いた論文もきちんと評価して、科学的なコミュニティとして研究成果を公表していくことが必要なプロセスになります。

しかしながら、「査読」というプロセスは、一般に匿名で行われることが多く、研究者自身がどれだけ他者の論文を読んで評価をしたとしても、その行為自体が評価されることは、あまりなされていませんでした。
これでは、いくら査読が科学コミュニティにとって重要なプロセスであると認識していても、メリットが少なく、むしろ、時間を割かれるといったデメリットのみが強調され、査読はあまり行いたくない、といった考えに結びついてしまう懸念があります。

そこで、「査読」もただしく評価しよう、という考えのもと開始された、研究者向けサービスがあります。
Publonsは、2012年に開始された比較的新しいサービスで、個々の研究者が行った査読を、差し支えのない範囲で記録・公開し、その適切な評価を行おうといったものになります。
Publonsの創設者にインタビュー:「科学加速化ミッション」 - Editage Insights 
また、査読だけでなく、学術誌の編集にかかわる実績や、自身の出版論文に関する情報、さらにはすでに出版された論文に対する意見(掲載後査読)なども登録することができます。
ここでは簡単のため、通常の掲載前査読だけに焦点を絞りましょう。

Publonsのシステムでは、個々の研究者が、自身の行った査読の基本的な情報(原稿のタイトルや学術誌名、査読を完了した日付等)を登録します。また、査読結果の内容を記録することも可能です。ただし、学術誌によって、査読内容等については、原則として公開する場合と、非公開とする場合とがあります。これらはPublonsのシステム上で公開・非公開の設定が可能であり、非公開とした場合は公にされることはなく、査読をした、という事実のみが公開されることになります。

説明を手っ取り早くするために、私自身の査読履歴を例として挙げてみます。


下の図は、私が初めて査読をした時から現在(2017年7月時点)までの、すべての査読記録をグラフ化したものになります。(ちょうど累積100回目が終わったところでした)

右肩上がりの月別査読数

古い査読履歴については、過去のメールやファイル等を探し出して、少しずつ記録を入力しました(のんびりやって、1年以上かかったかも・・・)。一方、現在進行中の査読については、それが完了する度に、Publonsの自身のアカウントに登録していきます。一手間かかりますが、忘れてしまい、あとから探すよりは良いと思っています。

年を追うごとに、査読履歴も徐々に蓄積し、またその頻度も上昇傾向にあることが一目でわかりますね。
かつては数ヶ月に1度といった頻度でしたが、最近は、月に3~4件の査読をすることも多くなりました。
こうした増加の理由には、個人のキャリアにともなう変化と、論文出版数自体が世界全体で増えていることと、両方があると思われます。

また、どのような学術誌で査読をしているのか、といったことも、グラフで見ることができます。
学術誌の評価基準としてインパクトファクター(IF)がよく使われますが、IF別にみた学術誌の査読数が以下の図になります。

査読を行った学術誌のインパクトファクター

IF=2-3 くらいの学術誌が突出して多いのですが、これはElsevier社のGeomorphologyの委員になっていることもあり、そこでよく査読を行っていることが影響していると思います。
また、地球惑星科学の分野のなかでの位置づけも、同時に表示されています。
同分野の他の方は、もう少し高いIFをもつ雑誌での査読も多く行われているようです。

また、あまり意味はなさそうなのですが、何曜日に査読を返すことが多いか、といったことも見ることができます。

曜日ごとの査読返信頻度

原稿を読むのはいつでもできるとしても、その査読結果をまとめるためには、それなりのまとまった時間が必要です。そのため、授業や会議の比較的少ない週の後半や、週末の夜(日付を跨いだ月曜)に、査読結果を送信していることが多いようです。

「査読」は、何もしなければ、査読しておしまい。もちろんそれでも、科学コミュニティにおける貢献には変わりありません。しかし、表に出ない以上、下手をすると、査読の実績はそのまま闇に葬られてしうかもしれません。
こうした「見えない」査読を、「見える化」するだけでも、ちょっとしたモチヴェーションになりますね。

ところで、実は、「査読」といった作業を、どのように進めたらいいのかといったことは、授業で習うわけでもなく、実際に場数を踏んで、学んでいくしか方法がほとんどありません。
最近は、有志による勉強会やセミナーといったイベントも開かれつつありますが、まだまだ少ないのが現状です。
査読者の心構え – PEPS Editors Blog
ただ、他者の査読履歴を見るだけでも、多少なりとも参考になることはあると思います。
もちろん競争ではないので、むやみにたくさん、査読を行えばいいということではありません。
あくまで質の高い査読を行うことを目指して、そのモチヴェーションを補ったり、あるいはその行為を正当に評価してもらうことも期待して、こうした査読記録システムを活用してみるのも、一つの方法ではないでしょうか。

なお、ここで紹介したPublonsは、ごく最近、あのClarivate Analytics社に吸収されました。
また、たとえば大手学術出版社であるMDPIは、その査読システムでPublonsとの連携を取っています。
今後、Publonsの査読関連サービスも、より普及していくことが期待されます。

******

差し支えなければ、簡単なアンケートにご協力ください。

2017年2月21日火曜日

評価あれこれ

PEPS大気水圏科学セクション編集委員の早坂 忠裕です。

今まで、大気放射と雲、エアロゾルの変動に関する研究を行なってきました。現在の研究テーマは、特に放射収支と気候変動、雲と大気海洋相互作用などです。

さて、研究、研究者、大学に対する評価の嵐に巻き込まれるようになってから随分時間が経ちました。私たちは依然としてその嵐の中にいるようです。現在、私は国立大学で教育研究に従事していますので、その立場から評価について考えてみたいと思います。直近の1、2年を振り返っても、大学の認証評価、国立大学法人としての評価、部局の外部評価、学内での部局評価、部局内での個人評価等がありました。その他に、広い意味では科研費等競争的研究資金の審査、PEPSのような学術雑誌における論文の査読も評価の一環といえるかもしれません。さらに様々な受賞にかかわることもある種の評価と言えます。

目的によって評価の方法は異なります。混乱がみられますので、少し整理して考えてみたいと思います。まず、大学の認証評価は、7年に1回、高等教育機関としての「大学」がその要件を充たしているかどうかという評価です。いわば免許更新のようなものです。教員数は足りているか、適切な授業を行なっているかなど、基本的な要件を充たしているかどうかが問われます。

また、6年ごとの中期目標・中期計画に合わせて行なう国立大学法人の評価は、多額の税金を投入している国立大学をチェックする、いわば社会(納税者)への説明責任を果たすために行なっている意味合いが強いと思われます。中期目標・中期計画は文科省と相談しながら大学ごとに設定されますので、国(文科省)との契約であると言えます。すなわち契約に添った事業の進捗状況をチェックするということになります。

一方、外部評価は、一般に自分達の組織を点検し、改善するために行なわれるものです。評価委員は自分達の研究、教育を良く理解してもらえる見識のある学外の方にお願いします。評価される側が評価する人を選ぶのです。この先生に指摘されたら、それは改善しなければならないと納得できる必要があります。学内における個人評価も部局の外部評価と同じで、評価される側が納得しないと改善につながりません。数学の教員が地球物理学を専門としている部局長に評価されても、自分の研究など理解できない人に評価されたくないと思うのは当然でしょう。個人評価という意味では、研究能力や研究実積が強調されがちですが、大学の場合には教育や人間性も同じくらい重要視する必要があります。教育者としての実積、能力は、それを測るモノサシが難しく、これといった方法が確立されていないというのが現状です。授業のアンケートをとって善し悪しを決めれば良いというような単純なものではありません。さらに教授職の場合には管理運営能力も問われます。

学内での部局評価は、部局間で競わせて学内を活性化するという意味合いが強いと思われますが、部局間で連携協力し大学全体が一致団結して学外と競争しなければならない時代には、一歩間違うと逆効果になる可能性があります。

以上のほか、研究プロジェクトや競争的研究資金の審査は、多くの提案の中から限られた数の研究を選ぶために行なわれます。この種の評価は、採択率が高いと良い部分を評価する一方で、採択率が低い場合にはあら探しをすることになります。また最近では、たとえば科研費の場合、新規応募件数が10万件を超え、的確な審査が行なわれているかどうか心配という声が聞かれます。同様に、学術雑誌の論文の査読も、経験と見識のある研究者は忙しい場合が多いので、なかなか査読をしてくれず、適当な査読者をさがすのに苦労する場合も少なくありません。

このように、評価の目的や内容も様々ですが、研究者は評価される側にも評価する側にもなる機会が多いと思います。それによって多くの時間が費やされることになります。現在は研究も教育も成果をあげることが期待され、入学試験も多様な方法で実施すべきという議論が活発です。しかしながら、時間は有限で1日24時間、1年365(366)日は変りません。個々の評価の目的や意義を良く理解、整理して対応し、有効活用することが重要です。


PEPS科学セクション編集委員/東北大学 大学院理学研究科 早坂 忠裕

2017年1月8日日曜日

New Year Message from the Editor in Chief of Progress in Earth and Planetary Science

[Japanese text follows English. 日本語版は英語版の後に表示します。]

A happy new year to all

In 2016 PEPS received 60 manuscripts and published 37 papers. Since PEPS was only launched two and a half years ago we have not yet had time to finish our registrations with either of the main international research paper databases Scopus or Web of Science. In view of this I think we can regard the number of published papers as a modest sign of success. We have now completed our applications to both Scopus and Web of Science and these are currently being reviewed. I hope that I will be able to report sometime later this year that both applications have been accepted.

At the moment it takes on average 190 days from receiving a manuscript until it is published. The editorial team is focusing on “rapid review and publication” in order to reduce this time. The editorial office monitors the speed with which manuscripts proceed through the system and sends email notification to the relevant editors when there is any delayHowever the time to publication is largely dependent on the speed at which referees are able to review papers. I would therefore like to take this opportunity firstly to thank everyone who has or will review papers for PEPS for their hard work, and secondly to humbly ask that referees aim to complete their reviews as quickly as is reasonably possible.

We receive many manuscripts written by authors who are not native English speakers: for these manuscripts we have adopted a system of provisional acceptance. Under this system, manuscripts are sent out to referees and those by non native authors that are favorably reviewed are provisionally accepted and then sent to an English language proofreading company at the JpGU’s expense in order to correct any minor mistakes in expression or grammar. Although this all happens before the manuscript is formally accepted, in practice provisional and formal acceptance are nearly equivalent and we have so far published all of our provisionally accepted articles. The reaction to this process has generally been positive but we have had some complaints that manuscripts have been over edited, that the burden on authors is increased and that the system leads to delays in publication. There is some truth in these complaints. However it is our main goal that PEPS be regarded as a journal of the first rank: we are working hard to achieve this, and, I feel, have had much success in doing so. In order to maintain our status we have to consistently publish high quality papers where excellent scientific content is clearly presented and precisely explained. Unfortunately this requires, amongst other things, a certain level of English language competence. I apologize for the additional burden that this places on our non native authors, and hope that they will understand our position.

I have been aware for a while that Japanese institutions have been suffering from the rapid increase in online journal subscription fees. In the past few months there have been several international developments affecting this issue. At the end of last year negotiations between Elsevier and a group of German state funded universities and research institutions broke down with the result that from January 2017 researchers at these organizations will lose online access to many Elsevier journals. Similar problems have occurred in Taiwan and Peru (Nature News on 23 December 2016). Such problems serve to emphasize the important role that open access journals have to play in the field of academic publishing, and these developments further convince me that PEPS, as a high quality international open access journal covering all of the areas of Earth and planetary science, has an important role to play.

Recent years have seen the increasing popularity of letter journals, and indeed these offer a number of advantages: the compact presentation enables readers to quickly acquire an overview of material they are interested in whilst authors benefit from the relatively short time between submitting a paper and its publication. Despite these benefits, the importance of detailed exposition of new scientific ideas and results of course remains undiminished and this is why PEPS has chosen to focus on this area. We want our authors to explain their ideas in detail and we allow them up to 50,000 words per paper in order to do so (and, as I mentioned above, we are working to further reduce the time to publication of our papers).

The purpose of academic study is not only the creation of new knowledge. For it to be of any use such knowledge must be transmitted to the wider community, and we at PEPS are doing all we can to help with this. I would like to thank everyone for the assistance they have already given us and respectfully ask you all to continue to help, firstly by considering publishing new work in PEPS, and secondly by refereeing any articles we send you as quickly as is reasonably possible

Finally let me wish you all a happy, productive and prosperous 2017

Yasufumi Iryu
PEPS Editor in Chief



PEPS総編集長の井龍 康文です.2017年の年頭にあたり,皆様に御挨拶申し上げます.

2016年,PEPS37編の論文を出版しました.また,投稿を受け付けた原稿の数は60編でした.これは,PEPS創刊から28ヶ月ほどであること,Web of ScienceWOS)やSCOPUSという国際的な論文データベースに採録されていない現時点では,健闘している数値であると認識しています.なお,WOSおよびSCOPUSへの採録ですが,昨年,採録申請を行い,現在,審査を受けております.2017年に皆様に朗報をお届けできると期待しています.

現在,PEPSでは原稿受付から出版までに,平均で190日ほどを要しております.編集部では「Rapid review and publication」を心がけており,査読の遅れている原稿に対しては,編集事務局から編集委員の方々へ対応を求めるメールを送り,査読が迅速に進むようにしております.しかし,査読期間の長短は,査読者による査読の遅速にかかっています.査読者の御尽力に感謝するとともに,「Rapid review」達成のためにより迅速な査読を心がけていただくようお願いします.

一方,英語を母国語としない方が筆頭著者となっている論文原稿に関しては,査読完了と正式受理の間に,暫定受理という手順を採らせていただいております.これは,PEPSが経費を負担して,暫定受理された原稿を英文校閲会社による英語表記のポリッシュアップに出すためです.原稿の正式受理前に行う,この「もう一手間」は概ね好評ですが,英文校閲会社のオーバーエディティング,著者の負担増,出版の遅れ等に関する批判もいただいております.しかし,創刊間もないPEPSが数多くある学術雑誌の中で高い評価を得て,一定の地位を占めるためには,優れた科学的成果が,きちんとした体裁(英語表記を含む)で書かれた「高品質」の論文を出版していくことが唯一の道ですので,「もう一手間」に関して,御理解いただければ幸甚です.

年末に,ドイツの主要な大学・研究機関とElsevier社との交渉が決裂し,20171月から,それらの研究機関ではElsevier社の電子ジャーナルへのアクセスができなくなるとのニュースが飛び込んできました(カレントアウェアネス・ポータル).日本国内の多くの研究機関では,電子ジャーナルの購読費用の高騰に苦しんでいますが,これは国際的な問題となっています(例:「台湾やペルーでも、2017年からElsevier社の電子ジャーナルの閲覧が不可能に」).このような状況の下,オープンアクセス・ジャーナルの役割と責任は非常に重要なりつつあります.PEPSは,地球惑星科学の全分野をカバーするオープンアクセス・ジャーナルとして,国内外の地球惑星科学のコミュニティーに「高品質」の論文の出版の場を提供していく所存です.

近年,レター誌の人気が高まっています.これは,投稿から出版までの期間が短いという投稿する側のメリットと,知りたい内容がコンパクトに書かれているという読む側のメリットの相乗効果によるものだと思います.一方,PEPSはフルペーパーが対象で,1論文あたりの最大語数は5万語まで許容されています(投稿から出版までの期間も,それほど長くはありません).したがって,伝えたい内容をすべて伝えることができるというメリットがあります.

学問の目的は,知の創造と継承と言われますが,PEPSが,その舞台となり発展していくように尽力したいと考えています.PEPSの発展のためには,皆様の積極的な投稿と,迅速な査読に対する協力が不可欠です.ここに,皆様のこれまでの御尽力に心から感謝するとともに,今後のなお一層の御協力を切にお願い申し上げます.

末筆ではありますが,皆様の御健勝と御発展を祈念しております.

PEPS総編集長

井龍 康文